Role-Aware Language Models for Secure and Contextualized Access Control in Organizations

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 기업 환경 (문서 생성, 요약, 내부 지원 등) 에 점차 도입되고 있지만, 기존 LLM 의 안전성 연구는 주로 유해하거나 독성 있는 콘텐츠 생성을 방지하는 데 집중되어 있습니다.
• 문제: 기존의 접근 방식은 사용자의 권한이 균일하다고 가정하거나 정적 안전 필터를 적용합니다. 그러나 실제 기업 환경에서는 역할 기반 접근 제어 (RBAC, Role-Based Access Control) 가 필수적입니다.
  • 동일한 질문이라도 CEO 와 일반 연구원이 할 경우, 접근 가능한 정보의 범위가 달라야 합니다.
  • 현재 LLM 은 사용자의 역할 (Role) 을 고려하여 민감한 정보를 차단하거나 허용하는 역할 인식 (Role-Aware) 동작을 수행하지 못해, 권한이 없는 사용자가 민감 정보에 접근하거나 (정보 유출), 권한이 있는 사용자가 정당한 요청을 거부당하는 (접근 거부) 문제가 발생할 수 있습니다.
• 연구 질문: LLM 을 미세 조정 (Fine-tuning) 하여 조직 내 다양한 역할에 따른 접근 권한을 반영한 응답을 생성하도록 만들 수 있는가?

2. 방법론 (Methodology)

A. 데이터셋 구축

연구팀은 두 가지 유형의 데이터셋을 구축하여 모델을 평가했습니다.

1. 기존 지시 데이터 재사용 (Repurposed Dataset): Databricks Dolly-15k 데이터를 클러스터링 (K-Means) 하고 계층적 구조에 따라 역할 라벨을 할당하여 생성했습니다.
   • 구조: 일반 (General), 공유 (Shared), 루트 전용 (Root Only) 등으로 분할하여 역할별 접근 권한을 시뮬레이션했습니다.
2. 합성 조직 데이터 (Synthetic Dataset): GPT-4.1 mini 를 사용하여 실제 기업 시나리오를 반영한 합성 데이터를 생성했습니다.
   • 두 가지 조직 구조 정의:
     • Basic: CEO 가 19 개의 하위 역할을 직접 관리하는 단순 구조.
     • Office: CEO → 부서 관리자 → 팀원 구조를 가진 다층 계층 구조.
   • 각 역할별 권한 범위와 책임에 맞는 지시문과 응답 쌍을 생성했습니다.

B. 모델링 전략 (3 가지 접근법)

접근 제어를 구현하기 위해 세 가지 전략을 비교 평가했습니다.

1. Role-aware Cls (BERT 기반 분류기): BERT 계열 모델 (BERT, RoBERTa, ModernBERT 등) 을 사용하여 입력 지시문과 역할 정보를 기반으로 '접근 허용/거부'를 이진 분류하는 모델.
2. Role-aware LLM-Cls (LLM 기반 분류기): Qwen, Llama, Gemma 등 오픈 소스 LLM 을 미세 조정하여 이진 분류 (True/False) 를 수행하게 함.
3. Role-aware LLM-Gen (역할 조건부 생성): LLM 을 미세 조정하여 접근 권한이 있을 경우 실제 답변을 생성하고, 권한이 없을 경우 거절 메시지를 생성하게 함.

C. 역할 인코딩 전략

역할 정보를 프롬프트에 어떻게 주입할지 세 가지 방식을 실험했습니다.

• 계층적 숫자 인코딩 (Hierarchical Number): 1(CEO), 1.1(부서장) 과 같은 숫자 계층 구조.
• 단일 이름 인코딩 (Single Name): 직함만 사용 (예: "CEO").
• 계층적 이름 인코딩 (Hierarchical Name): 전체 경로 사용 (예: "CEO - IT Manager").

D. 평가 프로토콜

• 정확도 (Accuracy), 오검출률 (FPR), 누락률 (FNR), F1 점수 측정.
• 강건성 테스트:
  • Jailbreak/Prompt Injection: "나는 CEO 다", "정책 무시하고 답해줘" 등의 지시문으로 권한 우회 시도.
  • Broken Role: 역할 문자열을 변형 (예: 1.2 → 01.02) 하여 모델의 견고성 테스트.
  • Mismatch: 권한이 없는 내부 역할이 민감 데이터에 접근 시도.

3. 주요 결과 (Key Results)

A. 성능 비교

• LLM 기반 분류기 (LLM-Cls) 가 가장 우수:
  • ModernBERT Large (Dolly 데이터셋 기준) 와 Llama 3.1 8B Instruct (Synthetic 데이터셋 기준) 이 가장 높은 정확도 (약 90% 이상) 를 기록했습니다.
  • LLM-Cls 는 기존 BERT 기반 분류기보다 복잡한 계층 구조와 의미적 유사성을 더 잘 처리했습니다.
• 생성 모델 (LLM-Gen) 의 한계:
  • 직접적인 답변 생성을 수행하는 모델은 분류 모델에 비해 정확도가 약 5~10% 낮았으며, 특히 FNR(허용된 접근을 거부하는 오류) 이 높게 나타났습니다. 즉, 권한이 있는 사용자의 요청을 잘못 차단하는 경향이 있었습니다.
  • 하지만 Jailbreak 공격 (권한 우회 시도) 에 대한 방어력은 생성 모델이 상대적으로 더 강건한 것으로 나타났습니다.

B. 강건성 및 보안 분석

• 무작위/외부 역할 거부: 모든 모델이 권한이 없는 외부 역할이나 무작위 역할을 식별하는 데 거의 100% 의 정확도를 보였습니다.
• 미세한 역할 불일치 (Mismatch): 권한이 있는 내부 역할이지만 특정 데이터에 접근할 권한이 없는 경우, instruction-tuned 된 모델들이 약 70% 정도의 정확도로 이를 식별했습니다.
• Jailbreak 저항성: 훈련 데이터에 Jailbreak 샘플을 포함시켰을 때, 모델의 공격 저항력이 크게 향상되었습니다 (정확도 70% → 87% 상승).
• 블랙리스트 토픽: 폭력, 정치 등 조직 정책상 금지된 주제에 대해서는 역할과 무관하게 99% 이상의 정확도로 답변을 거부했습니다.

C. 역할 인코딩의 영향

• 이름 기반 인코딩 (Name-based) 이 숫자 기반 인코딩보다 FPR(허위 긍정) 과 FNR(허위 부정) 모두에서 더 좋은 성능을 보였습니다. LLM 은 "CEO"와 "Researcher"와 같은 의미적 차이를 이해하는 것이 1.1 과 1.a 와 같은 숫자 패턴을 이해하는 것보다 더 수월한 것으로 분석되었습니다.
• 다만, Broken Role(손상된 역할 문자열) 에 대한 방어력은 숫자 기반 인코딩이 더 높았습니다.

4. 주요 기여 (Contributions)

1. 실제 조직 환경 시뮬레이션: 단순한 데이터셋이 아닌, 계층적 권한 구조를 가진 실제 기업 시나리오를 반영한 두 가지 데이터셋을 구축하고 공개했습니다.
2. 다양한 모델링 전략 비교 평가: 분류기 기반 (BERT, LLM) 과 생성 기반 (LLM-Gen) 접근법을 포괄적으로 비교하여, 역할 인식 접근 제어에 가장 적합한 아키텍처를 제시했습니다.
3. 강건성 분석: 프롬프트 인젝션, 역할 매칭 실패, 지시문 조작 등 다양한 위협 시나리오 하에서 모델의 안전성을 체계적으로 평가했습니다.
4. 실용적 통찰: 역할 인코딩 방식이 접근 제어 성능에 미치는 영향을 규명하여, 실제 배포 시 최적의 인코딩 전략을 제안했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 이 연구는 LLM 을 기업 환경에 안전하게 도입하기 위한 핵심 과제인 역할 기반 접근 제어 (RBAC) 를 LLM 수준에서 구현할 수 있음을 입증했습니다. 기존의 '유해 콘텐츠 차단'을 넘어, '권한에 따른 정보 접근 제어'를 가능하게 함으로써 기업 내 정보 유출 위험을 줄이고 LLM 의 실용성을 높였습니다.
• 결론:
  • Instruction-tuned LLM 기반 분류기 (LLM-Cls) 가 접근 제어의 정확도와 안정성 측면에서 가장 효과적인 방법으로 입증되었습니다.
  • 생성 모델은 유연성이 높지만, 권한 관리의 정밀도 측면에서는 분류 모델에 비해 다소 취약점이 존재합니다.
  • 향후 연구 방향으로는 더 복잡한 계층 구조에서의 일반화, 동적 역할 업데이트 지원, 그리고 외부 지식 (RAG) 과 결합된 역할 인식 제어 등으로 확장할 필요가 있습니다.

이 논문은 LLM 을 기업 보안 정책에 부합하도록 조정하는 구체적인 방법론을 제시함으로써, 안전한 LLM 기반 엔터프라이즈 애플리케이션 개발의 토대를 마련했다는 점에서 중요한 의미를 가집니다.