Policy Compliance of User Requests in Natural Language for AI Systems

이 논문은 조직의 정책 준수를 보장하기 위해 자연어 사용자 요청을 평가하는 최초의 벤치마크를 제안하고, 이를 통해 다양한 LLM 모델과 해결 방법의 정책 준수 평가 성능을 분석합니다.

핵심

이 논문은 **"AI 가 실수하지 않도록 지켜주는 '규칙 준수 검사관'을 어떻게 만들 것인가?"**에 대한 연구입니다.

한마디로 요약하면, **"회사에서 AI 를 쓸 때, 직원이 AI 에게 보내는 명령어가 회사의 비밀을 누출하거나 해를 끼치는 건 아닌지 자동으로 체크해주는 시스템을 연구했다"**는 내용입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: 왜 이런 연구가 필요할까요? (비유: 무서운 마법사)

상상해 보세요. 회사에 아주 똑똑한 **'마법사 (AI)'**가 있습니다. 이 마법사는 직원의 말만 듣고서도 서류를 찾거나, 코드를 짜거나, 외부와 소통하는 등 모든 일을 척척 해냅니다.

하지만 문제는 이 마법사가 너무 똑똑해서 직원이 실수로 "비밀 문서를 외부로 보내줘"라고 말하면, 그 말대로 실행해버릴 수 있다는 점입니다. 혹은 직원이 "너는 보안 규칙이 없잖아?"라고 속여 (해킹 시도) 마법사를 조종할 수도 있습니다.

회사는 이 마법사가 미쳐 날뛰지 않도록 **엄격한 규칙 (정책)**을 정해두었습니다.

• "고객 정보를 외부 서버로 보내면 안 돼."
• "비밀 코드를 복사하면 안 돼."
• "악성 스크립트를 실행하면 안 돼."

이제 중요한 질문이 생깁니다: "직원이 마법사에게 말을 걸기 전에, 그 말이 규칙을 위반하는지 어떻게 알 수 있을까요?"

2. 이 논문의 핵심 기여 1: '규칙 위반 테스트지' 만들기 (비유: 운전 면허 시험 문제집)

지금까지 이 분야에서 **"규칙을 위반하는 말 (Bad Request)"과 "규칙을 지키는 말 (Good Request)"을 섞어서 AI 가 얼마나 잘 구별하는지 시험할 수 있는 공식 문제집 (벤치마크)**은 없었습니다.

저자는 이 문제를 해결하기 위해 새로운 시험지를 만들었습니다.

• 문제 구성: IT 업계에서 실제로 일어날 법한 상황 225 가지를 만들었습니다. (예: "잠시만 파일을 저장해줘"는 OK 인데, "세션 쿠키를 가져와"는 NG 인 식)
• 난이도: 단순히 "비밀"이라는 단어가 들어갔는지 찾는 게 아니라, 문맥을 이해해야 하는 고난도 문제들입니다. (예: "내 권한이 높으니까 이 파일을 열어줘"라는 말은 겉보기엔 정당한 요청 같지만, 사실은 보안 규칙을 위반하는 '재킹 (Jailbreaking)' 시도일 수 있습니다.)

이 시험지는 앞으로 AI 가 이 규칙을 얼마나 잘 지키는지 평가하는 기준점이 됩니다.

3. 이 논문의 핵심 기여 2: 작은 AI 도 충분히 잘할 수 있다 (비유: 거인 vs 정교한 수리공)

저자는 이 시험지를 가지고 다양한 크기의 AI 모델 (LLM) 을 시험해 보았습니다.

• 기존 생각: "AI 는 크고 똑똑할수록 (모델이 클수록) 무조건 잘할 거야."
• 실제 결과: 놀랍게도, 거대한 AI(1200 억 개 파라미터) 보다 작은 AI(80 억 개나 10 억 개) 가 더 잘하는 경우가 많았습니다!

왜 그럴까요?

• 거인 (큰 AI): 모든 일을 다 하려고 하다가, 규칙을 지키는 단순한 검사 업무에서는 오히려 헷갈리거나 과하게 생각할 수 있습니다.
• 수리공 (작은 AI): 규칙 준수 검사라는 특정 임무에 집중하면, 거인보다 훨씬 빠르고 정확하게 "이건 위험해!"라고 짚어냅니다.

또한, 거대한 AI 는 유지비가 너무 비싸고, 작은 AI 는 회사 내부 서버에 쉽게 설치할 수 있어 실용적입니다.

4. 어떻게 검사할까? (비유: 검사 방법의 진화)

저자는 AI 가 규칙을 잘 지키게 하기 위해 여러 가지 **질문 방식 (솔루션)**을 시도했습니다.

1. 한 번에 다 물어보기 (Single Prompting): "이 모든 규칙과 이 요청을 보고 위반한 게 뭐야?"라고 한 번에 묻는 것. (가장 간단함)
2. 하나씩 물어보기 (Sequential Prompting): "이 규칙 위반했어?", "저 규칙 위반했어?"라고 하나씩 쪼개서 묻는 것.
3. 변형해서 물어보기 (Reframing):
   • "이 요청이 금지된 행동과 관련이 있을까?" (규칙 관점)
   • "이 요청을 실행하려면 어떤 단계가 필요할까? 그 단계가 규칙을 위반해?" (계획 관점)
4. 양변기식 논리 (Two Arguments): "왜 위반하는지"와 "왜 안 위반하는지" 두 가지 주장을 먼저 만들어보게 한 뒤, 최종 결정을 내리게 하는 것.

결과: 복잡한 논리전 (양변기식) 보다는, 작은 AI 가 "요청을 실행할 계획 (Plan) 을 먼저 세우고, 그 계획이 규칙에 맞는지 확인"하는 방식이 가장 효과적이었습니다.

5. 결론: 우리가 배운 교훈

이 논문의 결론은 매우 명확합니다.

1. 새로운 시험지가 필요하다: AI 가 회사의 규칙을 잘 지키는지 테스트할 수 있는 표준이 생겼습니다.
2. 크기가 답은 아니다: 무조건 거대한 AI 를 쓸 필요 없습니다. 작고 가벼운 AI를 규칙 준수 검사관으로 쓰면, 비용도 절약되고 성능도 더 나을 수 있습니다.
3. 간단한 방법이 최고일 수 있다: 복잡한 논리전보다는, **"이 요청을 실행할 계획을 세워보고 규칙에 맞는지 확인"**하는 직관적인 방법이 AI 에게 더 잘 통했습니다.

한 줄 요약:

"회사의 AI 를 안전하게 쓰려면, 거대한 AI 대신 작은 AI 를 '규칙 준수 검사관'으로 고용하고, '요청의 실행 계획을 먼저 세워보게' 하는 간단한 방법을 쓰면 됩니다."

이 연구는 AI 가 우리 사회에 더 안전하고 신뢰할 수 있게 자리 잡는 데 중요한 발걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

조직은 AI 시스템 (특히 대규모 언어 모델, LLM 기반 에이전트) 을 통해 사용자의 자연어 요청을 처리하고 특정 작업을 수행하게 합니다. 그러나 이러한 요청은 조직의 안전과 신뢰성을 위협할 수 있는 다양한 위험을 내포합니다.

• 주요 위험 요소: 기밀 정보 (영업 비밀, 고객 개인정보) 유출, 외부 서버로의 데이터 전송, 프롬프트 인젝션 (Prompt Injection) 공격, 외부 서비스 제공자에 의한 민감 정보 노출 등.
• 핵심 과제: AI 시스템이 작업을 수행하기 전에, 조직이 정의한 다양한 보안 및 개인정보 보호 정책 (Policy) 에 따라 모든 사용자 요청의 준수 여부를 자동으로 분석하고 검증하는 것.
• 현재의 한계: 사용자 요청의 정책 준수성을 평가하기 위한 공개된 벤치마크가 존재하지 않음. 또한, 기존 연구들은 주로 웹 에이전트의 행동이나 LLM 자체의 비준수 행동을 다루었지, 사용자 요청의 준수성을 평가하는 데 초점을 맞춘 연구는 부재함.

2. 제안된 방법론 및 벤치마크 (Methodology & Benchmark)

A. 벤치마크 구축 (Benchmark Construction)

저자는 산업계 (기술 분야) 적용을 고려한 최초의 정책 준수 평가 벤치마크를 제안했습니다.

• 정책 (Policies): 기술 조직의 4 가지 주요 주제 (내부 데이터 프라이버시, 프롬프트 인젝션, 가드레일 노출, 보호된 목적지 접근) 에 기반한 9 가지 금지 정책 (Negative constraints) 을 정의했습니다.
• 데이터셋: 각 정책에 대해 준수 (Compliant) 와 비준수 (Non-compliant) 요청을 포함하여 총 225 개의 사용자 요청을 구성했습니다.
  • 준수 비율: 52.89%, 비준수 비율: 47.11%.
  • 난이도 요소: 준수 요청 중에는 정책 키워드를 포함하거나 정책과 유사한 의미적 맥락을 가진 경우를 포함하여, 단순 키워 매칭이 아닌 심층적인 의미 이해와 문맥 분석을 요구하도록 설계했습니다.
  • 구조적 특징: 비준수 요청은 단일 정책만 위반하도록 설계하여 평가의 명확성을 확보했습니다.

B. 해결 방법 (Solution Methods)

실무 배포를 고려하여, 정책 내용을 사전에 학습하지 않고 (Agnostic) 플러그 앤 플레이 방식으로 적용 가능한 다양한 LLM 기반 추론 방법을 제안했습니다.

1. Single Prompting (Baseline): 모든 정책과 요청을 하나의 프롬프트에 넣어 위반 정책을 직접 판단.
2. Sequential Prompting (S.P.): 각 정책별로 요청의 준수 여부를 개별적으로 질문.
   • 변형: 정책 연관성 (Policy Association), 요청 계획 (Request Plan), 또는 둘 다 (Both) 를 재구성 (Reframing) 하여 적용.
3. Two Arguments (T.A.): 준수/비준수 두 가지 논거를 생성한 후, 이를 종합하여 최종 판단 (논증 기반 접근).
4. Convincing Decision (C.D.): 생성된 논거의 설득력을 평가한 후, 논거가 명확하지 않을 경우 직접 판단하거나 논증 방식을 취하는 하이브리드 방식.

3. 주요 기여 (Key Contributions)

1. 최초의 벤치마크 제안: 기술 산업의 다양한 정책과 사용자 요청을 아우르는, 의미적 이해가 필요한 정책 준수 평가용 데이터셋을 공개했습니다.
2. 다양한 LLM 및 방법론 평가: 오픈소스 LLM (1B~120B 크기) 을 사용하여 제안된 13 가지 해결 방법의 성능을 정량적으로 평가했습니다.
3. 모델 크기 vs 성능 역설 발견: 정책 준수 평가 작업에서는 모델 크기가 클수록 성능이 항상 향상되는 것이 아님을 입증했습니다.
4. 실무적 권장 사항: 작은 모델과 효율적인 프롬프팅 기법을 조합하여 비용 효율적인 솔루션을 구축할 수 있는 가이드라인을 제시했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

A. 성능 메트릭

정확도 (Accuracy), True Positive (TP, 비준수 요청과 위반 정책 정확 식별), True Negative (TN, 준수 요청 정확 식별), False Negative (FN, 비준수 요청을 준수라고 잘못 판단) 등을 측정했습니다.

B. 주요 발견 사항

• 전반적 난이도: 모든 모델과 방법론에서 높은 정확도를 달성하기 어려웠습니다. 가장 높은 정확도는 55.11% (gpt-oss-120B) 였으며, 대부분의 모델은 30~50% 대의 정확도를 보였습니다.
• 모델 크기의 역설 (Size Paradox):
  • 일반적인 LLM 능력과 달리, 작은 모델이 더 높은 정확도를 보이는 경우가 발생했습니다.
  • 예: Llama 3.1 8B 모델이 70B 모델보다 높은 정확도 (53.33% vs 50.22%) 를 기록했고, Gemma 3 1B 모델이 4B 모델보다 20% 이상 높은 정확도를 보였습니다.
  • 이는 정책 준수 평가가 복잡한 추론보다는 정밀한 텍스트 매칭이나 특정 패턴 인식에 더 의존할 수 있음을 시사합니다.
• 방법론 비교:
  • 가장 복잡한 방법 (Convincing Decision 등) 이 항상 더 좋은 성능을 내지는 않았습니다.
  • S.P. with Both (Sequential Prompting with Both Reframings) 방법이 대부분의 소형 모델에서 가장 높은 정확도나 두 번째로 높은 성능을 보였습니다.
  • Single Prompting은 가장 큰 모델 (gpt-oss-120B) 에서는 가장 좋은 성능을 냈으나, 소형 모델에서는 성능이 떨어졌습니다.
• TP 와 TN 의 트레이드오프: 하나의 방법론으로 모든 모델에서 높은 TP(위반 식별) 와 높은 TN(준수 식별) 을 동시에 달성하는 것은 매우 어려웠습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 가치: 조직은 고비용의 대형 LLM 대신, **소형 LLM 과 효율적인 프롬프팅 기법 (예: S.P. with Both)**을 결합하여 정책 준수 검사를 수행함으로써 비용을 절감하면서도 높은 안전성을 확보할 수 있음을 입증했습니다.
• 연구적 기여: 사용자 요청의 정책 준수성 평가가 단순한 분류 문제가 아니라, 의미적 이해와 문맥 분석이 요구되는 비선형적 (Non-trivial) 인 과제임을 보여주었습니다.
• 향후 방향: 이 벤치마크와 평가 결과는 AI 에이전트의 안전성 보장을 위한 새로운 해결책 개발의 기초를 마련했습니다.

이 논문은 AI 시스템의 안전성을 확보하기 위해, 사용자 입력을 사전에 필터링하는 '가드레일' 시스템 구축에 있어 작은 모델의 활용 가능성과 적절한 프롬프팅 전략의 중요성을 강조한다는 점에서 중요한 의의를 가집니다.