CompliBench: Benchmarking LLM Judges for Compliance Violation Detection in Dialogue Systems

1. 문제 정의 (Problem)

기업 환경에서 업무 지향형 대화 시스템 (예: 항공사, 보험사, 의료 분야의 가상 비서) 에 대규모 언어 모델 (LLM) 이 배포됨에 따라, 복잡한 도메인별 운영 지침 (Guidelines) 을 엄격히 준수하는 것이 필수적입니다.

• 현재의 한계: LLM 을 '심판자 (Judge)'로 활용하여 대화의 준수 여부를 평가하는 방식은 확장성이 좋지만, 이러한 심판자의 신뢰성은 충분히 검증되지 않았습니다.
• 데이터 부족: 기존 벤치마크는 최종 답변의 정확성만 평가하거나, 실제 대화에서의 정책 위반을 탐지하기 위한 **세밀한 정답 레이블 (Ground-truth labels)**이 부족합니다. 실제 대화에서 위반 시점 (Turn) 과 위반된 지침을 정확히 라벨링하는 것은 도메인 전문가의 수작업 비용이 너무 높아 현실적으로 불가능합니다.
• 핵심 질문: 복잡한 비즈니스 지침을 따르는지 여부를 LLM 이 정확하게 판단하고 위반 지점을 찾아낼 수 있는가?

2. 방법론 (Methodology)

이 논문은 데이터 부족 문제를 해결하기 위해 COMPLIBENCH라는 새로운 벤치마크와 이를 구축하기 위한 자동화된 데이터 생성 파이프라인을 제안합니다.

가. 데이터 생성 파이프라인 (Data Synthesis Pipeline)

1. 지침 확장 (Guideline Scaling):
   • 실제 기업 (항공, 보험, 의료) 의 지침을 수집하여 '보편적 준수 (Universal)', '워크플로우 (Workflow)', '조건부 지침 (Condition)' 세 가지 범주로 분류합니다.
   • LLM 을 활용하여 지침의 다양성을 확보하고, '심판 - 수정 (Judge-and-Refine)' 루프를 통해 지침 간의 중복과 충돌을 제거하여 고품질 지침 풀 (Pool) 을 구축합니다.
2. 위반 유도 및 최적화 (Violation Induction & Optimization):
   • 제약 조건: 위반 변형 (Violation Variants) 을 생성할 때, 단순한 문장 재구성이 아닌 관측 가능한 행동 변화를 일으키도록 하고, 원래 지침의 부분집합이 되는 함정 (Subset traps) 을 피하도록 설계합니다.
   • 적대적 검색 (Adversarial Search): 생성된 위반 변형이 현실적이면서도 기존 LLM 심판자가 탐지하기 어렵도록 '적대적 심판 - 수정' 파이프라인을 사용합니다. 내용 일관성 심판자 (Content Judge) 와 준수 심판자 (Compliance Judge) 를 통해 위반이 명확히 발생했는지, 그리고 탐지 가능한지 반복적으로 검증합니다.
3. 대화 생성 및 자동 라벨링 (Dialogue Generation):
   • 사용자 시뮬레이터, 지침 선택자, 어시스턴트 에이전트 등 3 개의 에이전트를 사용하여 대화를 생성합니다.
   • 생성된 대화는 의도적으로 지침을 위반하도록 설계되었으며, 위반된 턴 (Turn) 과 해당 지침에 대한 정확한 정답 레이블이 자동으로 생성됩니다.

나. 평가 지표 (Evaluation Metrics)

LLM 심판자의 성능을 측정하기 위해 세 가지 지표를 정의합니다:

1. Strict Guideline Accuracy (SGA): 준수된 턴에서 올바른 지침을 식별하고 위반이 아님을 정확히 판단하는지.
2. Violation Detection Accuracy (VDA): 위반된 턴을 정확히 탐지하는지.
3. Conversation-Level Accuracy (CLA): 전체 대화에서 모든 턴의 지침 식별과 위반 판정이 모두 정확한지.

3. 주요 기여 (Key Contributions)

• COMPLIBENCH 벤치마크: 다중 턴 대화에서 지침 위반을 탐지하고 국소화 (Localization) 하는 능력을 평가하는 최초의 체계적인 벤치마크를 제시합니다.
• 확장 가능한 데이터 생성 파이프라인: 고비용의 수동 라벨링 없이도, 정밀한 정답 레이블을 가진 현실적인 위반 데이터를 대량으로 생성할 수 있는 자동화 방법을 개발했습니다.
• 적대적 최적화: 생성된 위반 사례가 너무 쉬워지지 않도록, 심판자가 탐지하기 어려운 난이도의 위반을 자동으로 찾는 메커니즘을 도입했습니다.

4. 실험 결과 (Results)

항공, 보험, 의료 3 개 도메인 (총 318 개의 대화) 에서 다양한 최신 LLM 과 보상 모델 (Reward Models) 을 평가했습니다.

• 일반 LLM 의 한계: GPT-5, Gemini-3-pro, Claude-sonnet 등 최상위 수준의 폐쇄형 (Proprietary) LLM 들조차 다중 턴 대화에서의 준수 위반 탐지에 어려움을 겪었습니다. 특히 **Conversation-Level Accuracy (CLA)**는 매우 낮았으며 (최고 57% 대), 위반 탐지 (VDA) 가 주요 병목 현상이었습니다.
• 작은 모델의 우위: COMPLIBENCH 데이터로 파인튜닝된 Qwen3-8B(80 억 파라미터) 모델은 훨씬 큰 규모의 일반 LLM 들보다 뛰어난 성능을 보였습니다.
  • 항공 도메인에서 CLA 51.47% 를 기록하여 Gemini-3-pro 를 능가했습니다.
  • 이는 작은 규모의 전문 심판 모델이 도메인 특화 데이터로 학습될 경우, 거대 모델보다 더 강력하고 일반화 성능이 뛰어날 수 있음을 시사합니다.
• 보상 모델의 부적합: 기존 RLHF 기반의 보상 모델들은 단일 턴 선호도 데이터로 학습되어, 긴 문맥의 규칙 준수를 평가하는 데 적합하지 않았습니다.

5. 오류 분석 및 통찰 (Error Analysis)

GPT-5 의 오류를 분석한 결과, 심판자 모델은 다음과 같은 비대칭적인 실패 패턴을 보였습니다:

• 준수된 턴 (Compliant Turns): 지나치게 엄격하게 해석하여 (Overly strict), 명시되지 않은 규칙을 적용하거나 단계 간 의존성을 과장하는 경향이 있었습니다.
• 위반된 턴 (Violated Turns): 실제 위반을 놓치는 (False Negative) 경향이 강했습니다. 특히 지침의 범위를 잘못 해석하거나 (Scope mis-attribution), 중요한 증거를 무시하는 경우가 많았습니다.
• 주요 병목: '지침 범위 오인식 (Scope mis-attribution)'이 가장 큰 오류 원인 (약 57~70%) 이었습니다.

6. 의의 및 결론 (Significance)

• 신뢰할 수 있는 평가 프레임워크: COMPLIBENCH 는 배포된 대화 에이전트의 규정 준수 여부를 평가하기 위한 신뢰할 수 있는 기준을 제공합니다.
• 강건한 보상 모델 개발: 제안된 자동화된 데이터 생성 파이프라인은 규정 준수 평가에 특화된 강건한 생성형 보상 모델 (Generative Reward Models) 을 훈련시키기 위한 효과적인 기반이 됩니다.
• 실무적 함의: 단순한 모델 크기 확장보다는, 도메인 특화 데이터로 파인튜닝된 소형 모델이 기업 환경의 복잡한 규정 준수 문제 해결에 더 효과적일 수 있음을 증명했습니다.

이 연구는 LLM 기반 심판자의 신뢰성을 높이고, 기업용 AI 에이전트의 안전하고 규정 준수적인 배포를 가능하게 하는 중요한 발걸음입니다.