A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation

기술 요약: 원칙 기반 규제를 위한 LLM-as-Judge의 4축 신뢰성 벤치마크

문제 정의
현재의 자동화된 컴플라이언스 시스템은 금융, 의료, 자율 주행 시스템과 같은 고위험 도메인에서 주로 "규칙 기반(rule-based)" 패러다임에 의존하며, 규제를 참 또는 거짓을 판별하는 호른 절(Horn clause)과 같은 이진 술어로 취급합니다. 그러나 영국의 금융감독청(FCA)의 Consumer Duty 및 COBS 4.5A.3R과 같은 현대적 규제 프레임워크는 **원칙 기반 규제(principle-based regulation)**를 활용합니다. 이러한 표준(예: "공정하고, 명확하며, 오해의 소지가 없는" 또는 "좋은 결과를 전달함")은 평가적이며 결과 중심적이어서, 이진 논리로 환원하기 어렵습니다. 예를 들어, 어떤 홍보물은 필요한 모든 면책 조항을 포함하고 있더라도 전체적으로는 오해의 소지가 있을 수 있습니다.

대규모 언어 모델(LLM)이 이러한 원칙을 평가하기 위해 "LLM-as-Judge"로 점점 더 많이 배치되고 있지만, 이들은 심각한 신뢰성 격차를 보입니다. 즉, 이들은 종종 불투명하고, 기본적으로 보정(calibration)이 잘 되어 있지 않으며, 규제 조사를 위한 사례별 정당성을 결여하고 있고, 적대적 게임(adversarial gaming)에 취약합니다. 본 논문은 안전한 배포를 위해 LLM-judge가 단순히 총체적 정확도뿐만 아니라 **정확도(accuracy), 패러프레이즈 강건성(paraphrase robustness), 적대적 강건성(adversarial robustness), 그리고 보정(calibration)**이라는 네 가지 특정 축을 통해 평가되어야 한다고 주장합니다.

방법론 및 기여
본 논문은 이 4축 평가를 실행 가능한 형태로 구현하기 위한 두 가지 주요 기여를 소개합니다.

1. Principle-Bench: 원칙 기반 규제 평가를 위해 특별히 설계된 최초의 벤치마크입니다.

   • 범위: 공적인 FCA 자료의 저자 작성 요약을 바탕으로 생성된 168개의 시나리오를 포함하며, 두 가지 UK FCA 원칙인 COBS 4.5A.3R("공정하고, 명확하며, 오해의 소지가 없는")과 PRIN 2A/FG22–5 Consumer Duty("좋은 결과를 전달함")에 매핑됩니다.
   • 구조: 데이터셋은 다음 네 가지 분할(split)로 나뉩니다:
     • Original (100): 저자가 준비한 공적 FCA 자료의 요약으로부터 생성된 시나리오.
     • Paraphrase (30): 예시 문구와 공유되는 내용 토큰이 5개 이하인 재작성 문구.
     • Adversarial (28): 실질적으로 비준수적인 홍보물 내에 짧은 사실적 진술을 그대로 삽입하여 판정을 뒤집도록 만든 "키워드 스터핑(keyword-stuffed)" 입력값.
     • Boundary (10): 임계값 근처의 사례.
   • 무결성: 시나리오가 점수가 매겨지거나 라벨링되기 전에 평가 루브릭을 사전 등록(git-tagged)하여, 조작이 불가능한 기록을 보장했습니다.

2. Ceca (Calibrated Exemplar-Cluster Assessment): 불투명한 LLM judge의 대안으로서 '설계에 의한 투명성(transparency-by-design)'을 제공합니다.

   • 메커니즘: Ceca는 플러그형 문장 트랜스포머 임베더를 사용하여 입력값과 긍정/부정 예시 클러스터 간의 평균 코사인 유사도를 기반으로 원시 클러스터 신뢰도를 계산합니다.
   • 보정: 개발 분할(development split)에서의 Platt scaling을 통해 원시 점수를 보정된 확률 $s \in [0, 1]$로 매핑합니다.
   • 감사 가능성: 예시 집합의 폐쇄형 함수로서, Ceca는 정확한 역사실적 귀속(counterfactual attributions)($\Delta_e = s - s_{\setminus e}$)을 출력하여, 어떤 예시가 판정을 유도했는지, 그리고 해당 예시를 제거했을 때 점수가 어떻게 변할지를 보여줍니다.
   • 캐스케이드(Cascade): Ceca가 일차적으로 작동하는 하이브리드 방식입니다. 만약 Ceca의 신뢰도가 조정된 불확실성 범위 내에 있으면, LLM-judge에게 판단을 위임합니다.

실험 설정
저자는 네 가지 축에 대해 여섯 가지 방법을 평가했습니다:

• Keyword Counting: 결정론적인 bag-of-clusters 접근 방식.
• Sentence-Transformers: 세 가지 임베더 (MiniLM, BGE, Ollama-mxbai).
• LLM-Judge: 원칙 텍스트와 예시가 프롬프트로 제공된 오픈 웨이트 모델 (gpt-oss:120b).
• Cascade: 키워드 우선 방식 및 LLM-judge 폴백(fallback) 방식.

지표로는 정확도(accuracy), F1, AUC, 기대 보정 오차(Expected Calibration Error, ECE), 그리고 판사 간 일치도를 나타내는 Cohen's $\kappa$가 포함되었습니다.

주요 결과
연구 결과, 단일 방법론이 네 가지 축 모두에서 우위를 점하지 못함을 발견하였으며, 이는 양호한 입력에 대한 성능과 적대적 조작에 대한 강건성 사이의 결정적인 트레이드오프를 드러냅니다.

• 양호한 성능(Benign Performance): 양호한(benign) 입력에 대해, LLM-judge와 Cascade는 sentence-transformers 및 keyword counting보다 유의미하게 높은 성능을 보였습니다. 예를 들어, COBS의 경우 LLM-judge는 0.96의 정확도를 달성한 반면, 임베더는 0.50을 기록했습니다.
• "컴플라이언스 시어터(Compliance Theatre)"의 실패: LLM-judge는 적대적 게임에 매우 취약합니다. Consumer Duty 원칙의 경우, 키워드 스터핑 입력에 직면했을 때 LLM-judge의 정확도는 0.74에서 0.27로 급락(47포인트 하락)했습니다. 모델은 비준수 텍스트에 삽입된 표면적인 사실적 진술에 과도한 가중치를 두어, 결과적으로 해당 홍보물을 통과시켰습니다.
• 적대적 강건성의 역설: 역설적이게도, 보정되지 않은 sentence-transformer 임베더들이 Consumer Duty 적대적 분할에서 가장 강건한 모습을 보였습니다(정확도 0.67). 이들은 삽입된 구절을 의미론적 증거로 읽어내지 못했기 때문에, LLM을 속인 조작에 대해 오히려 무감각했습니다.
• 모델 측면의 취약성: gpt-oss:120b judge와 다른 계열의 judge(kimi-k2.6) 사이의 판사 간 일치도는 Consumer Duty 적대적 분할에서 $\kappa=0.16$으로 붕괴되었습니다. 이는 실패가 코퍼스의 특성이 아니라 모델 아키텍처 자체의 고유한 문제임을 확인시켜 줍니다.
• 보정의 필요성: 원시 LLM 신뢰도는 편향되어 있었습니다(ECE 0.22–0.27). 사후 Platt scaling을 적용한 결과 ECE가 0.04–0.10으로 감소하였으며, 이는 규제 배포를 위해 보정이 필수적임을 입증합니다.
• 감사 가능성: Ceca의 역사실적 귀속은 충실한 것으로 나타났습니다. 상위 귀속 예시를 제거했을 때 점수가 크게 변동하였으며(무작위 예시 대비 10배의 효과), 4%의 입력에서 판정이 뒤집혔습니다. 이는 규제 기관이 특정 증거에 대해 이의를 제기할 수 있게 합니다.

의의 및 주장
본 논문은 양호한 벤치마크에서 가장 "강력한" LLM-judge가 종종 가장 쉽게 속을 수 있는 모델이며, 이는 헤드라인 정확도 지표에서는 보이지 않는 신뢰성 실패라고 주장합니다.

• 배포 요구사항: 원칙 기반 규제를 위한 배포 등급의 LLM-judge는 총체적 정확도와 함께 원칙별 적대적 기만율(per-principle adversarial deception rates) 및 **사후 보정(post-hoc calibration)**을 반드시 보고해야 합니다.
• 감사 가능성: 판정은 모호한 서사적 근거보다는 감사 가능하고 논쟁 가능한 귀속 레이어(Ceca와 같은)와 결합되어야 합니다.
• 일반화 가능성: 본 방법론(사전 등록된 루브릭, 시드 그라운딩, 섭동 세트)은 의료 분야의 "고지된 동의(informed consent)"나 자율 주행의 "합리적 안전(reasonable safety)"과 같은 다른 원칙 기반 도메인에도 적용 가능합니다.

저자는 보안과 신뢰를 갖춘 거버넌스용 LLM 평가는 총체적 정확도에만 의존할 수 없으며, 적대적 기만과 보정 결여를 드러내는 다축 증거에 기반해야 한다고 결론짓습니다.