기술 요약: LLM 심사위원은 안전 기준 및 위해 범주에 따라 일관성 없이 불일치함

문제 정의

대규모 언어 모델(LLM)을 자동화된 심사위원("LLM-as-a-Judge")으로 사용하는 것은 모델의 안전성을 평가하기 위한 보편적인 패러다임이 되었으며, 확장성을 위해 인간의 주석을 대체하거나 보완하고 있습니다. 그러나 기존 연구는 주로 이러한 심사위원이 인간 주석가와 비교했을 때의 정확도에 집중하거나, 안전성을 단일 차원적 개념(안전함 대 위험함)으로 가정합니다.

본 논문은 다음과 같은 핵심적인 격차를 다룹니다: 다차원적 기준(multi-dimensional criteria)과 의미론적 불변 변환(semantically invariant transformations, 예: 번역, 패러페이징) 환경에서 LLM 심사위원이 제공하는 일관성(consistency)입니다. 저자들은 입력 콘텐츠가 언어적으로 변경되더라도 의미론적 내용은 유지될 때, LLM 심사위원이 얼마나 신뢰할 수 있고 안정적인 판단을 내리는지, 그리고 특히 미묘한 규제 영역과 명백히 유해한 콘텐츠 사이에서 서로 다른 심사위원들이 얼마나 동의하는지를 조사합니다.

방법론

본 연구는 자기 일관성(self-consistency, 단일 심사위원이 변형된 입력에 대해 보이는 안정성)과 교차 일관성(cross-consistency, 여러 심사위원 간의 합의)을 측정하도록 설계된 참조 없는(reference-free) 평가 워크플로우를 채택합니다.

1. 데이터 구축

• 시드 쿼리(Seed Queries): 저자들은 두 가지 뚜렷한 위험 유형으로 분류된 AIRBench-2024 데이터셋의 89개 시드 쿼리를 활용했습니다.
  • OPMISUSE (운영 오용): "자동 의사 결정" 및 "규제 산업에서의 조언"(예: 금융, 채용)에 초점을 맞춘 50개의 쿼리입니다. 이는 미묘하고 문화 의존적인 시나리오를 나타냅니다.
  • VIOLENCE (폭력): 폭력, 극단주의, 자해, 범죄 활동 등 명백히 유해한 콘텐츠를 다루는 39개의 쿼리입니다.
• 변형 생성:
  • 문화적/지리적 변형: OPMISUSE의 경우, 이름, 위치, 통화를 다양한 문화에 맞게 조정하여 쿼리당 5개의 변형을 생성했습니다(총 300개 쿼리).
  • 번역: 모든 쿼리와 응답을 영어 외에 5개 언어(프랑스어, 아랍어, 페르시아어, 텔루구어, 힌디어)로 번역했습니다.
  • 패러페이징(Paraphrases): OPMISUSE 응답에 대해, 사실적 내용은 유지하면서 어조(격식체 vs 구어체), 구조(결론 우선 vs 결론 후순위), 명시성 등을 변경한 10개의 의미론적으로 일관된 변형을 생성했습니다.
• 응답 생성: 심사위원의 가변성을 격리하기 위해 모든 응답은 단일 강력한 생성 모델(GPT-4o-Mini)에 의해 생성되었습니다.

2. 평가 설정

• 심사위원(Judges): 여섯 가지 최첨단 LLM이 심사위원으로 사용되었습니다: Gemini-2.5-Flash, GPT-4o-Mini, Claude-Haiku-4.5, Command-A, Llama-3.3-70B, Gemma-3-27B.
• 기준(Criteria): 심사위원들은 다음 6가지 차원에 따라 응답을 평가했습니다:
  1. 거절(Refusal): 모델이 요청을 거절했는가?
  2. 안전성(Safety): 응답이 안전한가?
  3. 유용성(Helpfulness): 응답이 관련성이 있고 유용한가?
  4. 설명(Explanation): 모델이 결정을 설명했는가?
  5. 경고(Warnings): 모델이 필요한 경고/면책 조항을 발행했는가?
  6. 문화적 민감도(Cultural Sensitivity): 모델이 문화적 단서를 적절하게 처리했는가?
• 지표: 일관성은 크리펜도르 알파(Krippendorff's Alpha, 우연 보정됨)와 코헨 카파(Cohen's Kappa)를 원시 백분율 합의와 함께 사용하여 측정되었습니다. 저자들은 레이블 불균형(예: 거의 보편적인 "안전함" 레이블)으로 인해 점수가 부풀려지는 것을 방지하기 위해 우연 보정 지표를 사용하는 것의 필요성을 강조합니다.

주요 기여

1. 워크플로우 개발: 골드 스탠다드(gold-standard) 주석 없이 6가지 안전 기준에 대한 LLM 심사위원의 일관성을 측정하는 새로운 워크플로우를 개발했습니다.
2. 포괄적 평가: 약 350개의 안전 프롬프트, 두 가지 위험 범주, 여섯 가지 언어에 대해 6개 LLM의 자기 및 교차 일관성을 평가했습니다.
3. 방법론적 통찰: 원시 합의 점수는 클래스 불균형으로 인해 오해의 소지가 있으므로, 진정한 신뢰성을 드러내기 위해 우연 보정 지표(Krippendorff's $\alpha$)를 사용할 것을 권장하며, 이를 통해 안전 평가에서의 효과를 입증했습니다.

결과

1. 도메인별 신뢰도

• 명백한 위해 (VIOLENCE): LLM 심사위원은 명백히 유해한 콘텐츠(폭력, 불법 행위)를 식별하는 데 있어 더 높은 신뢰도와 합의를 보였습니다. 이 범주에서는 거절 및 안전성과 같은 기준에 대해 일반적으로 높은 합의가 나타났습니다.
• 규제 분야 조언 (OPMISUSE): 심사위원들은 규제된 도메인(예: 금융)의 조언과 관련된 안전 문제를 식별하는 데 있어 현저히 신뢰할 수 없었습니다. 이러한 맥락에서 응답이 "안전"한지 또는 "유용"한지에 대해 심사위원 간의 높은 불일치가 발생했습니다.

2. 자기 일관성 (변형에 따른 안정성)

• 미묘한 도메인에서의 낮은 안정성: 심사위원들은 OPMISUSE 범주에서 낮은 자기 일관성을 보였습니다. 응답이 패러페이징되거나 번역될 때, 심사위원들은 안전성, 유용성, 문화적 민감도와 같은 차원에 대해 빈번하게 판정을 변경했습니다.
• 명시적 단서에서의 높은 안정성: 명시적인 텍스트 신호와 연결된 차원(예: 거절, 경고의 존재 여부)은 더 높은 일관성을 보였습니다.
• 언어적 민감도: 문화적 민감도는 모든 심사위원과 언어 전반에서 가장 신뢰도가 낮은 차원이었으며, 이는 심사위원이 문화적으로 근거한 미묘한 차이를 일관되게 해석하는 데 어려움을 겪고 있음을 나타냅니다.

3. 교차 일관성 (심사위원 간의 합의)

• 높은 불일치: 동일한 입력에 대해 서로 다른 심사위원들 사이에 상당한 불일치가 있었습니다. 특히 OPMISUSE 범주에서 그러했습니다.
• "안전성"의 역설: OPMISUSE 범주에서 "안전성" 기준에 대한 원시 합의는 종종 높았으나(대부분의 심사위원이 응답을 "안전"하다고 레이블링했기 때문), Krippendorff's Alpha는 0에 가깝거나 음수였습니다. 이는 합의가 안전의 정의에 대한 진정한 공통된 이해가 아니라 레이블의 빈도에 의해 주도되었음을 나타냅니다.
• 언어의 영향: 교차 심사위원 간의 합의는 언어별로 크게 달랐으며, 일부 언어는 다른 언어보다 더 높은 불안정성을 보였습니다.

4. 질적 발견

• 경고 누락: 심사위원들은 규제 도메인에서 필요한 면책 조항의 부재(예: 경고 없이 신용 점수를 제공하는 것)를 명시적으로 확인하도록 프롬프트가 주어졌음에도 불구하고 이를 감지하지 못하는 경우가 많았습니다.
• 일관되지 않은 해석: "문화적 민감도" 및 "설명"과 같은 주관적인 기준은 언어에 따라, 심지어 동일한 심사위원이 동일한 텍스트의 다른 변형을 평가할 때도 일관성 없이 해석되었습니다.

의의 및 주장

본 논문은 LLM이 현재 미묘하고 다차원적인 안전성 평가, 특히 맥락과 문화적 민감성이 매우 중요한 규제 도메인에서 자동화된 심사위원으로서 신뢰할 수 없다고 결론짓습니다.

• 현재 관행의 한 และ점: 서로 다른 모델이 안전에 대한 공통된 정의를 공유하지 않으므로, 주의 깊은 캘리브레이션(calibration) 없이 LLM을 안전 평가를 위한 "배심원"으로 사용하는 것의 타당성에 의문을 제기합니다.
• 지표의 함의: 원시 합의 점수에만 의존하는 것은 심사위원의 일관성을 과대평가하게 만듭니다. 저자들은 정확한 평가를 위해 우연 보정 지표(Krippendorff's $\alpha$)가 필수적이라고 주장합니다.
• 실무적 권장 사항:
  • LLM 심사위원은 미묘하고 맥락 의존적인 행동을 평가하는 것보다 명확하고 표면적인 안전 신호(예: 명백한 폭력)를 탐지하는 데 더 적합합니다.
  • 실무자는 특정 기준(예: 어떤 모델은 "경고" 탐지에 더 뛰어나고, 다른 모델은 "거절" 탐지에 더 뛰어남)에 따라 심사위원을 신중하게 선택해야 합니다.
  • 평가 파이프라인은 안전 판단이 이러한 요소들에 매우 민감하므로 언어적 및 문화적 변형을 반드시 고려해야 합니다.

저자들은 이러한 연구 결과가 복잡한 실제 세계의 안전 시나리오에서 더욱 엄격한 캘리브레이션 관행과 "LLM-as-a-Judge" 패러다임에 대한 재평가를 촉구하는 것이라고 강조합니다.