기술적 요약: 태국 변호사 시험 자유형식 논술에 대한 LLM 판사와 변호사 협회 심사위원의 2 단계 안정성 연구

문제 제기

현재 자유형식 법률 논술에 대한 자연어 처리 (NLP) 평가는 검증되지 않은 두 가지 가정에 의존합니다: (1) 자격을 갖춘 인간 전문가 간의 평가자 간 합의가 모든 항목에 걸쳐 단일하고 평탄한 "안정성 천장"을 정의한다는 것, 그리고 (2) LLM 판사의 성공은 이러한 인간 패널과의 합의가 그 천장에 얼마나 근접하는지로 측정된다는 것입니다. 본 연구는 전문가의 안정성이 항목 간에 균일한지, 그리고 LLM 판사 집단이 인간 해석의 전체 스펙트럼을 재현하는지 아니면 단순히 단일 다수 해석으로 수렴하는지 조사함으로써 이러한 가정에 도전합니다. 본 연구는 채점에 결정적 정확성 (골드 답변과 일치) 과 해석적 품질 (추론의 깊이) 이 모두 포함되며, 후자는 종종 명시적 규제 지침이 부재한 고위험 자유형식 논술 평가인 태국 변호사 시험에 초점을 맞춥니다.

방법론

본 연구는 입력 변이를 통제하면서 피험자와 판사의 역할을 분리하기 위해 동일 입력을 사용하는 2 단계 프로토콜을 사용합니다.

1 단계: LLM 을 피험자로

• 참가자: 42 명의 태국 법대 학생과 8 개의 LLM (Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro 등 포함).
• 과제: 참가자들은 맹검 조건 하에서 민법 및 상법 논술 문제 3 개에 답했습니다.
• 채점: 변호사 협회 훈련을 받은 3 명의 심사위원 (A, B, C) 이 공개된 8 단계 rubric 을 사용하여 답변을 채점했습니다. 심사위원들은 누가 LLM 인지 알지 못했습니다.
• 결과: LLM 이 인간 학생 분포 내에 위치하도록 하여 채점 과제가 단순하지 않음을 보장하는 기준 능력 분포를 확립했습니다.

2 단계: LLM 을 판사로

• 코퍼스: 심층 분석을 위해 15 개의 교차 채점 셀 (5 개의 답변 $\times$ 3 명의 심사위원) 의 하위 집합을 선정했습니다.
• 입력: 모든 평가자 (3 명의 인간과 26 개의 LLM) 는 질문, 공식 채점 규정, 골드 답변, 그리고 지원자의 논술이라는 동일한 4-튜플 입력을 받았습니다.
• LLM 패널:
  • 앵커 서브 패널: Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro 의 세 가지 폐쇄형 최첨단 모델은 결정성 탐지 (3 개의 시드, $T=0$), 입력 제거 (규정 생략, 골드 답변 생략), 부트스트랩 신뢰구간을 포함한 엄격한 계측을 거쳤습니다.
  • 확장 패널: 폐쇄형 최첨단 (대형/소형), 플래그십 오픈 가중치, 소형 오픈 가중치 계층을 아우르는 23 개의 추가 모델이 집단 수준의 구조적 주장을 테스트하기 위해 추가되었습니다.
• 지표: 안정성은 Krippendorff's $\alpha$, 쌍별 피어슨 상관관계, 코헨의 가중 $\kappa$를 사용하여 측정되었습니다.

주요 기여

1. 집단 수준의 비대칭적 수렴: 본 연구는 LLM 판사 행동의 구조적 비대칭성을 규명합니다. rubric 이 생략된 법령 인용이 포함된 올바른 최종 답변의 해석에 대해 침묵하는 항목 (즉, "규정-침묵" 경계) 에서 인간 패널은 두 가지 일관된 해석 (다수 B/C 해석과 소수 A 해석) 으로 나뉩니다. LLM 집단은 대칭적으로 나뉘지 않으며, 26 개 LLM 중 22 개가 다수 (B/C) 해석으로 수렴하고, 3 개는 중간 간격에 위치하며, 1 개 (GPT-5.4 Nano) 만 소수 (A) 해석에 근접하지만 일관되게 그 범위 내에서 점수를 내지는 못합니다. 어떤 LLM 도 소수 해석을 재현하지 못했습니다.
2. 피험자 능력과 판사 안정성의 분리: 동일한 8 개의 LLM 을 피험자와 판사로 사용하는 이중 역할 설계를 통해, 모델의 피험자로서의 성능이 판사로서의 정렬을 예측하지 못함을 입증합니다. 약한 피험자는 종종 더 강력한 B/C 정렬 판사가 되는 반면, 최상위 점수를 받은 피험자는 반드시 소수 해석과 정렬되는 것은 아닙니다. 능력의 확장 (Scaling) 이 LLM 집단을 소수 해석 쪽으로 밀어붙이지는 않습니다.
3. 계측된 앵커 패널: 결정성, 제거 분석, 부트스트랩 신뢰구간을 포함한 완전한 계측을 갖춘 3 개 LLM 앵커 서브 패널을 구축하여 패널 $\alpha$를 0.77 로 달성했습니다. 이는 논쟁의 여지가 있는 항목에서 인간 패널의 0.36 보다 훨씬 높은 수치입니다.

주요 결과

안정성 지표

• 비논쟁 항목: rubric 이 두 축을 모두 규정하는 15 개 셀 중 10 개 (질문 1 및 3) 에서 인간 패널과 LLM 패널은 안정성이 동등합니다 ($\alpha \approx 0.75$).
• 논쟁 항목: 규정-침묵 경계인 질문 2 의 5 개 셀에서 인간 패널은 심사위원 A (엄격함, 점수 1–2) 와 심사위원 B/C (관대함, 점수 6–8) 간의 분열로 인해 $\alpha = -0.34$로 붕괴됩니다.
• 논쟁 항목에서의 LLM 행동: LLM 패널은 높은 안정성 ($\alpha = 0.68$) 을 유지하지만 오직 B/C 해석으로만 수렴합니다.
  • 22/26 LLM: B/C 밴드 ($m_c \in [5, 8]$) 에서 점수를 받습니다.
  • 3/26 LLM: 중간 간격 ($3 < m_c < 5$) 에서 점수를 받습니다.
  • 1/26 LLM (GPT-5.4 Nano): A 밴드에 근접하지만 ($m_c = 2.33$) 일관되게 그 범위 내에서 점수를 내지는 못합니다.
  • 결과: 어떤 LLM 도 소수 인간 해석을 재현하지 못했습니다.

실패 모드 진단

본 연구는 다수 클러스터에서 벗어난 LLM 의 세 가지 고유한 실패 모드를 규명합니다:

1. 규모 양자화 (Claude Haiku 4.5): 점수 척도를 이진 통과/불합격 버킷 (3.5 또는 7.5) 으로 축소하여 중간 범위의 점수를 표현하지 못합니다.
2. 최종 답변만 채점 (GPT-5.4 Mini): 해석적 축을 무시하고 추론의 품질과 관계없이 최종 결론의 정확성만으로 높은 점수를 부여합니다.
3. 추론 엄격 채점 (GPT-5.4 Nano): 해석적 축에서 생략된 인용을 엄격하게 처벌하여 소수 A 해석과 정렬되지만, 전체 데이터셋에 걸쳐 일관성이 부족합니다.

견고성 검증

• 결정성: $T=0$에서 앵커 LLM 은 높은 판사 내부 안정성 (Claude $\alpha=0.998$) 을 보여주어, 모델 간 다양성 (0.77) 이 노이즈의 산물이 아니라 집단의 특성임을 확인했습니다.
• 입력 제거 분석: 규정이나 골드 답변을 제거하면 LLM 패널의 안정성은 감소하지만, 격차의 방향을 반전시키지는 않습니다 (LLM $\alpha$는 여전히 인간 $\alpha$보다 높음).
• 이중 역할 분석: 피험자 점수와 판사 클러스터 정렬 간의 상관관계는 탐색적이며 음의 상관관계 ($r = -0.34$) 를 보이며, 이는 약한 피험자 (결정적 축에 더 의존할 수 있음) 가 판사로서 B/C 다수에게 더 강하게 정렬됨을 시사합니다.

중요성과 주장

본 논문은 법률 NLP 의 "안정성 천장"이 평탄한 선이 아니라, rubric 이 해석적 품질을 전문가의 판단에 맡기는 규정-침묵 경계에 위치한 단층선이라고 주장합니다.

• 합의의 비대칭성: 높은 LLM 패널 합의 ($\alpha$) 는 인간 변이의 균형 잡힌 재현을 의미하지 않습니다. 대신, 이는 다수 인간 해석에 대한 체계적 수렴을 반영합니다. 일반적으로 다수에 의해 왜곡된 인간 참조 패널과의 합의를 최대화하여 LLM 판사를 선택하는 벤치마크는 구조적으로 이러한 비대칭성을 물려받아 소수 해석이 가능한 판사를 필터링하게 됩니다.
• 해석적 병목 현상: 본 연구는 "rubric 의 해석적 병목 현상"을 올바른 답변이지만 추론이 불완전한 경우를 어떻게 채점할지에 대해 규정이 침묵하는 특정 영역으로 정의합니다. 이 영역에서 인간 패널은 자연스럽게 일관되고 정당한 해석으로 나뉘는 반면, LLM 집단은 한쪽으로 수렴합니다.
• 확장의 한계: 연구 결과는 단순히 모델 능력을 확장하는 것이 이러한 비대칭성을 해결하지 못함을 시사합니다. 더 큰 모델이 자발적으로 소수 해석을 채택하지는 않습니다. 수렴은 모델 크기, 공급업체, 가격 계층과 무관하게 이 특정 rubric 에 대한 LLM 앙상블의 구조적 속성입니다.

본 논문은 현재 평가 프로토콜이 정당한 인간 해석의 전체 공간을 은폐한다고 결론지으며, 해석적 사례별 패널 안정성을 보고하고 단일 평균화된 목표가 아닌 여러 정당한 인간 해석에 대해 LLM 판사를 평가하는 벤치마크를 요구합니다.