기술 요약: TW-LegalBench

문제 정의

대규모 언어 모델(LLM)은 일반적인 영역에서 상당한 능력을 입증해 왔으나, 관할 구역별 법률 추론에 대한 성능은 아직 충분히 탐구되지 않았습니다. 기존의 법률 벤치마크는 세 가지 체계적인 한계를 가지고 있습니다:

1. 과도한 조잡함(Excessive Coarseness): 많은 벤치마크가 서로 다른 법적 교리를 광범위한 범주로 통합하여(예: 행정소송법과 공무원 품위 유지법을 혼동함), 모델의 전문성을 정밀하게 진단하는 것을 방해합니다.
2. 평가 격차(Assessment Gap): 폐쇄형 객관식 문제(MCQ)에 과도하게 의존하는 방식은 실제 세계의 개방형 법률 문제 해결 능력을 시뮬레이션하는 데 실패합니다.
3. 관할 구역 불균형(Jurisdictional Imbalance): 대부분의 벤치마크는 영미법(English) 또는 단순화된 중국식 대륙법 체계에 집중되어 있어, 대만과 같은 번체 중국어 기반 대륙법 관할 구역을 위한 고충실도 자원의 공백을 남겨두었습니다.

대만 법률에 관한 현재의 벤치마크(예: TMLU, TMMLU+, LLAWA)는 범위가 제한적이거나, 추상적이거나, 혹은 작업 다양성(객관식 vs 서술형 vs 판결 예측)이 부족합니다.

방법론

저자들은 대만의 대륙법 전통에 기초하고, 고시위원회와 사법원의 공식 오픈 데이터를 활용한 다계층 벤치마크인 TW-LegalBench를 소개합니다. 이 데이터셋은 세 가지 뚜렷한 작업 유형으로 구성됩니다:

1. 객관식 문제 (MCQs)

• 데이터: 18개 전문 분야(공무원, 사법, 경찰, 전문직)에 걸친 공식 시험 문제 16,493개 (2020–2024).
• 주석(Annotation): 각 문제는 특정 법적 출처와 함께 수동으로 주석이 달렸으며, 6개의 법적 카테고리에 걸친 43개의 구별된 법률 유형을 식별합니다.
• 처리: 단일 정답 항목만을 유지하도록 문제를 필터링했습니다. 또한 언어 효과를 조사하기 위해 공식 사법원 용어를 사용하여 간체 중국어 및 영어로 번역되었습니다.

2. 개방형 서술형 문제 (OEQs)

• 데이터: 사법시험 및 변호사 시험 2차 시험 문제 117개 (2020–2024).
• 평가 프레임워크: 저자들은 분해된 LLM-as-Judge 프레임워크를 제안합니다. 단일 수치 점수를 생성하는 대신, 판사 모델은 각 채점 루브릭 포인트를 네 가지 상태 레이블(정답(Correct), 부분 정답(Partial), 오답(Wrong), 누락(Miss))에 대해 개별적으로 평가합니다.
• 편향 완화: 자기 편향(self-favoritism)을 완화하기 위해 두 개의 판사 모델(GPT-5 및 Claude-Sonnet-4.5)을 사용하며, 점수를 평균화합니다.

3. 법적 판결 예측 (LJP)

• 데이터: 1심 형사 판결문 14,325건 (2013–2024).
• 필터링: 구조적 명확성(주문, 사실관계, 이유)과 글자 길이를 기준으로 판결문을 필터링했습니다. 테스트 세트는 균형 잡힌 평가를 위해 107개 범죄 카테고리에 걸쳐 5개씩의 샘플을 포함한 총 535개의 샘플로 구성되었습니다.
• 지표:
  • 판결/형량: ROUGE 점수, 토큰 수준 F1, 그리고 카테고리별 정확도(예: 징역형에 대한 정규화된 로그 거리, 구금/벌금에 대한 절대 임계값).
  • 법령 인용: 정확도, 제1종 오류(존재하지 않는 법령 환각), 제2종 오류(적용 불가능한 실제 법령 인용), 그리고 총 오류율.

실험 설정

본 연구는 zero-shot Chain-of-Thought (CoT) 프롬프팅을 사용하여 13개의 LLM(폐쇄형 4개, 오픈 소스 9개)을 평가합니다. 모델 선택에는 프런티어 모델(GPT-5, Claude-Sonnet-4.5), 대규모 추론 최적화 오픈 모델(Qwen3-235b, Llama-3.1-405b), 그리고 번체 중국어/대만 데이터에 특화되어 사전 학습되거나 미세 조정된 모델(Llama-Taiwan, Breeze)이 포함됩니다.

주요 결과

1. MCQ 성능

• 최고 성능: 폐쇄형 모델(Claude-Sonnet-4.5: 81.0%)과 Qwen3-235b(69.1%)가 가장 높은 정확도를 기록했습니다.
• 도메인 편차: 모델들은 헌법 관련 문제와 특정 법적 레이블이 없는 문제에서 가장 좋은 성과를 보였으나, 방대하고 빈번하게 개정되는 행정법에서는 어려움을 겪었습니다.
• 극도의 난이도: 290개의 문제(1.76%)가 13개 모델 모두를 당혹스럽게 만들었으며, 이는 주로 모호한 법령(예: 국립고궁박물리조직법)이나 복잡한 계산(예: 상속에서의 증여 재산)을 포함했습니다.

2. OEQ 성능 (인간 vs AI)

• 합격 임계치: 상위 모델들(Qwen3-235b, GPT-5, GPT-5.2)은 변호사 시험 합격 임계치(약 상위 33백분위, 합격률 약 11%)를 초과했습니다.
• 사법 격차: 어떤 모델도 사법/검찰 시험(약 상위 510%, 합격률 약 12%)의 합격 임계치에 도달하지 못했습니다. 상위 3%의 인간 응시자는 최고 성능의 모델보다 100점 이상 앞섰습니다.
• 언어의 영향: 번체 중국어 또는 대만 특화 코퍼스(예: Breeze-7b-instruct, Llama-Taiwan-70b)로 학습된 모델은 특히 부분적인 추론을 처리하는 데 있어 더 큰 범용 모델보다 종종 더 나은 성능을 보였습니다.

3. LJP 성능

• 양형: 모델들은 판결 유형과 형량을 예측하는 데 있어 합리적인 정확도를 보여주었습니다(예: Claude-Sonnet-4.5는 0.907의 정규화된 로그 거리를 달 기록).
• 법령 인용: 성능이 저조했습니다. 가장 우수한 모델(Llama-Taiwan-8b)조차 올바른 법령을 인용하는 정확도가 **9.9%**에 불েক했습니다.
• 오류 유형: 폐쇄형 모델은 높은 제1종 오류(존재하지 않는 법령 환각)를 보였고, 일부 오픈 소스 모델은 높은 제2종 오류(실제 존재하지만 적용 불가능한 법령 인용)를 보였습니다.
• 암기 vs 추론: LJP에서 대만 특화 모델들이 보이는 강력한 성능은 진정한 법적 추론보다는 훈련 데이터 내의 법원 판결문을 암기한 결과라는 가설이 제기됩니다. 이는 이들이 LJP 점수에 비해 OEQ 성능이 약하다는 점에 의해 뒷받침됩니다.

의의 및 주장

본 논문은 TW-LegalBench가 번체 중국어를 사용하는 대륙법 체계에서 LLM을 평가하는 데 있어 중요한 공백을 메운다고 주장합니다. 그 의의는 다음과 같습니다:

1. 세밀한 진단: MCQ에 대한 법령 수준의 주석을 제공함으로써, 이전 벤치마크의 조잡한 분류를 넘어 43개 법률 유형에 대한 모델의 전문성을 고해상도로 분석할 수 있게 합니다.
2. 엄격한 평가 프로토콜: OEQ를 위한 분해된 LLM-as-Judge 프레임워크는 직접적인 점수 부여보다 더 안정적이고 미묘한 법적 논증 평가를 제공합니다.
3. 실제 세계와의 정렬: LJP 데이터셋은 실제 사법 결과를 통해 모델을 평가하며, LLM이 자격 시험(변호사)에서는 인간 수준의 성능에 근접할 수 있지만, 현재로서는 고위험 사법 역할(판사/검사)에 필요한 신뢰성을 갖추지 못했음을 드러냅니다.
4. 관할 구역 특수성: 결과는 (대만 번체 중국어와 같은) 관할 구역 특화 코퍼스로 학습된 모델이 개방형 및 판결 예측 작업에서 더 큰 범용 모델보다 일관되게 우수한 성능을 보인다는 점을 강조하며, 법률 AI를 위한 현지화된 훈련 데이터의 필요성을 부각합니다.

저자들은 LLM이 법률 자격 시험에서 인간 수준의 성능에 접근하고 있지만, 신뢰할 수 있는 법률 텍스트 생성과 정밀한 법령 인용은 특히 고위험 사법 애플리케이션에서 여전히 중대한 과제로 남아 있다고 결론짓습니다.