기술 요약: Magis-Bench

문제 제기

기존의 법률 인공지능 벤치마크는 주로 변호 활동 중심의 과제(예: 법적 논거 작성 또는 법률 자문 제공) 에 초점을 맞추고 있습니다. 그러나 잘 기능하는 사법 제도는 이러한 논거를 심판할 수 있는 능력, 즉 경쟁하는 주장을 저울질하고, 사실을 법리에 적용하며, 이유 있는 공정한 결정을 내리는 능력에 동등하게 의존합니다. 현재의 평가는 설득력 있는 글쓰기를 테스트하지만, 포괄적인 분석과 법에 기반한 권위 있는 해결을 요구하는 판사 수준의 추론에 필요한 특정 역량을 평가하는 데는 종종 실패합니다. 인간 판사를 선발하는 데 사용되는 공식 인증 기준에 따라 대규모 언어 모델 (LLM) 을 평가하는 벤치마크는 부재합니다.

방법론

데이터셋 구축 (Magis-Bench)

저자들은 최근 브라질의 사법직 (대리 판사) 을 위한 경쟁 시험에서 파생된 Magis-Bench데이터셋을 구축했습니다. 이러한 시험은 사법 선발의 2 단계로, 후보자들이 정교한 글쓰기 과제에서 법적 지식을 적용할 수 있는 능력을 평가하도록 설계되었습니다.

• 범위: 이 벤치마크는 2023 년부터 2025 년 사이에 실시된 8 개의 시험 (연방 및 주 법원 포함) 에서 발췌한 74 개의 질문으로 구성됩니다.
• 과제 유형:
  • 논술형 법적 분석 (58 개 질문): 법적 분석이 필요한 사실적 시나리오를 제시하는 다중 턴 질문.
  • 판결문 초안 작성 (16 개 질문): 브라질 소송 절차법에 따라 완전한 민사 (8 개) 및 형사 (8 개) 사법 판결문을 작성해야 하는 실기 연습.
• 평가 기준: 각 질문은 시험 위원회가 제작한 공식 평가 루브릭과 함께 제공되며, 기대되는 법적 개념, 분석 단계, 구조적 요소를 명시합니다.

평가 프로토콜

저자들은 LLM-as-a-judge(판사 역할의 LLM) 방법론을 사용하여 23 개의 최첨단 LLM(OpenAI, Anthropic, Google, Maritaca AI 의 독점 모델 및 다양한 오픈소스 계열 포함) 을 평가했습니다.

• 판사: 네 개의 독립적인 프런티어 모델이 평가자로 활동했습니다: GPT-5.1, Gemini-2.5-Pro, Gemini-3-Pro-Preview, Claude-4.5-Opus.
• 점수 부여 과정: 각 응답에 대해 판사는 원래 질문, 공식 루브릭, 그리고 모델이 생성한 출력을 받았습니다. 판사들은 0 점부터 10 점까지의 점수를 간략한 근거와 함께 부여했습니다.
• 블라인드 평가: 스타일 편향을 완화하기 위해 판사들은 후보 모델의 신원을 알 수 없도록 했습니다.
• 일관성 검증: 견고성을 보장하기 위해 저자들은 켄달의 $W$(전체 일치도) 와 켄달의 $\tau$(쌍별 순위 상관관계) 를 사용하여 판사 간 일치도를 측정했습니다. 판사의 재현성을 극대화하기 위해 온도를 0 으로 설정했습니다.

주요 기여

1. Magis-Bench 데이터셋: 실제 사법 선발 시험에서 파생된 74 개의 판사 수준 법률 과제로 구성된 벤치마크이며, 공식 평가 루브릭이 포함되어 있습니다.
2. 다중 판사 평가 프레임워크: 네 개의 독립적인 프런티어 모델을 판사로 활용하는 방법론으로, 높은 판사 간 일치를 보여주며 대규모 오픈형 법률 글쓰기를 평가하는 견고한 메커니즘을 제공합니다.
3. 포괄적인 성능 기준: 23 개의 LLM 에 대한 체계적인 평가를 통해 사법 글쓰기 과제의 성능 계층을 확립하고, 이 분야에서 현재 AI 의 한계를 드러냈습니다.

결과

성능 계층

• 최상위 수행자: 구글의 Gemini-3-Pro-Preview가 평균 점수 6.97/10으로 가장 높은 점수를 기록했으며, 이어 Gemini-3-Flash-Preview(6.67) 와 Claude-4.5-Opus(6.46) 가 뒤를 이었습니다.
• 전반적인 난이도: 최상위 성능을 보이는 모델조차도 최대 가능 점수의 70% 미만을 기록했습니다. 이는 판사 수준의 법적 추론과 글쓰기가 현재 LLM 에게 여전히 큰 도전 과제임을 시사합니다.
• 과제 난이도: 논술형 질문이 가장 쉬웠으며 (평균 점수 4.68), 이어 형사 판결문 초안 작성 (4.39) 이었고, 민사 판결문 초안 작성이 가장 어려웠습니다 (3.89).
• 모델 계층: 프런티어 모델이 상위 5 위를 차지하고, 중간 계층 모델 (추론 강화 모델 포함) 이 6~14 위를 차지하며, 소규모 오픈소스 모델 (주로 Qwen 계열) 이 하위 계층을 형성하는 명확한 계층이 나타났습니다.

판사 간 일치도

• 높은 합의: 네 명의 판사 모델은 놀라울 정도로 높은 합의를 보였으며, 켄달의 $W$는 0.984였습니다. 쌍별 상관관계 ($\tau$) 는 0.897 에서 0.945까지였으며, 모두 통계적으로 유의미했습니다 ($p < 10^{-13}$).
• 보정: 루브릭에 접근할 수 있는 모델이 생성한'오라클'응답을 대상으로 테스트했을 때, 모든 판사는 거의 완벽한 점수 (평균 9.957) 를 부여하여 일반적인 모델 응답과 고품질 출력을 구별할 수 있는 능력을 확인했습니다.
• 견고성: 한 명의 판사를 제외하고 분석한 결과, 어떤 단일 판사를 제거해도 전체 순위가 크게 바뀌지 않았습니다 (어떤 모델도 두 자리 이상 이동하지 않음).

중요성과 주장

이 논문은 Magis-Bench 가 변호 활동에서 재판적 추론으로 초점을 전환함으로써 법률 AI 평가의 중요한 공백을 해소한다고 주장합니다. 저자들은 LLM 이 increasingly 법률 연구 및 의사결정 지원에 고려되고 있지만, 공정한 판사로서 기능할 수 있는 능력은 아직 입증되지 않았음을 강조합니다.

이 연구는 다음을 보여줍니다:

1. LLM-as-a-judge 의 실현 가능성: 높은 판사 간 일치는 각 항목마다 인간의 개입 없이도 자동화된 평가가 법률 글쓰기의 진정한 품질 차이를 신뢰성 있게 포착할 수 있음을 시사합니다.
2. 현재 모델의 사법 역할 부적절성: 최상위 모델조차 70% 미만의 점수를 기록했다는 사실은 사법 수준의 추론이 최첨단 LLM 이 아직 마스터하지 못한 고유하고 어려운 능력임을 강조합니다.
3. 표준화 가능성: 공식 루브릭의 사용은 주관적 선호를 넘어 체계적이고 기준에 기반한 평가를 가능하게 합니다.

저자들은 이 벤치마크가 판사 수준 글쓰기를 연구하는 엄격한 방법을 제공하지만, 실제 세계의 재판에 LLM 을 즉시 배치하는 것을 옹호하지는 않는다고 결론지었습니다. 대신 이는 법률 AI 능력의 진전을 추적하는 진단 도구 역할을 합니다.