💻 computer science

Self-Verification is All You Need To Pass The Japanese Bar Examination

이 논문은 일본 변호사 시험의 실제 형식과 채점 방식을 충실히 재현한 데이터셋으로 학습된 자기 검증 모델을 소개하며, 해당 모델이 원래의 시험 구조를 변경하지 않고도 공식 합격 점수를 초과하고 복잡한 멀티 에이전트 또는 분해 기반 전략보다 뛰어난 성능을 입증할 수 있음을 보여준다.

원저자: Andrew Shin

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrew Shin

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 세상에 존재하는 거의 모든 책을 읽은 초천재 학생과 같은 세상을 상상해 보세요. 이 "거대 언어 모델(LLM)"들은 대화하기, 이야기 쓰기, 수학 문제 풀기에 매우 능숙합니다. 하지만 까다로운 부분이 하나 있습니다. 똑똑한 것이 곧 전문가라는 뜻은 아니라는 점입니다. 축구의 모든 규칙을 알고 있지만 실제 경기는 한 번도 뛰어본 적이 없는 사람을 떠올려 보세요. 이론은 잘 알지 몰라도, 막상 경기가 시작되면 공에 걸려 넘어질 수도 있을 것입니다. 이는 일본 변호사 시험과 같은 고도의 전문성을 요구하는 시험에서 특히 두드러집니다. 단순히 법을 아는 것뿐만 아니라, 여러 진술을 동시에 판단하고 정확한 조합을 골라내야 하는 매우 구체적이고 엄격한 형식을 따라야 하기 때문입니다. 단 하나라도 아주 작은 부분을 틀리면 전체가 오답이 됩니다. 연구자들이 던진 큰 질문은 이것입니다. "이 AI 학생들은 실제로 수정되지 않은 원본 시험을 통과할 수 있을까, 아니면 AI를 위해 시험을 더 쉽게 수정해야 할까?"

게이오 대학교의 한 연구자는 이를 알아내기로 결st고, 놀라운 사실을 발견했습니다. AI에게 시험을 단순화할 필요가 없었다는 것입니다. 사실, 시험을 단순화하는 것은 AI를 더 못하게 만들었습니다. 다른 연구들이 시도했던 것처럼 시험 문제를 아주 작은 "참 또는 거짓" 퍼즐로 쪼개는 대신, 연구자는 AI 모델에게 실제 시험에 등장하는 모습 그대로 문제를 다루도록 가르쳤습니다. 그들은 "자기 검증(Self-Verification)"이라는 영리한 기술을 사용했습니다. 시험을 보고 답을 적은 뒤, 제출하기 전에 스스로 엄격한 선생님이 되어 자신의 답안을 재검토한다고 상상해 보세요. 모델은 스스로에게 묻습니다. "잠깐, 이 답이 정말 규칙에 부합하나?" 만약 실수를 발견하면, 모델은 이를 수정합니다.

결과는 엄청난 성공였습니다. 2024년 실제 일본 변호사 시험으로 테스트했을 때, 이 AI 모델은 총점 175점 만점에 96점을 기록했습니다. 그해 인간 수험생들의 공식 합격 점수는 93점이었습니다. 이는 AI가 질문이나 채점 규칙을 전혀 변경하지 않은 상태에서도 시험에 합격했음을 의미합니다. 연구자는 여러 명의 AI "에이전트"가 마치 변호사 팀처럼 협력하여 사건에 대해 토론하게 하는 '멀티 에이전트' 방식 등 다른 화려한 방법들도 시도해 보았지만, 그 방식들은 단일 모델이 스스로 자기 검증을 수행했을 때보다 오히려 성적이 낮았습니다. 또한, 대중적인 JBE-QA 데이터셋처럼 단순화되고 분절된 문제들로 AI를 학습시키는 것도 도움이 되지 않는다는 것을 발견했습니다. 그런 모델들은 실제의 복잡한 형식에 직면했을 때 어려움을 겪었습니다.

이 연구는 비결이 AI를 더 똑똑하게 만들거나 더 많은 데이터를 주는 것이 아니라, 시험의 엄격한 규칙을 존중하고 스스로의 비판자가 되도록 가르치는 데 있었다는 점을 시사합니다. 실제 형식으로 학습하고 자기 검증이라는 추가 단계를 더함으로써, 모델은 여러 법적 쟁점에 걸쳐 추론의 일관성을 유지하는 법을 배웠습니다. 연구자는 이 AI가 이 특정 객관식 섹션을 통과했다고 해서 아직 법정에서 활동할 수 있는 진짜 변호사가 되었다는 뜻은 아니라고 주의를 기울였습니다. 이 모델은 여로 긴 법적 논증을 작성하거나 논술형 시험 부분을 처리할 수는 여전히 못하기 때문입니다. 하지만 이 특정한 고압적인 시험에 있어서 메시지는 명확합니다. 어려운 문제를 해결하는 가장 좋은 방법은 때때로 문제를 잘게 쪼개는 것이 아니라, 전체 그림을 보고, 자신의 작업을 재검토하며, 규칙을 고수하는 것입니다.

=== 기술 요약: 일본 변호사 시험 합격을 위해 필요한 것은 자기 검증(Self-Verification)이다 ===

문제 정의

대규모 언어 모델(LLM)의 급격한 발전에도 불구하고, 고도로 전문적이고 구조화된 시험에서 신뢰할 수 있는 성능을 달ieving하는 것은 여전히 큰 과제로 남아 있다. 일본 변호사 시험(특히 객관식 '단답형' 부분)은 다음과 같은 엄격한 요구 사항 때문에 독특한 벤치마크를 제시한다:

복잡한 추론: 질문은 여러 상호작동하는 명제들을 결합하여 평가해야 한다 (예: 세 가지 별개의 법률적 진술의 참/거짓을 동시에 결정).
엄격한 형식: 답변은 엄격한 제약 조건(예: "112"와 같은 특정 숫자 시퀀스 또는 단일 조합 선택)을 준수해야 한다. 구성 요소 중 하나라도 오류가 발생하면 전체 답안이 무효화된다.
평가 격차: JBE-QA와 같은 기존 방식은 복잡한 질문을 독립적인 참/거짓 판단으로 분해하곤 한다. 이는 학습을 단순화할 수는 있지만, 실제 시험의 구조를 근본적으로 변화시킨다. 결과적으로, 분해된 데이터로 학습된 모델이 실제 시험의 본래적이고 총체적인 평가 기준 하에서 성공할 수 있을지는 불분clear하다.

방법론

저자는 복잡한 멀티 에이전트 아키텍처나 작업 분해를 피하고, **형식 충실적 데이터셋(format-faithful dataset)**을 기반으로 학습된 자기 검증(Self-Verification) 접근 방식을 제안한다.

1. 데이터셋 구축

출처: 일본 법무성에서 제공한 실제 시험 문제 (2019–2024년, Reiwa 1–6).
구조: 질문을 독립적인 이진 작업으로 나누는 JBE-QA와 달리, 이 데이터셋은 원래의 시험 형식을 보존한다. 각 인스턴스는 전체 질문, 모든 구성 명제, 그리고 요구되는 답안 형식(예: 각 명제의 참/거짓을 나타내는 숫자를 이어 붙인 형태)을 포함한다.
분할: 2019–2023년(R1–R5) 데이터를 학습에 사용하며, 2024년(R6) 시험을 홀드아웃 테스트 세트로 사용하여 실제 준비 상황을 시뮬레이션한다.
주석: 과목 카테인토리(헌법, 민법, 형법)와 부분 점수 규칙(예: 그룹화된 질문에서 단 하나의 오류만 발생해도 점수를 잃는 규칙)을 포함한 공식 채점 체계에 따른 배점을 포함한다.

2. 자기 검증 미세 조정 전략

핵심 방법론은 단일 미세 조정 모델을 사용하는 2단계 추론 과정이다:

초기 생성: 모델이 문제를 분해하지 않고 전체 질문으로부터 직접적인 시험 스타일의 답안을 생성하도록 미세 조정된다.
일관성 검증: 추론 시점에 모델은 두 번째 패스를 수행한다. 모델은 자신의 초기 예측( $f_\theta(q)$ $f_{θ} (q)$ )을 원래의 질문 문맥과 대조하여 재평가하도록 프롬프트된다.
- 검증 함수 $g_\theta(q, f_\theta(q))$ 는 질문과 예측된 답안 사이의 일관성을 평가한다.
- 모델은 명확한 불일치가 감지된 경우에만 답안을 수정하도록 지시받으며, 그렇지 않으면 원래의 출력을 유지한다.
- 이 과정은 동일한 모델 파라미터를 사용하지만 서로 다른 프롬프트(생성을 위한 것과 보수적인 수정을 위한 것)를 사용한다.

3. 베이스라인 및 비교

연구는 다음과 같은 전략들을 평가한다:

베이스 모델: Zero-shot 및 Few-shot GPT-4.1.
분해 학습: JBE-QA 데이터셋(참/거짓 분해)으로 미세 조정된 모델.
멀티 에이전트 아키텍처: 검색, 검증, 지식 추출, 최종 추론을 위한 별도의 에이전트로 구성된 파이프라인으로, 공유된 모델과 독립적으로 미세 조정된 모델 모두 테스트되었다.

주요 결과

실험은 2024년(Reiwa 6) 일본 변호사 시험을 대상으로 수행되었으며, 공식 합격 점수는 175점 만점에 93점이다.

자기 검증의 성능: 저자의 형식 충실적 데이터셋으로 미세 조정되고 자기 검증이 추가된 모델은 평균 94.7, 최대 96점을 기록하며 합격 기준인 93점을 넘어섰다.
- 자기 검증이 없을 경우, 동일한 모델은 이미 합격선에 근접한 92.3점을 기록했다.
- 자기 검증은 모든 모델 변형(베이스, JBE-QA 미세 조정, 저자 방식 미세 조정)에서 성능을 일관되게 향상시켰으며, 이는 자기 검증이 모델 불가지론적(model-agnostic) 기술임을 입증한다.
분해의 실패: JBE-QA 데이터셋(분해된 형식)으로 미세 조정된 모델은 자기 검증을 적용하더라도 실제 시험에서는 현저히 낮은 점수(64.0–80.7)를 기록했다. 이는 단순화된 독립적 명제로 학습하는 것이 모델에게 결합된 제약 조건 위에서 추론하는 법을 가르치는 데 실패함을 시사한다.
멀티 에이전트 시스템의 실패: (공유 또는 독립 튜닝된) 멀티 에이전트 파이프라인은 71.0에서 75.7 사이의 점수를 기록하며 단일 모델 접근 방식보다 낮은 성능을 보였다. 저자는 이를 오류 전파(error propagation)와 엄격한 제약이 있는 작업에서 분산된 에이전트 간의 전역적 일관성을 유지하는 어려움 때문이라고 분석했다.
채점의 미묘함: 논문은 정확도만으로는 충분하지 않다는 점을 강조한다. 부분 점수 규칙(예: 그룹 내 5개 하위 질문 중 4개를 맞히더라도 0점을 받는 경우) 때문에 모델은 높은 전역적 일관성을 달아야 한다. 자기 검증 단계는 질문 그룹 전체에 대해 0점을 받게 만들 수 있는 단일 명제 오류를 수정하는 데 결정적인 역할을 했다.

의의 및 주장

본 논문은 질문 구조나 채점 규칙을 변경하지 않고 LLM이 일본 변호사 시험을 통과했음을 보여주는 최초의 사례라고 주장한다.

형식 충실적 감독의 중요성: 결과는 모델이 지역적 법률 지식과 전역적 결정 일관성을 정렬할 수 있도록 하기 위해서는 학습 과정에서 시험의 본래적인 다중 명제 구조를 보존하는 것이 필수적임을 나타낸다. 작업을 단순화하는 것(분해를 통해)은 성능을 저해하는 분포 변화(distribution shift)를 초래한다.
촉매제로서의 자기 검증: 연구는 강력한 미세 조정 모델에서 발생하는 많은 오류가 법률 지식의 부족이 아니라 전역적 일관성의 실패에서 기인한다는 점을 시사한다. 자기 검증은 잠재된 지식을 끌어내고 일관성 실패를 수정하는 경량화된 비학습 메커니즘으로 작용한다.
복잡성보다 단순성: 복잡한 멀티 에이전트 시스템을 선호하는 추세와 달리, 저자는 엄격한 일관성이 요구되는 고위험 전문 추론 작업에서는 자기 검증을 갖춘 잘 설계된 단일 모델 접근 방식이 더 우수한 성능을 보인다고 주장한다.
벤치마크에 대한 주의: 논문은 작업 구조를 실질적으로 단순화하는 벤치마크(JBE-QA와 같은)를 통해 도출된 결론에 대해 주의를 당부하며, 그러한 벤치마크는 전문 자격 취득에 필요한 총체적 추론을 포착하지 못한다고 지적한다.

한계점

저자는 본 연구가 시험의 객관식 부분에 국한되어 있음을 명시적으로 밝힌다. 이는 구조화된 논증과 인용 제어가 필요한 주관식(논술형) 구성 요소는 다루지 않는다. 또한, 이 접근 방식은 강력한 사전 학습된 베이스 모델(GPT-4.1)에 의존하며, 공식적인 법률 교육이나 전문적 판단을 대체한다고 주장하지 않는다.