💬 NLP

Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks

본 논문은 정답의 정확성과 법적 근거의 적절성을 동시에 평가하는 법률 벤치마크를 위한 공동 평가 프레임워크를 제안하며, 모델들이 이 두 차원을 빈번하게 분리하여 평가하고 정답 정확도에만 의존하는 것이 오해의 소지가 있는 성능 지표를 초래한다는 점을 밝힌다.

원저자: Hsien-Jyh Liao

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hsien-Jyh Liao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇들이 변호사가 되기 위해 학습하고 있는 거대하고 첨단 기술이 집약된 도서관에 있다고 상상해 보세요. 이 세계에는 '벤치마크'라는 특별한 게임이 있습니다. 이것은 마치 최종 시험과 같아서, 로봇이 까다로운 법률 질문을 읽고 정답을 고르는 방식입니다. 오랫동안 선생님들(과학자들)은 로봇이 최종 정답을 맞혔는지에만 관심을 가졌습니다. 만약 로봇이 "정답은 B입니다"라고 말하면 금메달을 주었습니다. 하지만 여기에는 함정이 있습니다. 때때로 로봇은 "B"라고 답하면서도, 왜 B인지에 대해 완전히 지어낸 것이거나 틀린 이유를 댈 수 있습니다. 예를 들어 존재하지 않는 법률을 인용하거나 잘못된 규칙 책을 가리키는 식이죠.

이 논문은 그 도서관의 특정 구석, 즉 **법률 벤치마크(Legal Benchmarks)**의 세계를 깊이 파고듭니다. 이 벤치마크들을 AI 변호사들을 위한 표준화된 시험이라고 생각해보세요. 이 논문이 탐구하는 핵심 아이디어는 **권위 근거 제시(Authority Grounding)**입니다. 쉬운 말로 설명하자면, 로봇의 답변이 실제로 그 로봇이 사용한다고 주장하는 진짜 공식 법률에 의해 뒷받침되는지를 확인하는 것입니다. 이것은 학생이 수학 시험에서 단순히 정답을 맞히는 것과, 실제로 올바른 공식을 보여주는 것의 차이와 같습니다. 저자가 이 점을 중요하게 여기는 이유는, 우리가 정답 여부만 따진다면, 로봇이 사실은 그저 자신감 있게 들릴 뿐인 운 좋은 추측가임에도 불구하고 우리가 그 로봇을 아주 똑똑한 변호사라고 착각할 수 있기 때문입니다.

연구진들은 네 가지 서로 다른 AI 모델(네 명의 서로 다른 로봇 학생이라고 생각하세요)을 대상으로 대만 사법시험의 실제 문제들을 사용하여 게임을 진행하기로 했습니다. 그들은 로봇들에게 법률 퍼즐을 풀고 그 근거를 설명하라고 요청했지만, "야, 너는 반드시 특정 법 조항을 인용해야 해"라고 명시적으로 말하지는 않았습니다. 놀랍게도 로봇들은 실제 변호사처럼 스스로 법률을 인용하기 시작했습니다.

이 논문이 발견한 커다란 반전은 이것입니다: 로봇들은 정답은 맞혔지만 법률은 틀리는 경우가 많았고, 때로는 답은 틀렸지만 법률은 맞히기도 했습니다. 이것은 마치 역사 시험에서 정답은 맞혔지만 출처로 엉뚱한 세기를 인용하는 학생과 같습니다. 논문은 이를 "이중 해리(double dissociation)"라고 부르는데, 이는 두 가지 기술—정답을 맞히는 것과 올바른 법률을 찾는 것—이 완전히 분리될 수 있다는 것을 뜻하는 멋진 표현입니다.

형법 섹션에서 논문은 이 현상이 정확히 얼마나 자주 발생하는지 측정했습니다. 연구 결과, 로봇이 정답은 맞혔지만 법률은 완전히 놓친 경우가 24.0%에서 42.4% 사이였습니다. 더 이상하게도, 로봇이 답은 틀렸지만 법률은 올바르게 인용한 경우가 15.2%에서 21.7% 사이였습니다. 이는 로봇이 최종 정답을 맞혔다고 해서, 그것이 반드시 그 뒤에 숨겨진 법적 규칙을 이해하고 있다는 것을 의미하지 않는다는 점을 증명합니다.

저자는 또한 작은 실험도 시도했습니다. 그들은 로봇들에게 "정확한 법 번호를 잘 모르겠다면, 굳이 말하지 않아도 돼"라고 말했습니다. 이렇게 하자 로봇들은 법률을 인용하는 횟수가 줄어들었지만, 최종 정답을 맞히는 능력은 거의 변하지 않았습니다. 이는 로봇들이 답을 찾아내기 위해 법률을 실제로 사용한 것이 아니라, 이미 답을 추측한 후에 법률을 일종의 장식처럼 덧붙였다는 것을 시사합니다.

그렇다면 결론은 무엇일까요? 이 논문은 우리가 이 AI 변호들을 채점하는 방식을 바꿔야 한다고 주장합니다. 우리는 더 이상 최종 정답만 봐서는 안 됩니다. 우리는 "영수증"—그들이 인용한 구체적인 법률—을 확인해야 합니다. 그렇지 않으면, 우리는 정답을 맞히는 운이 좋았을 뿐 법률적 사실을 환각(hallucinating)하며 내뱉고 있는 로봇을 축하하고 있을지도 모릅니다. 저자는 미래의 테스트들이 정답과 법률 인용을 함께 점수화해야 한다고 제안합니다. 왜냐하면 현재의 시스템은 진실의 아주 큰 부분을 놓치고 있기 때문입니다.

기술 요약: 형식을 알 뿐, 기능을 알지 못함

문제 제기
현재의 대규모 언어 모델(LLM)을 위한 법률 벤치마크는 모델의 추론 과정에 법적 근거(인용)가 포함되어 있더라도, 오직 최종 답변의 정답 여부에 기반하여 성능을 평가하는 경향이 있다. 이러한 "답변 중심" 채점 방식은 정답을 맞혔다면 그 모델이 주장한 법적 근거(골드 권위, gold authority) 또한 올바를 것이라는 암묵적인 가정을 전제로 한다. 본 논문은 이러한 가정이 결함이 있다고 주장한다. 모델은 유효한 추론이나 소거법을 통해 정답에 도정할 수 있지만, 정작 인용한 법령 조항은 틀렸거나 존재하지 않는 것일 수 있기 때문이다. 법령 권위는 구조적으로 추출 가능하며 외부적으로 검증될 수 있으므로, 정답을 올바른 법률에 근거하여 도출하지 못한 것은 현재의 벤치마크가 체계적으로 은폐하고 있는 측정 가능한 타당성 문제이다.

방법론
저자는 "답변의 정확성"( $A$ )과 "골드 권위의 근거 제시"( $G$ )를 분리하는 공동 평가 프레임워크를 제안한다.

테스트베드: 본 연구는 2022년 및 2025년 대만 국가 고시(민법 118문항, 형법 120문항)에서 추출한 238개 항목을 활용한다. 각 항목은 상업용 해설서로부터 도출되고 공식 법령 데이터베이스를 통해 교차 검증된 검증된 정답과 검증된 지배 법령(골드 권위)을 가지고 있다.
모델: 네 가지 LLM을 평가하였다: Gemma-4-31B, LLaMA-3.3-70B, GPT-4o-mini, Qwen3.6 Flash.
실험 조건:
- C1 (베이스라인): 답변 전용 프롬프트 (추론 불필요).
- C2 (핵심): 모델에게 단계별 추론을 요구하되, 명시적으로 법령 인용을 요구하지 않는 표준 추론 프롬프트. 이는 "자발적" 권위 표시 여부를 테스트한다.
- C3 (검색 프로브): 답변과 독립적으로 검색 능력을 측정하기 위해, 모델에게 최대 3개의 지배 조항을 식별하도록 명시적으로 요청한다.
- C4 (인식론적 프로브): 불확실성 인정을 테스트하기 위해, 모델에게 특정 법령의 내용을 암송하도록 요청한다.
- C2-1 (개입): 확신이 없을 경우 정확한 조항 번호를 명시하지 않고 추론할 수 있도록 허용하는 허용적 프롬프트로, 인용 행위가 답변 선택과 분리될 수 있는지 테스트한다.
지표: 응답은 공동 상태 $(A, G)$ $(A, G)$ 로 분류된다:
- $A^+G^+$ : 정답, 올바른 권위.
- $A^+G^-$ : 정답, 잘못되었거나 누락된 권위.
- $A^-G^+$ : 오답, 올바른 권위.
- $A^-G^-$ : 오답, 잘못되었거나 누락된 권위.
- 권위 매칭은 법전 명칭, 조 번호, 항 접미사를 파싱하는 규칙 기반으로 수행된다.

주요 결과
본 연구는 테스트된 모든 모델에서 답변의 정확성과 권위의 근거 제시 사이의 체계적이고 비유도적인 "이중 해리(double dissociation)" 현상을 확인하였다:

정답이지만 권위가 누락됨 ( $A^+G^-$ ): 정답을 맞힌 응답 중 상당수가 골드 권위를 인용하지 못했다.
- 민법의 경우, 이 비율은 32.7%에서 63.1% 사이였다.
- 형법의 경우, 이 비율은 24.0%에서 42.4% 사이였다.
- 결정적으로, 이러한 모델들은 구문론적으로는 유효하지만 특정 질문과는 법적으로 무관한 '비-골드(non-gold)' 법령을 인용하는 경우가 많았다.
오답이지만 권위가 존재함 ( $A^-G^+$ ): 모델들은 잘못된 답을 선택했을 때조차 올바른 지배 법령을 인용하는 경우가 빈번했다.
- 형법의 경우, 유효한 응답 중 15.2%에서 21.7%에서 이러한 현상이 나타났다.
행동의 독립성:
- 검색 대 근거 제시: 독립적인 법령 검색(C3)은 모델과 영역에 따라 크게 달랐으나(예: Qwen은 민법에서 높은 검색률을 보임), 답변과 권위 사이의 불일치는 검색 능력이 더 나은 모델에서도 여전히 상당 수준 유지되었다.
- 인용 대 답변: C2-1 개입 실험은 인용 행위가 답변 선택과 분리 가능하다는 것을 입증했다. 특정 조항 명시를 유보하도록 허용했을 때, Gemma, LLaMA, GPT-4o-mini의 인용률은 급격히 하락했다(약 70~90%에서 약 5%로). 반면 Qwen의 인용률은 96.4%에서 57.3%로 떨어졌다. 모든 경우에서 답변 정확도는 거의 변하지 않았다.
기능보다 형식: 모델들은 결론을 뒷받침하지 못하는 구문론적으로 올바른 인용을 포함한 "유창한" 법률 추론을 자주 생성했다. 인용의 존재가 해당 권위가 사건을 지배하는 법령임을 보장하지는 않는다.

의의 및 기여
본 논문은 세 가지 주요 기여를 한다:

유효성 문제의 식별: 저자는 답변 중심의 점수 산정이 자연스럽게 발생하는 골드 권위 누락을 완전한 성공으로 취급한다는 관찰을 공식화한다. 이는 적대적 스트레스 테스트의 실패가 아니라 일반적인 벤치마크 체제 내의 체계적인 문제이다.
공동 점수 프로토콜: 저자는 기존의 법령 근거 기반 벤치마크에 대한 최소한의 저비용 확장 방안을 제안한다. 단일 정확도 지표 대신, 다음을 보고해야 한다:
- 답변 정확도.
- 권위 Hit@k (근거 제시율).
- 공동 분포 ( $A^+G^+, A^+G^-, A^-G^+, A^-G^-$ ).
방법론적 전환: 본 연구는 "유창한 법률 형식"(인용을 포함한 올바른 추론 텍스트)이 주장된 권위가 결론을 뒷받침한다는 증거로 간주될 수 없다고 주장한다. 법령 권위는 외부적으로 검증 가능하므로, 벤치마크는 답변 자체뿐만 아니라 답변과 인용된 법률 사이의 연결 고리를 감사해야 한다.

한계 및 범위
저자는 자신의 주장이 메커니즘적 분석이 아닌 행동적 분석임을 밝힌다. 즉, 본 연구는 내부 추론 과정을 측정하는 것이 아니라 출력의 불일치를 측정한다. 연구 결과는 성문화되고 인용 규범이 엄격한 작업(예: 대만 사법시험)에 가장 직접적으로 적용된다. 불일치의 정도는 개방형 법률 과제나 특정 조항 인용이 덜 엄격한 영미법 체계에서는 다를 수 있다. 또한, 본 연구는 중국 민법에서의 유사한 자발적 권위 표시 현상에 대한 예비적 관찰을 포함하고 있으며, 이는 향후 교차 관할권 감사를 촉구하지만, 해당 데이터셋에 대한 완전한 공동 분석을 아직 제공하지는 않는다.

기술 요약: 형식을 알 뿐, 기능을 알지 못함

유사한 논문