🤖 AI

LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI

LegalHalluLens는 유형화된 환각 프로파일과 위험 방향 지수(Risk Direction Index)를 도입하여 숨겨진 오류 패턴을 드러냄으로써 신뢰할 수 있는 법률 AI를 강화하고, 이를 통해 멀티 에이전트 토론 파이프라인을 보정하여 조작률을 유의미하게 낮추고 배포 안전성을 향상시키는 프레임워크입니다.

원저자: Lalit Yadav, Akshaj Gurugubelli

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lalit Yadav, Akshaj Gurugubelli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수백 개의 계약서를 읽고 "이 거래는 언제 종료되는가?" 또는 "책임 제한액은 얼마인가?"와 같은 특정 세부 사항을 추출하는 법률 보조인 팀을 채용한다고 상상해 보십시오.

당신은 그들에게 "실수를 얼마나 자주 합니까?"라고 묻습니다. 그들은 모두 "약 52%의 확률로 합니다"라고 대답합니다.

이는 나쁘게 들리지만, 동시에 오해의 소지가 있습니다. 이는 마치 의사에게 오류율이 52%라고 말하면서, 그 오류가 어떤 종류인지 알려주지 않는 것과 같습니다. 골절(경미한 문제)을 오진하는 것인가요, 아니면 심장마비(치명적인 문제)를 놓치는 것인가요?

이 논문인 LegalHalluLens는 법률 세계에서 '평균' 오류율을 아는 것은 무용하다고 주장합니다. 당신은 AI가 무엇을 틀리는지, 그리고 어떻게 틀리는지를 알아야 합니다.

다음은 간단한 비유를 사용한 연구 결과의 요약입니다.

1. "평균"이라는 거짓말 (눈가리개)

연구진은 네 가지 서로 다른 AI 모델(대형 기술 기업의 모델 2개와 오픈 소스 모델 가 2개)을 대상으로 510개의 실제 계약서를 테스트했습니다.

기존 방식: 단순히 전체 점수만 본다면, 모든 모델은 약 52%의 오류율을 보이며 대략 비슷해 보입니다. 이는 눈을 가린 궁수가 과녁의 52%를 맞히는 것과 같습니다. 그들이 과녁의 정중앙을 맞히고 있는지, 아니면 가장자리를 맞히고 있는지는 알 수 없습니다.
새로운 방식 (유형별 프로필): 연구진이 더 자세히 들여다보았을 때, 질문의 유형에 따라 엄청난 차이가 있음을 발견했습니다.
- 쉬운 질문 (시간적 요소): "계약은 언제 종료되는가?"와 같은 질문입니다. AI는 대부분의 경우 이를 제대로 맞혔습니다(오류율 약 30%). 이는 "하늘의 색은 무엇인가?"라고 묻는 것과 같습니다.
- 어려운 질문 (의무 및 숫자): "벌금은 정확히 얼마인가?" 또는 "공급업체가 정확히 무엇을 해야 하는가?"와 같은 질문입니다. 여기서 AI는 처참하게 실패했으며, 오류율이 **65~74%**까지 치솟았습니다. 이는 "이 약의 정확한 화학 공식은 무엇인가?"라고 물었을 때 AI가 그냥 추측해 버리는 것과 같습니다.

핵심 요점: AI가 전반적으로는 "괜찮아" 보일 수 있지만, 계약의 적법성을 결정하거나 회사가 소송을 당할지 여부를 결정하는 특정 세부 사항에 대해서는 위험할 정도로 신뢰할 수 없을 수 있습니다.

2. 실수의 "방향" (저울)

논문은 **위험 방향 지수(Risk Direction Index, RDI)**라는 새로운 도구를 소개합니다. 이것은 AI가 어떻게 거짓말을 하는지 측정하는 저울이라고 생각하면 됩니다.

"발명가" (양의 RDI): 이 AI는 주로 사실을 지어냅니다. 만약 계약서에 책임 제한 규정이 없다면, 이 AI는 "아, 책임 제한액은 500만 달러입니다"라며 스스로 만들어낼 수 있습니다. 이는 잘못된 안전감을 조성합니다.
"누락자" (음의 RDI): 이 AI는 주로 내용을 숨깁니다. 만약 계약서에 "30일 이내에 지불해야 한다"라고 되어 있다면, 이 AI는 그냥 "기한 언급 없음"이라고 말할 수 있습니다. 이는 사용자가 규칙이 없다고 믿게 만들어 숨겨진 위험을 초래합니다.

핵심 요점: 두 AI 시스템이 똑같이 "52%의 오류율"을 가질 수 있지만, 하나는 규칙을 지어내는 거짓말쟁이이고, 다른 하나는 규칙을 놓치는 건망증 있는 조수입니다. 당신은 어떤 유형의 AI를 사용하는지 알아야 하는데, 그 이유는 법적 리스크가 완전히 다르기 때문입니다.

3. "토론 클럽" 해결책 (교정된 팀)

연구진은 **다중 에이전트 토론(Multi-Agent Debate)**을 사용하여 "발명가" AI(더 작고 저렴한 모델)를 수정하는 방법을 시도했습니다.

일반적인 접근 방식: 보통은 단순히 AI 에이전트들에게 서로 "논쟁하여" 진실을 찾으라고 시킵니다. 이 논문은 그것이 너무 모호하다고 말합니다.
교정된 접근 방식: 그들은 AI가 범하는 특정 실수에 맞춰 역할이 지정된 특정 "토론 팀"을 구축했습니다.
- 회의론자 (The Skeptic): 무작위로 질문하는 대신, 이 에이전트는 구체적으로 "방금 그 숫자를 지어낸 것 아닌가?" 또는 "그 '단, ~의 경우'라는 조항을 빠뜨린 것 아닌가?"라고 묻습니다.
- 지지자 (The Supporter): 오직 계약서에 있는 정확한 단어만을 사용하여 답변을 옹호합니다.
- 문지기 (The Gatekeeper): 특별한 규칙을 사용합니다: "우리는 100% 확신할 때만 새로운 규칙을 추가할 것이며, 절대 확실하지 않다면 규칙을 삭제하지 않을 것이다."

결과: AI가 저지르는 특정 유형의 실수를 겨냥하도록 토론을 맞춤화함으로써, 지어낸 사실(날조)을 45% 줄였습니다.

마법 같은 효과: 그들은 작고 저렴한 AI 모델을 사용하여, 이 스마트한 토론 팀을 통해 값비싼 상업용 "슈퍼 AI" 모델만큼 혹은 그보다 더 뛰어난 성능을 내도록 만들었습니다.

요약

이 논문은 법률 분야에서 AI를 사용하는 모든 이들을 위한 경고이자 도구 상자입니다.

평균을 믿지 마십시오: AI는 날짜에는 강할 수 있지만, 돈과 규칙에 대해서는 형편없을 수 있습니다.
방향을 확인하십시오: 당신의 AI가 규칙을 지어내는 경향이 있는지, 아니면 숨기는 경향이 있는지 파악하십시오.
해결책을 맞춤화하십시오: AI에게 단순히 "더 잘해봐"라고 말해서는 안 됩니다. AI가 저지르는 특정 실수를 목표로 하는 구체적인 프로세스(예: 토론 팀)를 구축해야 합니다.

저자들은 법률 업무를 위해 우리가 "이 AI는 얼마나 정확한가?"라고 묻는 것을 멈추고, "무엇을 구체적으로 틀리는지, 그리고 어느 방향으로 틀리는지"를 묻기 시작해야 한다고 결론짓습니다.

기술 요약: LegalHalluLens

1. 문제 정의

워크플로(계약 검토, 컴플라이언스, 실사 등)에 배치된 현재의 법률 AI 시스템은 집계 지표상 약 52%의 환각률을 보이는 것으로 보고되지만, 본 논문은 이 평균치가 신뢰할 수 있는 배포를 위한 정보로는 불충분하다고 주장한다. 그 이유는 평균치가 다음 두 가지 핵심 차원을 은폐하기 때문이다:

실패 집중화(Failure Concentration): 오류는 균일하게 발생하지 않는다. 오류는 가장 높은 법적 책임을 수반하는 특정 클레임 유형(예: 수치 및 의무 조항)에 집중되는 반면, 다른 유형(예: 시점 관련)은 현저히 더 신뢰할 수 있다.
오류 방향성(Error Direction): 집계 지표는 누락(존재하는 의무를 놓침)과 발명(존재하지 않는 조항을 날조함)을 구분하지 못한다. 이 두 가지 실패 모드는 서로 다른 법적 결과(예: 집행 불가능한 조항 vs 허위 리스크 상한선)를 초래하지만, 표준 보고 방식에서는 동일하게 취급되는 경우가 많다.

결과적으로, 컴플라이언스 담당자들은 두 시스템이 동일한 집계 환각률을 보이더라도 서로 상반된 리스크 프로필을 가질 수 있음에도 불구하고, 모델을 선택하거나 개입을 설계하기 위한 실행 가능한 신호를 얻지 못하고 있다.

2. 방법론

저자들은 CUAD v1.0 코퍼스(510개의 상업용 계약서, 41개의 조항 유형, 249,252개의 조항 단위 인스턴스)를 통해 평가된 세 가지 구성 요소로 이루어진 감사 프레임워크인 LegalHalluLens를 제안한다.

A. 유형별 환각 프로파일 (Typed Hallucination Profiles)

단일 집계 비율 대신, 이 프레임워크는 검증 난이도에 따라 법적으로 동기화된 네 가지 클레임 범주로 오류를 분류한다:

수치(Numeric): 임계값 및 값 (예: 책임 제한액).
시점(Temporal): 날짜 및 기한.
의무/권리(Obligation/Entitlement): 양태 동사, 조건 및 예외 사항.
사실(Factual): 정체성 주장 (예: 준거법).

연구는 각 범주에 대한 HalTP(감지된 조항 중 내용 환각률)를 측정한다. 또한 단일 모델 내에서 가장 높은 환각률과 가장 낮은 환각률 사이의 차이를 Typed Gap으로 정의한다.

B. 리스크 방향 지수 (Risk Direction Index, RDI)

오류의 방향적 특성을 포착하기 위해, 저자들은 모순된 발견 중 "누락된 조건"(누락)과 "추가된 조건"(발명)의 비율로부터 도출된 부호가 있는 스칼라 지표인 **리스크 방향 지수(RDI)**를 도입한다.

공식: $RDI = p_{extra} - p_{missing}$
해석: 양수 값은 발명 중심의 실패(과장)를 나타내며, 음수 값은 누락 중심의 실패(과소 산정)를 나타낸다. 이를 통해 동일한 집계 오류율을 가졌으나 상반된 방향성 편향을 가진 시스템들을 비교할 수 있다.

C. 보정된 다중 에이전트 토론 파이프라인 (Calibrated Multi-Agent Debate Pipeline)

이 프레임워크는 진단 출력(Typed Profiles 및 RDI)을 활용하여 다중 에이전트 토론 파이프라인을 보정한다. 일반적인 토론 설정과 달리, 이 파이프라인은 측정된 실패 모드에 특화되어 튜닝되었다:

유형별 회의론자 챌린지(Typed Skeptic Challenges): "회의론자(Skeptic)" 에이전트는 클레임 유형에 따른 구체적인 챌린지를 발행한다 (예: 수치 클레임에 대해 구두 값의 정확성 검증, 의무 사항에 대해 양태 동사 확인).
비대칭 구조 게이트(Asymmetric Structural Gates): 파이프라인은 추가 게이트(Addition Gate)(조항 추가 시 합의와 검증을 요구함)와 삭제 게이트(Deletion Gate)(검증을 통해 존재가 확인되면 삭제를 차단함)를 사용한다. 이 비대칭성은 대상 모델의 특정 오탐률(FAR) 대 미탐률(FRR) 프로필에 맞춰 보정된다.
역할: 파이프라인에는 회의론자(Skeptic), 지지자(Supporter), 재추출자(Re-extractor, 구조적 오류용), 중재자(Arbiter), 검증자(Verifier), 판사(Judge)가 포함된다.

3. 주요 결과

실험 1: 유형별 환각 프로파일

일관된 실패 순서: 네 가지 다양한 모델(두 개의 상용 API, 두 개의 오픈 소스 모델)에 걸쳐 일관된 실패 순서가 관찰되었다: {수치, 의무} ≫ 사실 ≥ 시점.
숨겨진 격차: 집계 HalTP 비율은 50.9%에서 56.5% 사이로 밀집되어 있었으나, 단일 모델 내에서 가장 신뢰할 수 있는 유형과 가장 신뢰할 수 없는 유형 사이의 **모델 내 격차(within-model gap)**는 약 38~40 퍼센트 포인트였다.
- 수치/의무 클레임은 **64.8~74.3%**의 환각률을 보였다.
- 시점 클레임은 **29.0~35.1%**의 낮은 환각률만을 보였다.
시사점: 집계 보고는 모델이 책임과 집행력을 결정하는 조항들에 대해 2배~2.5배 더 신뢰할 수 없다는 사실을 은폐한다.

실험 1: 리스크 방향 지수 (RDI)

방향성 차별화: 거의 동일한 집계 HalTP를 가진 두 모델(gpt-5.2는 51.8%, qwen3-32b는 52.1%)이 상반된 RDI 값을 보였다.
- gpt-5.2: 양의 RDI (+0.161)를 기록하며, 추가 조건을 발명하는 경향을 보였다.
- qwen3-32b: 음의 RDI (-0.202)를 기록하며, 기존 조건을 누락하는 경향을 보였다.
의미: 이러한 구분은 배포 시 매우 중요하다. 누락 중심의 모델은 컴플라이언스 모니터링에 리스크를 초래하며, 발명 중심의 모델은 책임 평가에 리스크를 초래한다.

실험 2: 보정된 완화 (Calibrated Mitigation)

성능: 유형별 토론 파이프라인을 소규모 오픈 모델(gemma-4-26B-A4B, 4B 활성 파라미터)에 적용한 결과, 매칭된 서브셋에서 상용 API를 능가할 수 있었다.
- 토론을 거친 모델은 종합 순위 1위(5개 가중치 방식 중 4개에서)를 차지하며 gpt-5.2(2위)를 넘어섰다.
조작 감소: 파이프라인은 발명된 탐지(FAR)를 45% 감소시켰다 (524건에서 287건으로).
타겟팅된 개선: 개선은 실험 1에서 식별된 최고 실패 카테고리에 집중되었다:
- 의무(Obligation): $\Delta$ FAR = -8.2 pp.
- 사실(Factual): $\Delta$ FAR = -5.8 pp.
- 시점(Temporal): 낮은 베이스라인 오류율과 일치하게 미미한 변화(+0.6 pp)를 보였다.
방향 수정: 파이럽라인은 토론된 모델의 RDI를 누락 중심(-0.078)에서 거의 균형 잡힌 상태(-0.014)로 성공적으로 이동시켰다(의무 클레임 기준).

4. 의의 및 주장

본 논문은 LegalHalluLens가 법률 AI를 위한 **방향 인식 감사(direction-aware auditing)**로의 필수적인 전환을 제공한다고 주장한다.

실행 가능한 진단: 유형별 프로파일과 RDI는 에이전트 설계를 위한 보정 입력값 역할을 하며, 이를 통해 특정 리스크 프로필(예: 운영을 위해 발명 중심 모델을 선택할지, 컴플라이언스를 위해 누락 중심 모델을 선택할지)에 기반한 조달 결정을 가능하게 한다.
비용 효율적인 완화: 본 연구는 소규모 오픈 소스 모델(4B 활성 파라미터)이 일반적인 튜닝이 아닌 특정 실패 모드에 맞춰 튜닝된 토론 파이프라인을 사용할 때 상용 API와 대등하거나 이를 능가할 수 있음을 입증한다.
한계 및 범위: 저자들은 수치적 결과가 CUAD 스타일의 영어 미국 상업 계약서에 적용됨을 명시했다. 실패 순서는 아키텍처 전반에 걸쳐 일관되지만, 다른 관할권이나 문서 유형에 대해서는 재측정이 필요하다.
안전 경고: 이 프레임워크는 진단용이지 승인 메커니즘이 아니다. 최적의 구성에서도 탐지된 내용의 약 58%가 원문과 모순되었다. 저자들은 고위험 카테고리의 모든 플래그 지정 조항에 대해 **인간 참여형 검토(human-in-the-loop review)**를 권장하며, 매 배포 시 재측정 없이 자율적 배포를 하는 것에 대해 경고한다.

요약하자면, 본 논문은 신뢰할 수 있는 법률 AI 배포를 위해서는 단일 집계 환각율에 의존하는 것이 아니라, 어떤 클레임이 실패하며 어떻게 실패하는지를 아는 것이 필요하다고 주장한다.