기술적 요약: 관련성 민감 평가 및 솔버 기반 추론을 통한 신뢰할 수 있는 법률 AI 구축

1. 문제 제기

법적 추론은 본질적으로 법적으로 중요한 변경 사항과 무관한 변경 사항을 구분하는 것을 요구합니다. 법치주의 체계에서 사법적 결과는 형식적 합리성을 충족해야 합니다: 결론은 지배 법령으로 거슬러 올라가는 명시적이고 일반적이며 논리적으로 일관된 규칙에 의해 정당화되어야 합니다. 그러나 법률 작업 (예: 질문 응답, 의견 요약, 변호사 시험 추론) 에 적용된 현재 대규모 언어 모델 (LLM) 은 이러한 구분에서 치명적인 실패를 보입니다. 그들은 종종 다음과 같은 특징을 가집니다:

• 무관한 교란 하에서 불안정함: 법적으로 무관한 속성 (예: 인구통계학적 특성, 문체적 재구성, 절차적 배경) 이나 적대적 프레임워크에 기반하여 결정이 변경됩니다.
• 중요한 변경 사항에 둔감함: 법령 요소, 정신 상태, 또는 적용 가능한 예외가 변경될 때 예측을 업데이트하지 못합니다.
• 혼란에 취약함: 겉보기 사실은 겹치지만 적용 조건이 다른 유사한 법령을 구분하는 데 어려움을 겪습니다.

기존 평가들은 종종 이러한 현상들을 고립적으로 연구합니다 (예: 공정성 또는 견고성을 각각 분리하여). "변경되지 않아야 함 (should-not-change)" 교란 하에서 모델이 불변성을 유지하는지, 동시에 "변경되어야 함 (should-change)" 교란 하에서 올바르게 업데이트하는지 평가하는 통합 프레임워크가 부족합니다.

2. 방법론

본 논문은 새로운 평가 프레임워크와 새로운 추론 아키텍처라는 두 가지 접근 방식을 제안합니다.

2.1 법률 관련성 민감 평가

저자들은 신뢰할 수 있는 법적 추론을 법률 관련성 민감 평가 문제로 공식화합니다. 이 프레임워크는 사법적 공정성, 견고성, 적대적 프레임워크, 그리고 법령 혼란 평가를 단일 suites 로 통합합니다.

• 교란 분류: 평가는 교란을 두 가지 유형으로 분류합니다:
  1. 레이블 보존 (변경되지 않아야 함): 법적으로 무관한 정보 (예: 인구통계학적 속성, 의역, 무관한 전문가 의견, 조작된 법적 권위) 를 변경하지만 물질적 사실은 보존하는 교란. 신뢰할 수 있는 모델은 $f(x) = f(\tau(x))$를 만족해야 합니다.
  2. 레이블 변경 (변경되어야 함): 법적으로 중요한 조건 (예: 행위, 정신 상태, 피해 심각성, 법령 예외) 을 수정하는 교란. 신뢰할 수 있는 모델은 $f(\tau(x)) = y_{\tau}$를 만족해야 하며, 여기서 $y_{\tau}$는 새로운 법적으로 올바른 레이블입니다.
• 지표: 이 프레임워크는 불변성 (무관한 변경 하에서의 안정성), 변경 정렬 (중요한 변경 하에서의 올바른 업데이트), 편향 크기, 그리고 법령 정확도를 측정합니다.

2.2 LexGuard: 솔버 기반 적대적 멀티 에이전트 프레임워크

표준 LLM 의 실패를 해결하기 위해 저자들은 형식적 추론을 사용하여 법률 제안과 법률 검사를 분리하는 LexGuard를 도입합니다.

• 법령 형식화: 법령과 사법 해석은 실행 가능한 제약 조건으로 구성된 형식적 법률 지식 베이스 ($K$) 로 자동 형식화됩니다. 각 규칙은 조건부 제약 조건으로 표현됩니다: $ARTICLEGUARD \land CLAUSEGUARD \Rightarrow PENALTY$. 이러한 가드 (guards) 는 주체, 객체, 행위, 고의, 피해, 인과관계, 그리고 예외를 검사합니다.
• 적대적 에이전트: 두 가지 역할이 구분된 LLM 에이전트 (검사와 변호인) 가 동일한 사건 서술에서 구조화된 사실 - 법령 논증 튜플을 독립적으로 추출합니다.
  • 검사는 책임 지지 사실을 지원합니다.
  • 변호인은 누락된 요소, 예외, 그리고 대안적 해석에 초점을 맞춥니다.
  • 에이전트들은 유사 클러스터 내의 혼란스러운 조항들을 논의하여 후보 법령을 정제합니다.
• 솔버 중심 재판:
  1. 시스템은 제안된 법령에 해당하는 제약 조건을 $K$에서 검색합니다.
  2. 추출된 사실은 정제되어 필요한 법적 요소와 매칭됩니다.
  3. 정제된 사실과 제약 조건은 SMT (Satisfiability Modulo Theories) 공식 ($\Phi$) 으로 인코딩됩니다.
  4. SMT 솔버 (Z3) 가 조항 가드, 조항 가드, 그리고 예외 가드의 만족 가능성을 검사합니다.
  5. 충돌 해결: 솔버가 모순 (예: 충돌하는 사실 또는 호환되지 않는 가드) 을 발견하면, 충돌을 식별하는 "unsat core"를 반환하여 사실 재-근거화 또는 제약 조건 수정을 유발합니다.
  6. 최종 판결은 무관한 사실과 환각된 법령을 필터링하는 솔버 검증된 법적 적용 가능성에 의해서만 생성됩니다.

3. 주요 기여

1. 평가 프레임워크: "변경되어야 함"과 "변경되지 않아야 함" 교란의 통합 suites 로 구체화된 신뢰할 수 있는 법적 추론의 법률 관련성 민감 문제로서의 공식화. 이는 공정성, 견고성, 적대적 공격, 그리고 법령 혼란을 포괄합니다.
2. LexGuard 아키텍처: 법령을 실행 가능한 제약 조건으로 형식화하고, 적대적 에이전트를 사용하여 경쟁 논증을 추출하며, SMT 솔버를 사용하여 논리적 일관성과 법령 충족을 검증하는 솔버 기반 적대적 멀티 에이전트 프레임워크.
3. 실증적 검증: 기존 법률 LLM 이 체계적으로 무관한 변이에 민감하고 관련 법적 요소를 구분하지 못함을 보여주는 포괄적인 실험. 반면 LexGuard 는 신뢰성, 공정성, 그리고 견고성을 크게 향상시킵니다.

4. 실험 결과

저자들은 공개 법률 데이터셋 (LeCaRDv2, LEEC) 과 자체 교란 suites 에 LexGuard 를 평가했습니다.

• 표준 예측 성능: LexGuard 는 LeCaRDv2 와 LEEC 에서 일반 및 특정 조항 예측 모두에서 최고의 F1 점수를 달성했습니다. 이러한 향상은 주로 더 높은 정밀도에 기인하며, 이는 솔버가 무관한 법령 예측을 효과적으로 억제함을 나타냅니다.
• 양형 정확도: LexGuard 는 "황금" (ground truth) 법령 유무와 관계없이 양형 예측에서 가장 낮은 제곱근 평균 오차 (RMSE) 를 달성했으며, 높은 법적 유효성 (솔버 검증) 을 유지했습니다.
• 관련성 민감성 (RQ3 및 RQ4):
  • 변경되어야 함: LexGuard 는 법령 요소가 수정될 때 예측을 업데이트하는 데 있어 뛰어난 능력을 보여주어 "변경 정렬"에서 베이스라인을 능가했습니다.
  • 변경되지 않아야 함: LexGuard 는 적대적 프레임워크 (예: 조작된 권위, 역할 장악) 와 선의의 재구성 against 강력한 견고성을 보여주어, 베이스라인이 실패한 곳에서 높은 불변성과 공격 인지 F1 점수를 유지했습니다.
• 법령 혼란 (RQ5): 혼란스러운 법령 클러스터 (예: 절도 vs 사기) 와 관련된 작업에서 LexGuard 는 베이스라인 (58.57%) 대비 현저히 높은 "긍정적 정확도 (Positive Exactness)" (88.71%) 를 달성했으며, 누락률과 잘못된 유사 법령 선택률이 낮았습니다.
• Ablation 연구: Z3 추론기를 제거하면 성능이 가장 크게 저하되어 기호 일관성 검사의 필요성을 강조했습니다. 적대적 토론 모듈을 제거하는 것도 정확도를 현저히 감소시켜, 혼동 가능한 조항 간의 세밀한 경쟁의 가치를 확인시켰습니다.

5. 중요성과 주장

본 논문은 신뢰할 수 있는 법률은 정확성뿐만 아니라 법적으로 중요한 변경 사항에 대한 보정된 민감성도 필요하다고 주장합니다.

• 정확성 이상: 모델이 무관한 교란 하에서 불안정하거나 중요한 변경 사항에 둔감하다면, 높은 정확성만으로는 법률 AI 에 충분하지 않습니다. 신뢰성은 관련 변경 사항과 무관한 변경 사항을 구분하는 능력으로 정의됩니다.
• 감사 가능한 추론: 형식적 제약 조건과 SMT 검증을 기반으로 결정을 내림으로써, LexGuard 는 명시적 법령 규칙에 대해 감사 가능한 기호적 정당화를 생성하여 표준 LLM 의 "블랙박스" 성격을 해결합니다.
• 견고성 메커니즘: 결과는 적대적 공격과 무관한 교란에 대한 견고성이 프롬프트 엔지니어링 (예: 체인 오브 씽킹 또는 퓨샷 프롬프팅) 만으로는 달성될 수 없으며, 형식적 솔버를 통한 제안과 검증의 구조적 분리가 필요함을 시사합니다.

인정된 한계:
저자들은 프레임워크의 형식화 품질은 초기 사실과 규칙을 생성하는 데 사용된 LLM 의 정확도에 의존한다고 지적합니다. 현재 시스템은 법령 규칙으로 제한되어 있으며, 판례, 개방적 질감의 규범, 또는 진화하는 법리를 완전히 포착하지는 못합니다. 또한, 다단계 프로세스는 중간 정도의 계산 오버헤드를 도입하지만, 사례당 비용은 여전히 실용적으로 부담 가능한 수준입니다.