기술적 요약: 그 열매로 그들을 알리라

문제 제기

법적 조항을 기계 판독 가능한 구조로 형식화하는 것은 자동화된 법적 추론과 기계 접근형 법률을 약속합니다. 대규모 언어 모델 (LLM) 의 등장으로 이러한 형식화를 법령 텍스트에서 직접 생성하는 것이 가능해졌습니다. 그러나 어떤 형식화도 본질적으로 암묵적인 해석적 선택을 수반합니다. LLM 이 작성자로 작용할 때, 이러한 선택은 불투명하며 다양한 해석의 결과는 예측하기 어렵습니다. 구조적으로 타당해 보이는 형식화조차 작성자가 예상하지 못한 엣지 케이스 (edge cases) 에서 불공정하거나 잘못된 판결을 초래할 수 있습니다.

해결하려는 핵심 과제는 구조적 유사성만 비교하는 것이 아니라, 동일한 법적 조항에 대한 여러 형식화를 체계적으로 비교하여 논리적 결과에서 어떻게 다른지 식별하는 방법입니다. 기존 방법들은 종종 구조적 매칭이나'골드 스탠다드 (gold standard)'에 대한 비교에 의존하지만, 저자들은 기준이 되는 진실 (ground truth) 을 가정하지 않고 형식화들끼리 서로 비교하는 것이 진정한 해석적 모호성과 오류를 드러내는 데 필요하다고 주장합니다.

방법론

저자들은 LLM 이 생성한 법적 조항의 형식화를 비교하기 위한 4 단계 파이프라인을 제안합니다:

1. 형식화 (Formalization):
   9 개의 최첨단 LLM 에게 GDPR, AI 법, DMA 등 10 가지 서로 다른 EU 법적 조항에 대한 형식화 생성을 지시합니다. 각 형식화는 루트 노드가 이진 법적 결과 (예:"금지"또는"허용") 이고, 리프 노드가 입력 변수 (사실) 이며, 내부 노드가 논리 연산자 (AND, OR, NAND, NOR) 인 루팅된 레이블 트리 (rooted, labeled tree) 로 표현됩니다.

2. 매칭 (동치 클래스 그래프 구성):
   서로 다른 구조를 가질 수 있는 트리들을 비교하기 위해, 이 방법은 서로 다른 형식화들에서 동일한 법적 개념을 나타내는 노드들을 식별합니다. 일관성을 위해 선택된 LLM(구체적으로 Claude Opus 4.6) 이 모든 형식화에서 온 노드들을 동치 클래스 (Equivalence Classes, ECs) 로 그룹화합니다. 이는 비교를 위한 공유 어휘 (인터페이스) 를 생성합니다. 매칭 과정은 각 형식화가 임의의 주어진 EC 에 최대 하나의 노드만 기여하도록 보장하여, 개념들의 방향성 비순환 그래프 (DAG) 를 형성합니다.

3. 엣지 케이스 분석 (SAT 기반 열거):
   모든 형식화 쌍에 대해, 이 방법은 두 형식화에 공통으로 존재하는 가장 깊은 EC 들을 기반으로 공유 인터페이스를 정의합니다. 이 인터페이스 위의 서브트리를 부울 함수 ($f_A$ 및 $f_B$) 로 변환합니다.

   • 시스템은 이견 함수 $f_A \oplus f_B$를 계산합니다.
   • SAT 솔버 (Z3) 를 사용하여 이 이견 함수의 주요 함의 (prime implicants) 를 열거합니다. 주요 함의는 다른 미할당 변수들의 값과 관계없이 두 형식화가 이견을 보이도록 강제하는 입력 조건의 최소 집합 (부분 할당) 을 나타냅니다.
   • 이러한 주요 함의들을"엣지 케이스"로 간주합니다.

4. 구어화 (Verbalization):
   raw 주요 함의는 인간이 해석하기 어렵습니다. 저자들은 이견의'근본 원인'으로 그룹화하여 엣지 케이스 집합을 대표하는 부분 집합으로 축소하는 선택 파이프라인을 적용합니다. 그런 다음 선택된 사례들을 LLM 이 구체적인 현실적인 사실 시나리오로 구어화합니다. 구어화에는 시나리오, 특정 법적 질문, 그리고 해석적 이견에 대한 분석이 포함되어 법률 전문가가 쟁점이 되는 구체적인 지점을 검토할 수 있도록 합니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 비교 형식화를 위한 프레임워크: 구조적 유사성의 집합에 의존하는 대신, 이견을 보이는 구체적인 입력 사례들을 열거함으로써 동일한 법적 조항에 대한 서로 다른 형식화를 체계적으로 비교하는 방법.
2. 엣지 케이스의 구어화: 법률 전문가가 평가할 수 있는 구체적인 사실 시나리오로 SAT 에서 유도된 논리적 엣지 케이스 (주요 함의) 를 변환하는 기술. 이는 형식적 검증 산물과 인간의 법적 추론 사이의 간극을 메웁니다.
3. LLM 형식화에 대한 실증 연구: 9 개의 최첨단 LLM 이 10 개의 EU 조항을 형식화하는 데 이 방법을 적용한 사례. 이 연구는 행동적 이견이 구조적 합의와 거의 상관관계가 없음을 드러냈으며, 구어화된 사례들은 법률 논평에서의 진정한 논쟁을 반영하는 질적으로 다른 유형의 이견을 노출시켰습니다.

결과

이 연구는 90 개의 형식화 (9 개 모델 $\times$ 10 개 조항) 를 생성하고 360 개의 쌍을 분석했습니다.

• 구조적 대 행동적 이견: 저자들은 공유 인터페이스의 커버리지로 측정된 높은 구조적 합의가 논리적 동치를 보장하지 않는다고 발견했습니다. 개념에서 형식화들이 잘 일치할 때 (높은 커버리지) 도, 결과에 대해 빈번히 이견을 보였습니다. 반면, 커버리지가 낮은 쌍들은 이견을 낼 구조를 공유하지 않았기 때문에 단순히 동치인 경우가 많았습니다.
• 모델 변동성: 이견률은 모델 간에 크게 달랐습니다 (쌍의 약 32% 에서 71% 가 비동치). 그러나 단일 모델이 균일하게'엣지'적인 경우는 없었습니다. 행동은 조항에 크게 의존했으며, 일부 모델은 서로 다른 조항에 따라 0% 에서 100% 까지 이견률이 급변했습니다.
• 질적 발견:
  • 해석적 모호성: AI 법 제 5 조 (법집행을 위한 생체 인식 분류) 의 경우, 모델들이 특정 예외 조항이 적용되는지에 대해 4 대 4 로 균등하게 갈렸습니다. 이 이견은 예외의 범위에 관한 법률 논평에서 ongoing 중인 실제 논쟁을 반영했습니다.
  • 형식화 오류: 불공정 계약 조건 지침 (UCTD) 제 3 조의 경우, 한 모델 (Kimi K2.5) 이 절차적 입증 책임 규칙을 추가적인 실체적 요구 사항 (disjunction 대신 conjunction) 으로 잘못 인코딩하여 과도하게 제한된 정의를 초래했습니다.
  • 한계: 이 파이프라인은 이견만 드러낼 뿐, 모든 모델이 공유하는 오류 (예: 모든 모델이 법률의 교차 참조를 놓치는 경우) 는 탐지할 수 없습니다.

중요성과 주장

이 논문은"법을 아는 것은 그 판결을 아는 것"이라고 주장합니다. 그 중요성은 법적 형식화의 평가를 정적 구조 분석에서 동적, 결과 기반 비교로 전환하는 데 있습니다.

• 자동화가 아닌 감사 보조: 저자들은 명시적으로 이 파이프라인이 자동화된 법적 결정 시스템의 구성 요소가 아닌"인간 개입형 (human-in-the-loop) 감사 보조"로 의도되었다고 밝힙니다. 형식화들은 자율적 사용을 위해 검증되지 않았습니다.
• 숨겨진 이견의 드러냄: 이 방법은 순수한 구조적 비교만으로는 부족함을 보여줍니다. 두 형식화는 비슷해 보일 수 있지만 특정 엣지 케이스에서 극적으로 다른 법적 결과를 초래할 수 있습니다.
• 법적 담론의 반영: 구어화된 엣지 케이스들은 법률 학계의 진정한 미해결 논쟁에 부합하는 이견들을 성공적으로 표면화했으며, 이는 LLM 들이 단순히 무작위적으로 환각을 일으키는 것이 아니라 인간 전문가들이 직면한 동일한 모호성들과 씨름하고 있음을 시사합니다.

저자들은 그들의 방법이 한계가 있음 (LLM 매칭에 대한 의존성, 외부 법적 맥락의 부재, 골드 스탠다드 없이 정확성을 검증할 수 없음) 을 인정하면서도, 형식화들이 인코딩한 결정을 통해 법을'알아내는'필요한 메커니즘을 제공한다고 결론지었습니다.