ANNOTARES: A Dataset for Extracting Logical Structures from German Statutory Texts

기술 요약: "ANNOTARES: 독일 법령 텍스트의 논리적 구조 추출을 위한 데이터셋"

문제 정의
법률 텍스트의 자동 구조 분석은 리걸 테크놀로지의 기초적인 요소이지만, 기저에 깔린 논리적 구성 요소를 정밀하게 추출하는 것은 여전히 중요한 기술적 난제로 남아 있다. 특히 독일의 법령 텍스트는 인간의 해석을 위해 작성되었으며, 고도로 중첩된 구문과 암시적 맥락을 특징으로 하여 자동 파싱을 어렵게 만든다. 최근 자연어 처리(NLP) 및 대규모 언어 모델(LLM)의 발전이 개체명 인식(NER), 판결 예측, 요약과 같은 작업의 능력을 향상시켰으나, 이러한 접근 방식들은 법적 규범을 정의하는 논리를 포착하기보다는 법률 텍스트를 레이블의 시퀀스로 취급하는 경면이 있다.

본 논문이 다루는 핵심 과제는 법령 산문을 그 논리적 구성 요소인 법적 요건(Tatbestand)과 그에 따른 법적 결과(Rechtsfolge)로 분절하는 것이다. 이는 표준적인 NER과는 다르며, 조건부 법적 규칙을 구성하는 문장의 기능적 부분을 식별하는 작업을 요구한다. 이 과정은 기존의 법령 텍스트들이 현대의 기계 실행 가능한 초안 작성 표준보다 이전에 작성된 경우가 많다는 점 때문에 더욱 복잡하다.

방법론
이를 해결하기 위해 저자들은 새로운 데이터셋이자 시퀀스 태깅 작업의 벤치마킹 프레임워크인 ANNOTARES(Annotations of Tatbestand-Rechtsfolge Sequences)를 도입한다.

• 데이터셋 구축: 코퍼스는 주요 훈련 및 인도메인(in-domain) 테스트 세트로 사용되는 연방 데이터 보호법(BDSG)에서 추출한 400개 이상의 주석 처리된 문장으로 구성된다. 법령 간 일반화 가능성을 평가하기 위해, 데이터셋에는 연방 교육 및 훈련 지원법(BAföG)과 연방 건축법(BauGB)에서 각각 50개씩 주석이 달린 문장이 외부 도메인(out-of-domain) 테스트 세트로 포함되어 있다. 데이터셋은 약 21,500개의 토큰을 Tatbestand, Rechtsfolge, none(배경)의 세 가지 클래스로 스팬(span) 수준에서 주석 처리하였다. 주석의 품질은 크리펜도르프 알파(Krippendorff's alpha)를 통해 검증되었으며, 0.89의 점수를 기록했다.
• 주석 가이드라인: 가이드라인은 독일 연방 법무부의 법령 초안 작성 매뉴얼(Handbuch der Rechtsförmlichkeit)에서 유래되었다. 이는 원자성(문장당 하나의 법적 진술)과 완전성(문장은 정의이거나 조건과 결과의 조합이어야 함)이라는 두 가지 원칙을 강제한다. 핵심적인 제약 사항은 레이블 간의 상호 의존성으로, Tatbestand는 반드시 동일한 문장 내에서 Rechtsfolge와 공존해야 한다.
• 실험 설정: 저자들은 여섯 가지 아키텍처 접근 방식을 벤치마킹하였다:
  1. 규칙 기반 베이스라인: 동사 우선 구조와 키워드(예: wenn, falls)를 활용한 3단계 시스템.
  2. 확률적 모델: 토큰, POS(품사), 의존 구문 특징을 사용하는 조건부 랜덤 필드(CRF).
  3. 신경망 시퀀스 모델: 사전 학습된 fastText 임베딩을 사용하는 BiLSTM 및 BiLSTM-CRF 아키텍처.
  4. 트랜스포머 기반 모델: mBERT, DistilBERT, LEGAL-BERT, BERT-LER을 포함한 변형 모델들로, POS 및 의존성 임베딩을 보강함.
  5. 대규모 언어 모델(LLM): Claude 3 Haiku 및 Opus를 사용한 제로샷(zero-shot) 및 퓨샷(few-shot) 평가로, 두 가지 별도의 프롬프팅 전략(가이드라인 기반 및 구조적 특징으로 최적화된 전략)을 적용함.

주요 결과
주로 Macro F1(mF1)과 Exact Span Match로 측정된 평가 결과는 다음과 같다:

• 모델 성능: 트랜스포머 기반 모델들이 우수한 성능을 보였다. mBERT는 인도메인 BDSG 테스트 세트에서 가장 높은 전체 정확도(85.4%)와 mF1(0.798)을 달성했다. LEGAL-BERT 및 BERT-LER과 같은 도메인 특화 모델들도 경쟁력 있는 성능을 보였으나, 일반 다국어 모델인 mBERT보다는 약간 낮은 수치를 기록했다.
• 베이스라인의 한계: 전통적인 접근 방식은 매우 고전했다. 규칙 기반 시스템은 구문적 복잡성을 처리하지 못해 mF1 0.197에 그쳤으며, BiLSTM 아키텍처는 데이터 부족과 전이 학습의 부재로 인해 0.50 mF1 미만의 점수를 기록했다.
• 스팬 매칭 vs 토큰 정확도: 토큰 수준의 정확도와 정확한 스팬 매칭(exact span matching) 사이의 결정적인 차이가 나타났다. 일부 모델은 높은 토ken 정확도를 달 निधन했으나, 정밀한 경계를 식별하는 데는 자주 실패했다. 예를 들어, BiLSTM-CRF 모델은 Rechtsfolge에 대해 0.772의 토큰 정확도를 달성했지만, exact span match 점수는 0.000을 기록했다. 이는 조건의 핵심은 식별하되 정밀한 경계를 찾지 못하면 작업 자체가 완전히 실패함을 의미한다.
• 교차 법령 일반화: mBERT 모델은 놀라운 견고성을 보였으며, 세 법령 모두에서 거의 일정한 정확도를 유지했다. 특히, mBERT의 mF1 점수는 외부 도메인 세트(BAföng: 0.868; BauGB: 0.812)에서 인도메인 점수보다 높게 나타났는데, 이는 모델이 독일 법률의 보편적인 구조적 패턴을 포착했음을 시사한다.
• LLM 성능: LLM은 가이드라인 기반 프롬프트 사용 시 경쟁력 있는 토큰 수준 성능을 보였으나, 명시적 언어적 특징을 사용하여 과도하게 최적화된 프롬프트(Prompt 2)를 사용할 때는 오히려 성능이 저하되었다. 이는 추가된 복잡성이 노이즈를 유발했음을 시사한다. 그러나 LLM(특히 Prompt 2를 사용한 Opus)은 none 클래스에 대해 가장 높은 exact span match(0.875)를 달성하여, 비규범적 문장을 식별하는 데 있어 다른 모델들을 앞질렀다.
• 절제 연구(Ablation Study): 모든 모델, 특히 mBERT에서 품사(POS) 및 의존성 태그를 제거했을 때 성능이 크게 하락했다(mBERT의 mF1이 0.798에서 0.679로 하락). 이는 강력한 내부 표현을 가진 모델이라 할지라도, 명시적인 구문적 특징이 법적 논리를 문법 구조에 고정하는 데 필수적임을 나타낸다.

의의 및 주장
본 논문은 ANNOTARES가 단순한 개체 추출을 넘어 논리적 구조의 분절로 나아감으로써 자동화된 법적 추론을 발전시키기 위한 필수적인 자원을 제공한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 논리적 분절의 독자성: Tatbestand와 Rechtsfolge를 추출하는 것은 표준적인 NER이나 문서 분류와는 다른 미세한 접근 방식을 요구한다.
2. 트랜스포머의 우위: 현대적인 트랜스포머 기반 모델, 특히 mBERT와 같은 다국어 모델이 현재 이 작업에 가장 효과적인 아키텍처이며, 규칙 기반 시스템이나 전통적인 신경망보다 뛰어난 성능을 보인다.
3. 구문의 중요성: 구조적 언어 특징(POS 및 의존성 태그)은 전통적 모델 및 미세 조정된 모델이 데이터셋 편향을 극복하고 논리적 조건을 올바르게 식별하는 데 필수적이다.
4. 미래 연구의 토대: 데이터셋과 벤치마크를 공개함으로써, 저자들은 비정형 법령 산문을 기계 실행 가능한 추론이나 법률 지식 그래프에 적합한 형태로 변환하는 논리 인지형(logic-aware) NLP 연구를 촉진하고자 한다.

저자들은 현재 기술 수준에 대해 겸허한 태도를 유지하며, 성능이 향 향상되었음에도 불구하고 대부분의 기존 법령 텍스트는 자동 파싱을 위해 상당한 노력이 필요한 복잡한 구문 구조를 여전히 보유하고 있다고 언급한다.