The GELATO Dataset for Legislative NER

논문 요약: GELATO (Government, Executive, Legislative, and Treaty Ontology) 데이터셋 및 입법 분야 NER 연구

1. 문제 정의 (Problem)

• 도메인 특화 NER 의 부재: 기존의 개체명 인식 (NER) 연구는 주로 일반 뉴스 (newswire) 도메인에 집중되어 있습니다. 그러나 입법 (Legislative) 분야 텍스트는 고유한 구조, 전문 용어, 높은 문맥 밀도, 그리고 실제 세계 지식 (실제 법률, 정부 프로그램 등) 을 요구하기 때문에 일반 도메인 모델로는 정확한 추출이 어렵습니다.
• 기존 온톨로지의 한계: 법적 도메인의 기존 온톨로지 (LKIF 등) 는 주로 판례 (court judgments) 에 초점을 맞추어 '장소', '시간', '사건 번호' 등을 다루며, 의회 입법 문서에서 중요한 '법안 (Acts)', '기금 (Funds)', '프로그램 (Programs)', '보호 대상 집단 (Protected Classes)' 등을 포괄하지 못합니다.
• 데이터 부족: 미국 의회 입법 텍스트를 대상으로 한 고품질의 주석 데이터셋이 부족하여 자동화된 엔티티 추출 파이프라인 개발이 제한되었습니다.

2. 방법론 (Methodology)

가. GELATO 온톨로지 및 데이터셋 구축

• GELATO 온톨로지: 미국 의회 입법 텍스트에 특화된 2 단계 (Two-level) NER 온톨로지를 제안했습니다.
  • 1 단계 (Top-level): 6 개의 상위 클래스 (Person, Organization, Document, Act, Abstraction, Class).
  • 2 단계 (Subclass): 총 30 개의 하위 클래스. 예를 들어, 'Person'은 'Member (의회의원)', 'Title (직함)', 'Individual (일반인)'로 세분화되며, 'Abstraction'은 'Program', 'Fund', 'System' 등 입법적 산물을 포착합니다.
• 데이터셋 구성: 118 회 미국 의회 (2023-2025) 의 하원 및 상원 법안 131 건을 주석 처리했습니다.
  • Train: 하원 법안 80 건 (77,372 토큰)
  • Dev: 하원 법안 21 건 (23,819 토큰)
  • Test: 상원 법안 30 건 (31,740 토큰)
  • 주석 품질: 3 명의 주석자가 Label Studio 를 사용하여 주석하고, 불일치 사항을 집단 합의 (adjudication) 를 통해 해결하여 Gold Standard 를 구축했습니다. 상호 주석자 일치도 (IAA) 는 높은 수준을 보였습니다.

나. 모델 아키텍처 및 학습 전략

• 2 단계 예측 파이프라인:
  1. 1 단계 예측 (First-level): BERT, RoBERTa 등 다양한 크기의 트랜스포머 모델을 GELATO 데이터로 파인튜닝하여 상위 클래스를 예측합니다.
  2. 2 단계 예측 (Second-level): 1 단계에서 예측된 엔티티와 그 문맥을 LLM(대규모 언어 모델, Qwen3-32B) 에 입력합니다. LLM 은 최적화된 프롬프트 (DSPy 를 사용하여 생성) 를 통해 하위 클래스를 분류합니다.
• LLM 활용 전략: 1 단계 모델은 경량화되어 모든 토큰을 스캔하고, LLM 은 1 단계 레이블이 지정된 엔티티에 대해 정교한 분류를 수행합니다. 이는 LLM 의 일반 지식과 도메인 특화 모델의 효율성을 결합한 접근법입니다.

3. 주요 기여 (Key Contributions)

1. GELATO 온톨로지 제안: 입법 텍스트에 최적화된 2 단계 NER 온톨로지를 최초로 정의했습니다.
2. 주석 데이터셋 공개: 118 회 의회 법안 131 건으로 구성된 고품질 주석 데이터셋을 공개했습니다.
3. 베이스라인 모델 및 파이프라인: GELATO 데이터로 파인튜닝된 트랜스포머 모델 (BERT, RoBERTa) 과 LLM 기반 2 단계 예측 모듈을 공개했습니다.
4. LLM 기반 2 단계 예측 방법론: 1 단계 예측 결과를 문맥과 함께 LLM 에 전달하여 정밀한 하위 분류를 수행하는 새로운 방법을 제시했습니다.

4. 실험 결과 (Results)

• 1 단계 성능 (F1 Score):
  • RoBERTa-large가 가장 우수한 성능을 보였으며, F1 점수 88.72를 기록했습니다.
  • BERT-large는 67.16, BERT-base는 68.09 로 RoBERTa 에 비해 성능이 낮았습니다. 이는 RoBERTa 의 더 큰 어휘 크기와 다양한 사전 학습 데이터가 입법 텍스트의 특수성을 잘 포착했기 때문으로 분석됩니다.
• 2 단계 성능 (F1 Score):
  • 1 단계 예측을 기반으로 LLM(Qwen3-32B) 을 사용한 2 단계 예측에서 RoBERTa-large 기반 파이프라인은 F1 67.44를 기록했습니다.
  • 1 단계와 2 단계 간의 F1 점수 차이는 약 20 포인트로, 1 단계의 오류가 2 단계로 전파 (cascading error) 되는 영향을 받았습니다.
  • 성능 편차: 'Bill', 'Title'과 같은 구체적 엔티티는 높은 정확도를 보였으나, 'Parenthetical', 'Abstraction'과 같은 추상적이거나 문맥 의존적인 엔티티는 성능이 낮았습니다.
• 오류 분석:
  • 'Class'(집단) 엔티티는 'Person'과 혼동되거나 'O'(엔티티 아님) 로 잘못 분류되는 경향이 강했습니다. 이는 복수형/단수형의 미묘한 차이와 도메인 특유의 뉘앙스 때문입니다.
  • LLM 은 때때로 제공된 레이블 중 하나를 선택하는 것을 거부하거나 (none of the options), 1 단계의 잘못된 레이블로 인해 2 단계에서도 오류를 범했습니다.

5. 의의 및 시사점 (Significance)

• 입법 NER 의 새로운 벤치마크: GELATO 는 미국 입법 텍스트의 NER 연구에 대한 표준 벤치마크를 제공합니다.
• 하이브리드 모델의 유효성: 작은 크기의 파인튜닝된 트랜스포머 모델과 LLM 을 결합한 2 단계 접근법이 복잡한 도메인에서 효과적임을 입증했습니다.
• 실용적 응용: 이 기술은 입법 추적, 정책 분석, 정부 투명성 확보 등 다양한 하위 작업에 활용될 수 있습니다.
• 한계 및 향후 과제: 현재 데이터셋은 118 회 의회 (100-200 번 법안) 로 제한되어 있어 다른 세션이나 주 (州) 의회, 다른 국가로의 일반화 가능성은 검증이 필요합니다. 또한, 1 단계 오류가 2 단계로 전파되는 문제를 해결하기 위한 연구가 필요합니다.

이 논문은 법률 및 입법 도메인의 NER 과제를 해결하기 위해 데이터셋, 온톨로지, 그리고 모델 아키텍처를 종합적으로 제시한 중요한 연구로 평가됩니다.