Annotating Topical Legal Insights from Case Proceedings

기술 요약: LeDA – 법률 데이터 어노테이션을 위한 시스템

문제 정의
법률 문서는 그 크기가 방대하고 본질적인 복잡성을 띠고 있어, 정보 추출을 연구 커뮤니티의 중요한 과제로 만든다. 캐치프레이즈 추출, 증거 추출, 증인 증언 추출과 같은 기존 기법들은 TF-IDF(term frequency-inverse document frequency) 및 NLP 모델(예: Bi-LSTM)을 활용하지만, 이러한 접근 방식은 문서의 "주제적" 또는 "테마적" 관점을 포착하는 데 종종 실패한다. 현재의 방법들은 특정 구절(예: "살인", "가석방")은 추출할 수 있으나, 사건의 "내용(aboutness)"을 정의하는 미세한 정보나 사건(예: "한 사람이 가석방 중에 아내를 살해함")을 효과적으로 합성하지는 못한다. 이러한 테마적 개념을 식별하기 위해 전체 문서를 수동으로 읽는 것은 시간과 노력이 많이 소요되므로, 법률 문서를 평면적인 텍스트가 아닌 "개념의 주머니(bags of concepts)"로서 구조화된 표현으로 만드는 것이 필요하다.

방법론
이러한 한계를 해결하기 위해 저자들은 법률 문서 내의 엔티티와 개념을 어노테이션하고 판정하기 위해 설계된 웹 기반 시스템인 LeDA(Legal Data Annotation)를 제안한다. 이 시스템은 HTML, CSS, JavaScript로 개발된 프런트엔드와 PythonAnywhere 서버에 호스팅된 Python 기반의 Django 프레임워크로 구동되는 백엔드로 구축되었다.

핵심 방법론은 두 가지 주요 메커니즘을 통해 LeDA를 표준 시퀀스 레이블링 도구와 차별화한다:

1. 동적 태그 생성: 정적인 사전 정의된 온톨로지에 의존하는 도구와 달리, LeDA는 어노테이터가 새로운 태그를 동적으로 생성할 수 있도록 허용한다. 이는 법률 영역에서 개념이 사전에 완전히 알려지지 않을 수 있고, 어노테이터가 문서를 검토하면서 발견되어야 하는 특성상 매우 중요하다. 어노테이터는 기존 목록에 포함되지 않은 미세한 정보를 발견할 경우 새로운 태그 추가를 요청할 수 있다.
2. 메타 어노테이션 및 판정: 시스템은 여러 명의 어노테이터와 "슈퍼 어노테이터"(시니어 법률 전문가)가 참여하는 워크플로우를 채택한다. 어노테이터는 텍스트 구간(text spans)을 태그와 함께 독립적으로 레이블링한다. 이후 슈퍼 어노테이터는 서로 다른 어노테이션 간의 충돌을 해결하기 위한 병합 연산으로서 "메타 어노테이션"을 수행한다. 이 과정에는 어노테이션 품질을 정량화하기 위한 어노테이터 간 일치도(IAA) 계산이 포함된다. IAA 점수가 낮은(예: < 0.5) 문서의 경우, 슈퍼 어노테이터는 충돌하는 항목을 검토하여 가장 적절한 레이블을 선택하거나 충돌을 폐기함으로써 차이를 조정한다.

어노테이션 과정은 문서를 선택하고, 특정 텍스트 구간을 강조 표시하며, 이를 태그(사전 정의된 목록 또는 새로 생성된 태그)와 연결한 후, 데이터를 JSON 형식으로 저장하는 과정을 포함한다. 시스템은 태그별 문서 검색을 지원하며, 어노테이션된 구간, 사용된 태그 및 문장 번호를 기반으로 IAA 점수를 계산한다.

주요 기여

• LeDA 시스템: 복잡한 법률 데이터에 적용될 때 BRAT, GATE 또는 Label Studio와 같은 범용 도구에는 결여된 기능인 동적 태그 생성 및 메타 어노테이션을 지원하는 특화된 도구를 개발하였다.
• 개념적 프레임워크: 법률 사건 절차를 개념의 주머니로 표현하기 위해 다양한 법률 개념(예: "가석방 중 살인", "연쇄 살인", "수사 기관")을 제안하였다.
• 데이터셋 구축: 서뱅골 국립 법학대학교 소속 법률 실무자들의 참여를 통해 200개의 인도 대법원 판결문을 어노테이션하는 데 LeDA를 적용하였다.
• 새로운 IAA 계산법: 겹치는 구간이나 단일 텍스트 세그먼트에 대한 다중 태그 사용과 같은 법률 어노테이션의 미묘한 차이를 고려한 특정 Inter-Annotator Agreement 계산 방법을 도입하였다.

결과
이 시스템은 3명의 평가자(2명의 법률 전문가와 1명의 슈퍼 어노테이터)에 의해 200개의 법률 문서를 어노테이션하는 데 사용되었다. 어노테이션된 데이터로부터 얻은 주요 관찰 결과는 다음과 같다:

• 미묘한 표현을 위해 단일 텍스트 구간에 여러 태그를 사용하는 것의 필요성.
• 어노테이션된 구간이 빈번하게 문장 경계를 넘나든다는 점이며, 이는 개별 문장을 넘어 정보를 포착해야 함을 나타낸다.
• 태그에 따른 구간 길이의 차이(예: "살인"은 한 문장이 필요할 수 있지만, "전문가 증언"은 4~5개의 문장이 필요할 수 있음).
• 법률 전문가들의 피드백은 매우 만족스러웠으며, 새로운 기능 제안이 없었다는 점은 의도한 목적에 대한 도구의 효과성을 입증한다.

의의 및 주장
본 논문은 LeDA가 법률 문서의 테마적 개념 어노테이션에 필요한 노력을 효과적으로 줄여줌으로써, 다운스트림 작업에 적합한 의미론적 표현 구축을 가능하게 한다고 주장한다. 저자들은 생성된 법률 개념 데이터셋이 이전 판례 검색(prior case retrieval) 및 **판결 예측(judgment prediction)**과 같은 작업에 사용될 목적임을 명시하고 있다. 시스템은 현재 이러한 목적으로 사용 중이며, 저자들은 살인 관련 절차를 넘어 다른 법률 영역으로 범위를 확장할 계획이다. 또한, 향후 수동 어노테이션의 시간과 비용을 완화하기 위해 어노테이션된 데이터셋을 이용한 자동 개념 추출을 탐구하고자 한다. 본 논문은 JURIX 2023 데모 논문의 확장 버전임을 강조하며, 실제 세계의 법률 어노테이션 시나리오에서의 도구의 실용적 유용성을 강조한다.