AIL: Integrating LLM Capacity Awareness, Legal Intuition, and Lexis Understanding into Legal Information Extraction

법의 세계에서 법원 판결문은 단순한 최종 결정 그 이상입니다. 그것은 특정 결과가 도출된 이유를 설명하는 사실, 논거, 그리고 추론이 담긴 복잡한 이야기입니다. 수십 년 동안 컴퓨터는 이러한 문서를 읽는 데 어려움을 겪어 왔으며, 변호사와 판사들이 사용하는 밀도 높고 전문화된 언어 속에서 길을 잃곤 했습니다. 인공지능이 일반적인 텍스트를 읽는 데는 매우 능숙해졌지만, 법률 문서는 독특한 과제를 안겨줍니다. 법률 문서는 수 세기의 전통, 일상 대화와는 전혀 다른 의미를 지닌 특수 용어, 그리고 사례마다 변화하는 논리에 의존하기 때문입니다. 변호사들이 선례를 검색하거나 결과를 예측하는 데 도움이 될 유용한 도구를 구축하기 위해, 연구자들은 이 구조화되지 않은 이야기들을 기계가 읽을 수 있는 조직화된 데이터로 전환해야 합니다. 문제는 법을 작동시키는 그 미묘한 뉘앙스를 잃지 않으면서 어떻게 이를 수행할 것인가였습니다.

한 연구팀은 인간 법률 전문가를 단순한 감독자가 아니라 과정의 필수적인 파트너로 대우하는 새로운 방식의 인공지능 활용법을 개발함으로써 이 문제에 도전했습니다. 컴퓨터가 혼자서 모든 것을 하도록 강요하는 대신, 그들은 인간의 직관과 법률 언어에 대한 깊은 지식이 단계마다 기계를 안내하는 시스템을 만들었습니다. 그들은 이 접근 방식을 중국과 포르투갈의 전통이 혼합된 독특한 법 체계를 가진 지역인 마카오의 법원 판결문에 테스트했습니다. 마카오의 문서는 처리하기 까다롭기로 유명합니다. 그 결과, 지저도한 법원 기록을 깨끗하고 구조화된 정보로 바꾸는 매우 정확한 방법이 탄생했으며, 이는 컴퓨터에게 법을 가르치는 가장 좋은 방법은 인간 변호사가 길을 보여주는 것임을 입증했습니다.

연구진은 먼저 현재 인공지능의 근본적인 한계를 인식하는 것부터 시작했습니다. 거대 언어 모델은 방대한 양의 텍스트를 읽을 수는 있지만, 인간 변호사라면 즉시 알아차릴 미묘하고 숨겨진 의미를 놓치는 경우가 많습니다. 컴퓨터는 사실의 목록을 볼 수는 있지만, 어떤 사실이 최종 판결에 실제로 중요한지, 또는 판사의 추론이 특정 법률과 어떻게 연결되는지는 이해하는 데 어려움을 겪습니다. 연구팀은 컴퓨터가 문서에서 무엇을 추출할지 스스로 추측하게 하여 전체 추출 과정을 자동화하려고 시도하는 것이 오류를 초래한다고 주장했습니다. 대신, 그들은 AIL이라는 프레임워크를 제안했는데, 이는 LLM의 능력(Awareness of LLM capacity), 법적 직관(Legal intuition), 그리고 법률 어휘 이해(Legal lexis understanding)를 의미합니다. 이 접근 방식은 컴퓨터의 한계를 인정하고, 무엇이 중요한지를 식별하는 데 인간의 경험이 필요하며, 법률의 특수 어휘를 기계에게 명확하게 설명해야 한다는 점을 인정합니다.

이 아이디어를 실행에 옮기기 위해 연구팀은 마카오의 법원 판결문에 집중했습니다. 이 문서들은 길고, 표준 형식이 없는 경우가 많으며, 해당 지역 특유의 언어와 법적 개념이 혼합되어 있어 완벽한 테스트 케이스가 됩니다. 일부 판결문은 천 페이지가 넘기도 하며, 작성 스타일은 판사마다 크게 다를 수 있습니다. 연구진은 수천 건의 이러한 공개 문서를 수집하여 이를 읽고 사건 날짜, 관련 혐의, 양측의 주장, 최종 판결과 같은 구체적인 세부 사항을 추출할 수 있는 시스템을 구축하고자 했습니다. 그들은 단순히 문서를 컴퓨터에 입력하고 결과가 좋기를 바란 것이 아닙니다. 대신, 인간 전문가와 컴퓨터가 테스트와 개선의 순환 속에서 함께 작동하는 단계별 워크플로를 설계했습니다.

첫 번째 단계에서 인간 전문가들은 추출해야 할 정보를 정의하여 모든 사건에 대해 채워 넣을 15가지의 구체적인 필드 목록을 만들었습니다. 그런 다음 그들은 컴퓨터에게 이 정보를 어떻게 찾을지 알려주는 지침, 즉 프롬프트를 작성했습니다. 그러나 그들은 컴퓨터가 실수를 할 수 있다는 점을 알고 있었기에 엄격한 검토 프로세스를 구축했습니다. 판사와 검사를 포함한 법률 전문가 그룹이 컴퓨터의 첫 시도들을 검토했습니다. 그들은 누락된 세부 사항, 조작된 사실, 또는 텍스트의 잘못된 부분에서 가져온 정보와 같은 오류를 찾아냈습니다. 컴퓨터가 실패했을 때, 인간은 단순히 기계를 탓하는 대신 지침을 수정했습니다. 그들은 혼란스러운 법률 용어를 더 명확하게 설명하고, 컴퓨터에게 무엇을 찾아야 하는지에 대한 예시를 제공했으며, 문서의 정확히 어느 부분을 검색해야 하는지 알려주었습니다. 이 테스트, 오류 발견, 지침 개선의 순환은 컴퓨터의 성능이 극적으로 향도록 반복해서 진행되었습니다.

이러한 협업의 결과는 놀라웠습니다. 인간 주도의 과정을 통해 시스템을 개선한 후, 연구진은 마카오 판결문에서 정보를 추출하는 데 있어 98.6%의 전체 정확도를 달 기록했습니다. 이는 거의 모든 사례에서 컴퓨터가 인간이 찾고자 했던 핵심 세부 사항을 정확히 식별했음을 의미합니다. 재판 중 취해진 구체적인 절차적 조치를 식별하거나 복잡한 사건의 사실 관계를 요약하는 것과 같이 가장 어려운 필드에 대해서도 정확도는 90%를 상회했습니다. 연구팀은 또한 자신들이 만든 구조화된 데이터가 즉각적으로 유용하다는 것을 발견했습니다. 그들은 이 새로운 데이터셋을 사용하여 다른 인공지능 모델을 학습시켜 미래 사건의 결과를 예측하고 법적 분쟁의 유형을 분류했습니다. 이러한 다운스트림 작업들은 추출된 정보가 단지 정확할 뿐만 아니라, 고급 법률 분석을 지원할 만큼 풍부하다는 것을 보여주었습니다.

또한 본 연구는 중국 본토의 데이터로 학습된 전문 법률 모델들이 마카오의 독특한 법 체계에 적용되었을 때 범용 모델만큼 성능을 내지 못한다는 점을 밝혀냈습니다. 이는 한 법률 문화를 학습한 모델이 동일한 언어를 공유하더라도 다른 법률 문화를 자동으로 이해하지는 못한다는 것을 시사합니다. 프로젝트의 성공은 마카오 법의 특수한 특징을 이해하고 컴퓨터가 이를 탐색하도록 가르칠 수 있는 인간 전문가들 덕분이었습니다. 컴퓨터의 속도와 방대한 텍스트 처리 능력, 그리고 법적 논리와 언어에 대한 인간 전문가의 깊은 이해를 결합함으로써, 연구진은 효율적이면서도 신뢰할 수 있는 시스템을 만들어냈습니다.

이 연구는 법률 기술의 새로운 길을 제시합니다. 이는 미래의 법률 인공지능이 스스로 모든 것을 아는 기계를 만드는 데 있는 것이 아니라, 인간과 기계가 함께 협력하는 시스템을 구축하는 데 있다는 것을 시사합니다. 인간은 직관과 전문 지식을 제공하고, 기계는 텍스트를 읽고 데이터를 정리하는 힘든 일을 담당합니다. 이러한 협업적 접근 방식을 따름으로써, 연구자들은 아무리 복잡하거나 독특한 법 체계라도 고품질의 데이터셋을 구축할 수 있습니다. 이 연구는 우리가 인공지능의 한계를 존중하고 인간의 전문성을 과정에 포함시킬 때, 법원 판결문 속에 숨겨진 방대한 미개척 정보를 해제하여 법을 모두에게 더 접근하기 쉽고 이해하기 쉽게 만들 수 있음을 입증합니다.