💻 computer science

On Measuring Semantic Preservation in Legal Ontology Learning

본 논문은 원본 문서와 구조화된 표현 간의 LLM 태스크 성능을 비교함으로써 법률 온톨로지 학습에서의 의미론적 손실을 정량화하고, 이러한 의미론적 보존이 특정 언어 모델과 온톨로지 학습 방법의 결합에 따라 크게 달라짐을 밝히는 새로운 평가 프레임워크를 제안하고 검증한다.

원저자: Albert Sadowski, Jarosław A. Chudziak

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Albert Sadowski, Jarosław A. Chudziak

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 복잡한 법률 계약을 이해하도록 가르치려 한다고 상상해 보십시오. 당신에게는 두 가지 선택지가 있습니다. 로봇에게 원래의 무질서하고 인간이 작성한 텍스트를 그대로 입력하거나, 그 텍스트를 '온톨로지(ontology)'라고 불리는 매우 체계적이고 구조화된 지도 형태로 번역하여 입력하는 것입니다. 온톨로지는 모든 개념이 서랍이고 모든 관계가 명확한 라벨로 붙여진, 거대하고 완벽하게 분류된 파일 캐비닛과 같다고 생각하면 됩니다. 이 구조화된 지도는 로봇이 무질서한 텍스트를 읽을 때보다 더 잘 추론할 수 있도록 도울 것이라는 아이디어입니다. 하지만 여기에는 함정이 있습니다. 아주 풍부하고 미묘한 이야기를 강제로 딱딱한 파일 캐비닛에 집어넣으려 할 때, 당신은 의도치 않게 가장 중요한 '풍미'를 버리게 될 수도 있습니다. 이것이 바로 '의미 손실(semantic loss)'의 문제입니다. 즉, 구조는 유지하되 의미를 잃어버리는 것이죠. 과학자들은 파일 캐비닛이 제대로 만들어졌는지(서랍 라벨이 제대로 붙었는지?)를 확인하는 데는 뛰어난 성과를 보여왔지만, 그 서랍의 내용물이 실제 문제를 해결하기에 여전히 충분히 '맛있는지'를 확인하는 좋은 방법은 갖추지 못했습니다. 이 논문은 그 간극에 발을 들여놓으며, 다음과 같은 단순하지만 매우 중요한 질문을 던집니다. "텍스트를 구조화된 지도로 바꾸는 것이 실제로 로봇에게 도움이 되는가, 아니면 로봇이 필요로 하는 세부 사항들을 제거함으로써 오히려 로봇을 더 멍청하게 만드는가?"

이 논문의 저자인 알버트 사도프스키(Albert Sadowski)와 야로스와프 A. 추드지아크(Jarosław A. Chudziak)는 매우 구체적이고 까다로운 놀이터를 사용하여 이 아이디어를 테스트하기로 했습니다. 바로 법률 합병 계약서입니다. 이는 기업들이 서로를 인수할 때 서명하는 거대하고 복잡한 계약서로, 세부 조항과 미묘한 법적 조건들로 가득 차 있습니다. 저자들은 이 계약서들을 온톨로지로 변환하는 것이 오늘날 우리가 사용하는 초스마트 AI 챗봇인 대규모 언어 모델(LLM)이 관련 질문에 답하는 데 도움이 되는지 확인하고 싶었습니다.

이를 위해 그들은 영리한 실험을 설계했습니다. 먼저, 여섯 가지 서로 다른 AI 모델이 원래의 무질서한 계약서를 읽고 34가지 유형의 법률 질문에 답하게 했습니다. 이것은 원본 텍계에서 AI가 이해할 수 있는 정보의 최대치를 나타내는 '기준점(baseline)' 점수가 되었습니다. 그다음, 동일한 계약서들을 세 가지 서로 다른 '온톨로지 학습(ontology learning)' 방식(LLMs4OL, NeOn-GPT, NeOn-CoT)을 통해 구조화된 지도로 변환했습니다. 마지막으로, 동일한 AI 모델들에게 똑같은 질문을 던지되, 이번에는 원본 텍스트가 아닌 오직 구조화된 지도만을 보고 답변하게 했습니다.

결과는 다소 충격적이었습니다. 논문에 따르면, AI 모델들이 구조화된 지도 대신 원본 텍스트를 사용했을 때보다 성능이 저하되는 경우가 거의 모든 경우에서 발견되었습니다. 이는 마치 맛있는 복합적인 스튜를 가져다가 국물과 향신료를 모두 걸러내어 깔끔한 식재료 목록으로 만든 뒤, 요리사에게 그 목록만을 가지고 스튜의 맛을 재현해 보라고 요구하는 것과 같습니다. '의미 손실'은 실재했으며 측정 가능했습니다. 어떤 방식을 사용했느냐에 따라 AI 모델들의 정확도는 평균적으로 8.4에서 27.4 퍼센트 포인트까지 하락했습니다. LLMs4OL 방식이 가장 심각한 가해자였으며, 가장 많은 정보를 사라지게 만들었습니다. 반면 NeOn-GPT는 의미를 가장 많이 보존한, 그나마 '덜 나쁜' 방식이었습니다.

하지만 이야기는 어떤 AI 모델이 읽고 있느냐를 살펴볼 때 더욱 흥러워집니다. 논문은 이 손실이 모두에게 동일하게 나타나지 않는다는 것을 발견했습니다. 즉, AI 모델의 '성격'과 지도를 만드는 데 사용된 방식에 따라 결과가 크게 달라졌습니다. 예를 들어, Gemini라고 불리는 한 모델은 특정 방식인 NeOn-CoT와 결합했을 때 어려운 과제에서도 원래 의미의 약 86~88%를 유지하며 놀라운 성능을 보여주었습니다. 하지만 동일한 방식을 다른 모델과 짝지었을 때는 성능이 급락했습니다. 이는 이러한 법률 지도를 만드는 데 있어 단 하나의 '최선'의 방법은 없으며, 대신 AI의 두뇌와 지도를 만드는 도구 사이의 완벽한 궁합을 찾아야 한다는 점을 시사합니다.

저자들은 또한 질문의 유형도 중요하다는 점을 주목했습니다. 만약 "예 또는 아니오"와 같이 단순한 질문이라면, 구조화된 지도는 거의 완벽하게 작동하며 정보 손실이 거의 없었습니다. 하지만 "아닐 가능성이 높다"와 "합리적으로 가능성이 있다"의 차이와 같은 미묘한 법적 뉘앙스를 이해해야 하는 질문의 경우, 구조화된 지도는 처참하게 실패했습니다. 종종 의미의 최대 65%까지 손실되었습니다. 온톨로지의 경직된 구조는 변호사들이 의존하는 확률의 섬세한 색조를 포착하지 못했습니다.

결론적으로, 이 논문은 온톨로지 사용을 중단해야 한다고 말하는 것이 아닙니다. 대신, 무언가를 구조화한다고 해서 그것이 자동으로 더 좋아질 것이라고 가정하지 말라고 경고합니다. 저자들은 AI가 법적 결정을 내리는 데 도움을 줄 수 있도록 구조화된 지도를 신뢰하기 전에, 그것이 우리가 중요하게 여기는 의미를 실제로 보존하는지 먼저 테스트해야 한다고 제안합니다. 그들은 복잡한 법적 추론을 위해 텍스트를 구조화된 지도로 변환하는 과정이 종로 정답을 결정짓는 바로 그 세부 사항들을 흔히 제거한다는 것을 발견했습니다. 따라서 온톨로지는 여전히 데이터를 정리하는 데 유용하지만, 특히 그 '아기'가 수십억 달러 규모의 거래 결과를 바꿀 수 있는 미묘한 법적 논거일 때는, 목욕물을 버리려다 아기까지 함께 버리지 않도록 주의해야 합니다.

기술 요약: 법률 온톨로지 학습에서의 의미론적 보존 측정에 관하여

문제 정의
온톨로지 학습은 비정형 텍스트를 구조화된 기계 판독 가능 형태로 변환하여 자동 추론 및 시스템 상호 운용성을 용이하게 하는 것을 목표로 한다. 그러나 이 변환 과정에는 내재적인 위험이 존재한다. 즉, 다운스트림 작업에 필요한 의미론적 콘텐츠가 손실될 가능성이다. 현재의 평가 방법론은 주로 구조적 정확성, 즉 온톨로지가 형식적 명세(formal specifications)를 준수하고 논리적 일관성을 보이는지를 평가하는 데 집중되어 있다. 이러한 척도들은 기술적 타당성은 보장하지만, 원래 텍스트의 의미가 변환 과정에서 살아남았는지 여부는 감지하지 못한다. 결과적으로, 실무자들은 특히 정밀한 의미적 구분이 결정적인 법률과 같은 복잡한 도메인에서, 온톨로지 변환이 특정 애플리케이션을 강화하는지 혹은 저해하는지를 판단할 수 있는 근거 기반의 방법을 갖추지 못하고 있다.

방법론
저자들은 대규모 언어 모델(LLM)의 성능을 의미론적 접근성(semantic accessibility)의 대리 지표로 사용하는 태스크 기반 평가 프레템워크를 제안한다. 핵심 전제는 특정 소스 문서에 대한 베이스라인 LLM의 성능이 해당 모델이 접근 가능한 의미론적 콘텐츠의 상한선(upper bound)을 나타낸다는 것이다. 방법론은 이 베이스라인과 동일한 과업을 수행할 때 변환된 온톨로지 표현을 사용하는 모델의 성능을 비교함으로써 의미론적 손실을 정량화한다.

의미론적 손실은 다음과 같이 계산된다:
$\text{SemanticLoss} = \text{BaselinePerf} - \text{TransformedPerf}$

본 연구는 LegalBench의 합병 계약 이해 데이터셋(MAUD)을 사용하며, 이는 합병 계약 분석(예: 수탁자 의무, 중대한 부정적 영향)과 관련된 34개의 객관식 과업으로 구성된다. 실험 설정에는 6가지의 다양한 언어 모델(o4 mini, GPT-4.1 mini, Claude Sonnet 4, Gemini 2.5 Flash, DeepSeek v3, Llama 4 Maverick)이 포함된다.

세 가지 온톨로지 학습 접근 방식이 직접적인 LLM 적용 베이스라인과 비교 평가된다:

LLMs4OL: 도메인 불가지론적(domain-agnostic) 접근 방식으로, 온톨로지 구축을 세 가지 병렬 작업(용어 유형화, 분류 체계 발견, 관계 추출)으로 분해한 후 제로샷 통합 단계를 거친다.
NeOn-GPT: 도메인 인지(M&A 계약 식별)를 포함하여 온톨로지 구축을 유도하는 구조화된 5단계 파이프라인을 사용한다. 단, 본 연구에서는 검증 루프(validation loops)를 생략하였다.
NeOn-CoT: NeOn 원칙을 단일 사고 사슬(chain-of-thought) 프롬프팅 전략으로 통합한 단순화된 접근 방식으로, 도메인 인지를 유지하면서 계산 오버헤드를 줄인다.

이 프레임워크는 정보 보존 원칙 하에 작동하며, 온톨로지 학습 접근 방식이 외부 지식 증강 없이 기존 콘텐츠를 재구성하도록 보장함으로써, 성능 차이를 오직 변환 효과에만 귀속시킨다.

주요 결과
평가 결과, 모든 온톨로지 학습 접근 방식에서 체계적인 의미론적 손실이 발견되었으며, 베이스라인 접근성 수준 대비 성능 저하는 8.4에서 27.4 퍼센트 포인트(pp)에 달했다.

방법론별 성능: NeOn-GPT 방식이 가장 우수한 보존 특성(손실 8.8~~18.1 pp)을 보였으며, 이는 명시적인 도메인 인지와 순차적 처리가 법률적 의미를 더 잘 보존함을 시사한다. LLMs4OL은 가장 심각한 손실(13.9~~27.4 pp)을 보였는데, 이는 아마도 병렬 작업 분해 과정에서의 정보 파편화 때문인 것으로 보인다. NeOn-CoT는 주목할 만한 변동성을 동반한 중간 정도의 성능(8.4~25.3 pp)을 나타냈다.
모델-방법 간 상호작용: 특정 모델과 방법 사이에서 유의미한 상호작용이 관찰되었다. 예를 들어, 대부분의 조합이 복잡한 과업에서 어려움을 겪는 반면, Gemini 2.5 Flash와 NeOn-CoT의 조합은 미묘한 양태 언어(modal language)를 포함하는 과업에서 탁월한 의미론적 보유력(최대 88%)을 달성한 반면, 다른 조합들은 50% 이상의 손실을 보였다.
과업 복잡도: 의미론적 손실은 과업 유형에 따라 극적으로 달랐다. 단순한 이진 결정(예: 분류 과업)은 거의 완벽한 보존(1~6% 손실)을 보였다. 반대로, 복잡한 다중 표준 법률 추론 및 양태 언어(예: "가능성이 높은" vs "합리적으로 가능성이 있는")의 해석을 요구하는 과업은 심각한 저하를 겪었으며, 평균 손실률이 최대 65%에 달했다.
실패 분석: 온톨로지 변환은 베이스라인 모델의 실패를 유의미하게 보완하지 못했다. 대부분의 접근 방식은 베이스라인 모델이 실패한 사례에서 9~36%의 정확도만을 달성했는데, 이는 해당 방법들이 이전에 접근 불가능했던 정보를 가용하게 만드는 것이 아니라, 기존의 접근 가능한 콘텐츠를 재구성할 뿐임을 나타낸다.

의의 및 주장
본 논문은 두 가지 주요 기여를 주장한다:

평가 프레임워크: 고유한 구조적 지표를 넘어, 주어진 모델에 의해 추출 가능한 정보의 상대적 보존량을 정량화함으로써 온톨로지 학습에서의 의미론적 보존을 측정하는 도메인 불가지론적 방법론을 제시한다.
변동성에 대한 실증적 증거: 법률 온톨로지 학습에서의 의미론적 손실이 균일하지 않으며, 모델-방법 쌍에 따라 극적으로 달라짐을 입증한다.

저자들은 의미론적 손실이 추상화 과정에 내재된 것으로 보인다고 주장한다. 즉, 정밀한 법률 언어(예: 특정 확률적 기준)를 일반적인 온톨로지 개념으로 변환하는 것은 결정적인 법률적 구분을 돌이킬 수 없이 소멸시키는 결과를 초래한다. 결론적으로, 구조적 정확성이 다운스트림 유용성을 보장하지는 않는다. 따라서 "원 사이즈(one-size-fits-all)" 접근 방식을 추구하기보다, 특정 법률 추론 과업에 최적화된 모델-방법 구성을 식별하는 데 집중해야 한다. 이러한 결과는 실무자들이 법률 지식 시스템에 온톨로지 변환을 배포하기 전에 반드시 의미론적 보존을 경험적으로 검증해야 함을 시사한다.

유사한 논문