Structured Legal Document Generation in India: A Model-Agnostic Wrapper Approach with VidhikDastaavej

이 논문은 인도 법률 문서 생성의 데이터 부족과 복잡성 문제를 해결하기 위해 인도 로펌과 협력하여 구축한 대규모 익명화 데이터셋 'VidhikDastaavej'와 다양한 LLM 에 적용 가능한 2 단계 생성 프레임워크 'MAW'를 제안하여 사실적 정확성과 일관성을 크게 향상시킨 연구 결과를 제시합니다.

핵심

1. 문제 상황: "AI 가 변호사가 되려다 망친다?"

인도에서는 AI 가 판결문을 요약하거나 사건을 검색하는 데는 꽤 잘합니다. 하지만 새로운 법률 계약서나 위임장 같은 '개인 법률 문서'를 직접 작성하는 것은 아직 어렵습니다.

• 왜 어려울까요?
  • 비밀 유지: 개인 계약서들은 대부분 비밀이라 공개된 데이터가 거의 없습니다. (도서관에 책이 없어서 공부를 못 하는 상황)
  • 구조의 복잡성: 법률 문서는 특정 순서와 형식이 매우 중요합니다. AI 가 막상 글을 쓰려고 하면, 중요한 조항을 빼먹거나 엉뚱한 내용을 지어내는 (할루시네이션) 경우가 많습니다.
  • 모델의 변화: AI 모델이 너무 빨리 변해서, 한 번 훈련시킨 모델은 금방 구식이 됩니다.

2. 해결책 1: "비밀 도서관" (VidhikDastaavej 데이터셋)

연구팀은 인도 법률 사무소와 협력하여 133 가지 종류의 11,000 개 이상의 실제 법률 문서를 모았습니다.

• 비유: 마치 비밀리에 보관된 거대한 법률 도서관을 만든 것과 같습니다.
• 특징: 모든 문서에서 사람 이름, 회사 이름 등 개인 정보는 [사람], [회사] 처럼 가려서 (익명화) 처리했습니다. 그래서 AI 가 학습할 때는 실제 내용을 배우되, 개인의 비밀은 지킬 수 있습니다.
• 이름: 'VidhikDastaavej'는 힌디어로 '법 (Vidhik)'과 '문서 (Dastaavej)'를 합친 말입니다.

3. 해결책 2: "현명한 감독관" (MAW, 모델-무관 래퍼)

가장 중요한 부분은 AI 모델 자체를 바꿀 필요 없이, 작업 방식을 바꾸는 것입니다. 연구팀은 MAW(Model-Agnostic Wrapper) 라는 시스템을 개발했습니다.

• 기존 방식 (SFT): AI 에게 "계약서 써봐"라고 하면, AI 가 머릿속으로 모든 걸 기억해서 한 번에 작성합니다. (초보 작가가 두서없이 글을 쓰는 상황)

• 새로운 방식 (MAW): AI 에게 두 단계로 나누어 지시합니다.

  1. 목차 먼저 짜기: "이 계약서에 어떤 장 (Chapter) 들이 필요할까?"라고 먼저 물어보고 목차를 만듭니다. (사용자가 이 목차를 수정할 수도 있습니다.)
  2. 조각조각 작성하기: 이제 목차에 맞춰 한 장씩 글을 씁니다. 이때, 이전 장의 내용을 기억하고 (검색해서) 다음 장에 반영하도록 돕습니다.

• 비유:

  • 기존: 한 명의 초보 작가에게 "100 페이지짜리 소설 써줘"라고 시키면, 중간에 줄거리가 꼬이거나 인물이 사라집니다.
  • MAW: 经验丰富的 편집자 (래퍼) 가 먼저 "제 1 장은 배경, 제 2 장은 등장인물, 제 3 장은 사건..."이라는 목차를 먼저 짭니다. 그리고 작가는 이 목차대로 한 장씩 쓰되, 편집자가 "아까 제 1 장에서 말한 인물이니까 제 3 장에도 나오게 해줘"라고 참고 자료 (검색) 를 챙겨줍니다.
  • 결과: 어떤 AI 모델 (오픈소스든 유료 모델이든) 을 쓰더라도, 이 '편집자 시스템'만 붙이면 훨씬 논리적이고 정확한 문서가 나옵니다.

4. 검증: "실제 변호사들이 평가했다"

단순히 AI 점수만 본 게 아니라, 실제 인도 변호사 3 명이 생성된 문서를 직접 평가했습니다.

• 평가 기준:
  1. 사실 정확도: 지시사항을 잘 따랐는지, 엉뚱한 법 조항을 지어내지 않았는지.
  2. 완전성: 빠진 조항이 없는지.
• 결과:
  • 기존에 AI 를 훈련시킨 (SFT) 방법보다는 MAW 방식이 훨씬 점수가 높았습니다.
  • 심지어 비싼 유료 AI(GPT-4o) 보다도 오픈소스 모델을 MAW 로 감싸서 쓴 결과가 변호사들의 평가에서 더 좋거나 비슷했습니다.
  • 특히 할루시네이션 (거짓 정보) 이 크게 줄었습니다.

5. 핵심 요약 및 의의

이 연구는 다음과 같은 세 가지 큰 업적을 남겼습니다.

1. 데이터: 인도 법률 문서 작성을 위한 최초의 대규모 공개 데이터셋을 만들었습니다.
2. 방법론: 특정 AI 모델에 의존하지 않고, 목차 계획 + 검색 기반 작성이라는 '현명한 작업 방식'을 제안했습니다.
3. 실용성: 변호사들이 직접 수정하고 확인할 수 있는 인터페이스를 만들어, AI 가法律文书를 완전히 대체하는 게 아니라 보조 도구로 쓰이게 했습니다.

한 줄 요약:

"AI 가 법률 문서를 잘 쓰게 하려면, 더 똑똑한 AI 를 만드는 것보다 작업 순서를 잘 짜주고 (목차 먼저), 필요한 자료를 찾아주는 (검색) 시스템을 붙이는 것이 훨씬 효과적이다."

이 기술은 앞으로 법률 비용이 많이 드는 문제를 해결하고, 일반인도 더 쉽게 양질의 법률 문서를 얻을 수 있게 하는 발판이 될 것입니다.

기술 요약

논문 개요

이 연구는 인도 법률 환경에서 비공개 법률 문서 (Private Legal Documents) 의 구조화된 자동 생성을 위한 새로운 데이터셋과 방법론을 제시합니다. 기존에 공개된 법률 데이터가 주로 법원 판결문 (Judgments) 에 집중되어 있어, 계약서나 위임장 등 실제 법률 실무에서 사용되는 비공개 문서 생성 연구가 부족했던 점을 해결하기 위해 VidhikDastaavej 데이터셋과 모델-중립 래퍼 (Model-Agnostic Wrapper, MAW) 프레임워크를 제안했습니다.

1. 문제 정의 (Problem Statement)

• 데이터 부족: 인도 법률 분야에서 비공개 문서 (계약서, 위임장 등) 는 기밀성으로 인해 공개 데이터셋이 거의 존재하지 않습니다.
• 모델의 한계: 대형 언어 모델 (LLM) 은 판결 예측이나 요약에는 유용하지만, 긴 분량의 법률 문서를 생성할 때 논리적 일관성 유지, 사실성 (Factuality) 확보, 그리고 복잡한 문서 구조 준수에 어려움을 겪습니다.
• 파인튜닝의 비효율성: 특정 모델에 대한 감독 미세 조정 (SFT) 은 새로운 모델이 빠르게 등장하는 환경에서 비실용적이며, 리소스가 부족한 사용자에게는 재학습 비용이 부담됩니다. 또한, SFT 는 특정 데이터 패턴에 과적합되어 일반화 성능이 떨어질 수 있습니다.

2. 주요 기여 (Key Contributions)

가. VidhikDastaavej 데이터셋

• 규모와 다양성: 인도 법률 사무소와 협력하여 수집한 11,825 개의 비공개 법률 문서로 구성된 대규모 익명화 데이터셋입니다.
• 범위: 133 가지의 다양한 법률 문서 카테고리 (라이선스 계약, 해고 계약, 스톡 옵션 계약 등) 를 포함하며, 기존 데이터셋이 주로 판결문에 집중했던 것과 달리 실제 법률 실무의 다양성을 반영합니다.
• 처리: 개인정보 보호를 위해 NER(명명 개체 인식) 기반의 자동 익명화 및 전문가 검수를 거쳐 [PERSON], [ORG] 등의 플레이스홀더로 대체되었습니다.

나. 모델-중립 래퍼 (Model-Agnostic Wrapper, MAW)

• 개념: 특정 LLM 에 종속되지 않고, 오픈소스 및 상용 모델을 모두 호환할 수 있는 2 단계 생성 프레임워크입니다.
• 작동 원리:
  1. 섹션 제목 생성 (Planning): 사용자 입력을 바탕으로 문서의 전체 구조 (섹션 제목 목록) 를 먼저 생성하고, 사용자가 이를 수정/검토할 수 있게 합니다.
  2. 섹션 내용 생성 (Generation): 각 섹션 제목에 대해 내용을 생성합니다. 이때 검색 기반 (Retrieval-based) 접근법을 사용하여, 이전에 생성된 섹션의 요약 정보를 벡터 데이터베이스 (ChromaDB) 에서 검색하여 현재 생성 단계의 컨텍스트로 제공합니다.
• 장점: 할루시네이션 (Hallucination) 을 줄이고, 문서 전체의 논리적 흐름과 사실적 정확성을 보장하며, 어떤 베이스 모델이든 적용 가능합니다.

다. 전문가 기반 평가 및 HITL 시스템

• 평가 지표: 단순한 텍스트 유사도 (BLEU, ROUGE) 를 넘어, 법률 전문가 3 명이 '사실적 정확성 (Factual Accuracy)'과 '완전성 (Completeness)'을 1~10 리커트 척도로 평가했습니다.
• 인터랙티브 시스템: 사용자가 문서 유형을 선택하고 섹션을 수정하며 구조화된 초안을 생성할 수 있는 Human-in-the-Loop (HITL) 시스템을 구현했습니다.

3. 실험 및 결과 (Results and Analysis)

실험 설정

• 비교 모델: Qwen3-14B, LLaMA-3.1-8B-Instruct, Gemma-3-12B-It 등 오픈소스 모델과 GPT-4o(상용 모델) 를 비교했습니다.
• 조건: 각 오픈소스 모델에 대해 (1) 기본 모델, (2) SFT(감독 미세 조정) 적용 모델, (3) MAW 래퍼 적용 모델을 실험했습니다.

주요 결과

1. SFT 의 한계: 오히려 SFT 를 적용한 모델들은 성능이 저하되는 경우가 많았습니다. 데이터의 불균형과 긴 문서 생성 시 구조적 일관성을 유지하지 못해 과적합이 발생했기 때문입니다.
2. MAW 의 우월성:
   • 전문가 평가: MAW 를 적용한 모델 (예: Gemma-3-12B + Wrapper) 은 SFT 모델보다 압도적으로 높은 점수를 기록했습니다.
     • 사실적 정확성: SFT 모델 (1.00) vs Wrapper 모델 (8.82)
     • 완전성: SFT 모델 (1.00) vs Wrapper 모델 (7.82)
   • GPT-4o 대비: 오픈소스 모델에 MAW 를 적용한 결과가 GPT-4o 와 유사하거나 일부 지표에서 더 우수한 성능을 보였습니다.
3. 할루시네이션 감소: 검색 기반 컨텍스트 제공으로 인해 잘못된 법률 조항이나 사실 관계를 생성하는 할루시네이션이 크게 감소했습니다.
4. 인터-어노테이터 일치 (IAA): MAW 를 사용한 문서들은 전문가들 간의 평가 일치도 (Fleiss' κ, ICC 등) 가 매우 높게 나타나, 생성된 문서의 품질이 일관되고 객관적으로 평가 가능함을 입증했습니다.

4. 의의 및 결론 (Significance and Conclusion)

• 법률 AI 의 새로운 벤치마크: 인도 법률 분야에서 비공개 문서 생성을 위한 최초의 대규모 데이터셋과 평가 체계를 마련했습니다.
• 실용적인 솔루션: 고비용의 파인튜닝 없이도 다양한 LLM 을 활용하여 고품질의 법률 초안을 생성할 수 있는 모델-중립적 접근법을 제시했습니다. 이는 리소스가 제한된 법률 실무자나 개발자에게 매우 유용합니다.
• 구조적 생성의 중요성: 긴 법률 문서를 한 번에 생성하는 것보다, 계획 (구조화) → 검색 → 생성의 단계를 거치는 것이 사실성과 일관성을 확보하는 데 훨씬 효과적임을 입증했습니다.
• 미래 전망: 이 연구는 AI 기반 법률 문서 작성의 자동화를 현실화하는 기반을 마련했으며, 향후 더 많은 데이터와 정교한 평가 프로토콜을 통해 실제 법률 업무에 통합될 수 있는 가능성을 열었습니다.

이 논문은 단순히 모델 성능을 높이는 것을 넘어, 데이터의 구축, 방법론의 혁신, 그리고 전문가 중심의 엄격한 평가를 결합하여 법률 AI 의 신뢰성과 실용성을 크게 향상시켰다는 점에서 의의가 큽니다.