Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

이 논문은 법률 도메인에서 장문 문서 처리 시 발생하는 환각과 신뢰성 문제를 해결하기 위해 메타데이터가 포함된 하이브리드 RAG 파이프라인과 불충분한 맥락에서의 안전 거부를 위한 직접 선호도 최적화 (DPO) 를 결합하여 법률용 LLM 의 성능을 향상시키는 방법을 제안합니다.

핵심

이 논문은 **"법률 분야 인공지능 (LLM) 이 어떻게 하면 더 똑똑하고, 착하며, 실수를 줄일 수 있을까?"**에 대한 해결책을 제시합니다.

법률 문서는 매우 길고 복잡하며, 한 글자라도 틀리면 큰 문제가 생깁니다. 하지만 현재 인공지능은 긴 문서를 읽다가 헷갈려서 **거짓말 (할루시네이션)**을 하거나, 중요한 정보가 없을 때도 억지로 답을 만들어내는 문제가 있습니다.

저자들은 이 문제를 해결하기 위해 두 가지 핵심 전략을 사용했습니다. 마치 훌륭한 도서관 사서와 신중한 변호사를 고용한 것과 같습니다.

---

1. 문제: AI 가 왜 법률 문서에서 망치는가?

법률 문서는 마치 수만 페이지짜리 거대한 레고 성과 같습니다.

• 문제 1 (검색 실패): 비슷한 단어가 너무 많아서, AI 가 "이건 A 문서에 있는 내용인데, B 문서에서 찾아왔다"고 착각합니다. (예: '계약서'라는 단어가 비슷한데, 서로 다른 회사의 계약서를 혼동함)
• 문제 2 (무리한 답변): 정보가 부족한데도 AI 가 "아마도 이런 뜻일 거야"라고 생각을 빙빙 돌려서 거짓말을 합니다.

2. 해결책 1: "메타데이터가 달린 레고" (Metadata-Enriched RAG)

기존의 AI 는 문서를 잘게 쪼개서 (Chunking) 검색합니다. 하지만 그냥 잘게 쪼개면 문맥이 끊깁니다.

• 비유: 도서관에서 책 한 장을 떼어내서 검색하면, 그 장이 어떤 책의 몇 페이지인지, 어떤 주제인지 알 수 없어 헷갈립니다.
• 해결책: 저자들은 잘게 쪼개진 문서 조각마다 **라벨 (메타데이터)**을 붙였습니다.
  • "이 조각은 'A 회사 계약서'의 '3 장'이고, '주주총회' 관련 내용이다"라고 꼬리표를 다는 것입니다.
  • 또한, 바로 앞뒤 4 개의 조각을 묶어서 **"이 부분은 전체적으로 이런 이야기야"**라고 요약문을 덧붙였습니다.
• 효과: 이제 AI 는 검색할 때 단순히 '단어'만 보는 게 아니라, **"어떤 문서의 어떤 부분"**인지 정확히 알 수 있게 되어, 엉뚱한 문서에서 정보를 가져오는 실수를 크게 줄였습니다.

3. 해결책 2: "신중한 변호사 훈련" (Direct Preference Optimization, DPO)

검색이 잘 되어도, AI 가 "정보 없는데도 억지로 답을 만들어내면" 안 됩니다.

• 문제: 기존 AI 는 "모르겠다"고 말하는 것을 두려워해서, 정보가 없어도 억지로 답을 하거나, 반대로 정보가 있는데도 너무 무서워서 "모르겠다"고만 합니다.
• 해결책: 저자들은 AI 를 **선호도 최적화 (DPO)**라는 방법으로 훈련시켰습니다.
  • 상황 A (정보가 충분할 때): "정답을 찾아서 말해라!" (칭찬)
  • 상황 B (정보가 부족할 때): "모르겠다고 솔직히 말해라!" (칭찬)
  • 상황 C (정보가 부족할 때 억지로 답할 때): "아니야, 그건 틀렸어!" (질책)
• 효과: AI 는 이제 "정보가 있으면 정확하게 답하고, 정보가 없으면 과감하게 '모르겠다'고 말하는" 신중한 변호사처럼 변했습니다.

4. 결과: 어떻게 변했을까?

이 두 가지 방법을 합치니 놀라운 변화가 일어났습니다.

1. 검색 정확도 향상: 엉뚱한 문서에서 정보를 가져오는 실수가 크게 줄었습니다. (특히 복잡한 M&A 계약서 같은 문서에서 효과가 뛰어났습니다.)
2. 거짓말 감소: 정보가 없을 때 억지로 답을 만들어내지 않게 되었습니다.
3. 정답률 상승: 정보가 있을 때는 훨씬 더 정확하고 디테일한 답변을 내놓았습니다.

요약

이 연구는 **"AI 에게 법률 문서를 읽게 할 때, 단순히 글자만 잘게 쪼개는 게 아니라 (메타데이터), AI 가 '모를 때는 모른다고 말하는' 용기도 가르쳐야 한다 (DPO)"**는 것을 증명했습니다.

마치 정확한 주소 (메타데이터) 가 적힌 편지를 보내고, 편지를 받은 사람이 모르는 내용은 답장하지 않고 정직하게 알리는 훈련을 시킨 것과 같습니다. 그 결과, 법률 AI 는 훨씬 더 신뢰할 수 있는 파트너가 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

법률 분야에서는 정확도가 생명이나, 현재 대규모 언어 모델 (LLM) 은 긴 법률 문서 처리 시 성능이 저하되며 할루시네이션 (Hallucination, 사실과 다른 정보 생성) 이 빈번하게 발생합니다. 특히 잘못된 조항 인용이나 판례捏造 (fabrication) 은 법률 시스템의 신뢰성을 무너뜨립니다.

기존의 검색 증강 생성 (RAG) 기술도 법률 환경에서는 한계가 있습니다.

• 검색 오류: 법률 문서 집합체 (Corpora) 내의 어휘적 중복성 (lexical redundancy) 으로 인해 검색기가 잘못된 문서의 청크 (chunk) 를 선택하는 문서 수준 검색 불일치 (Document Retrieval Mismatch, DRM) 가 발생합니다.
• 디코딩 오류: 모델이 제공된 문맥이 불충분함에도 불구하고 답변을 생성하거나, 반대로 문맥이 충분함에도 불구하고 과도하게 안전을 취하며 답변을 거부하는 문제가 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 검색 단계와 생성 (디코딩) 단계를 모두 개선하는 이중 접근법을 제안합니다.

A. 메타데이터가 풍부한 하이브리드 RAG (Metadata-Enriched Hybrid RAG)

문서 수준의 검색 정확도를 높이기 위해 다음과 같은 전략을 적용합니다.

1. 재귀적 청킹 (Recursive Chunking): LangChain 의 RecursiveCharacterTextSplitter 를 사용하여 문서를 섹션, 단락, 문장, 문자 단위로 계층적으로 분할합니다. (50 토큰 오버랩 적용)
2. 메타데이터 주입 (Metadata Injection): 단순 텍스트 청크에 다음과 같은 메타데이터를 포함시켜 컨텍스트를 강화합니다.
   • 로컬 윈도우 요약: 4 개의 인접한 청크 그룹에 대해 LLM 을 이용해 생성한 간결한 요약 (150-200 토큰).
   • 문서 세부 정보: 문서명, 관할권 (jurisdiction), 지역 요약 등.
   • 효과: 토큰 공간의 약 20-25% 를 메타데이터에 할당하여 임베딩 생성 및 검색 매칭 시 추가적인 컨텍스트를 제공합니다.
3. 하이브리드 검색 (Dense + Sparse Retrieval):
   • thenlper/gte-large 모델을 사용한 밀집 (Dense) 임베딩과 BM25 기반의 희소 (Sparse) 검색을 결합합니다.
   • 가중치 (Dense: 0.8, Sparse: 0.2) 를 적용하여 법적 인용, 사건명, 법령 참조 등 정확한 용어 매칭이 필요한 경우 BM25 의 강점을 활용합니다.

B. 직접 선호도 최적화 (Direct Preference Optimization, DPO)

문맥이 불충분할 때의 안전한 거절 (Safe Refusal) 을 학습시키기 위해 DPO 를 적용합니다.

• 데이터 구성:
  • Set 1 (정확한 문맥): 문맥이 충분하면 정답을 생성, 불충분하면 "문맥이 부족함"으로 거절하도록 학습.
  • Set 2 (잘못된 문맥): 관련 없는 문맥이 제공되면 무조건 거절하도록 학습.
• 목표:
  • 문맥이 충분할 때는 답변 생성을 선호 (Refusal 감소).
  • 문맥이 불충분할 때는 거절을 선호 (할루시네이션 방지).
• 기존 프롬프트 엔지니어링의 한계 해결: 명시적인 거절 지시문만으로는 모델이 불필요하게 과도하게 거절 (Over-refusal) 하거나, 지시문을 제거하면 불충분한 문맥에서도 답변을 생성하는 문제가 발생했습니다. DPO 를 통해 이 균형을 맞추었습니다.

3. 주요 기여 (Key Contributions)

1. 법률 특화 메타데이터 RAG 아키텍처: 법률 문서의 복잡한 교차 참조 (cross-referencing) 와 구조적 특징을 고려한 메타데이터 주입 전략을 제안하여 검색 정확도를 획기적으로 개선했습니다.
2. 선택적 거절 (Selective Refusal) 메커니즘: DPO 를 통해 모델이 "문맥이 충분할 때는 답변하고, 부족할 때는 거절하는" 행동을 학습시켜, 법률 QA 에서의 할루시네이션과 과도한 보수적 행동을 동시에 해결했습니다.
3. 종단 간 (End-to-End) 평가: 기존 연구가 검색 또는 생성 중 하나에만 집중했던 것과 달리, 검색 (RAG) 과 생성 (LLM) 을 결합한 전체 파이프라인의 성능을 종합적으로 평가했습니다.

4. 실험 결과 (Results)

데이터셋: PrivacyQA, MAUD (M&A 계약), Australian Legal QA.

RAG 성능 (검색 품질)

• DRM (Document Retrieval Mismatch) 감소: 메타데이터 강화 접근법은 잘못된 문서에서 청크를 가져오는 오류를 크게 줄였습니다.
  • MAUD 데이터셋: DRM 이 87% 에서 13% 로 감소 (약 84% 상대적 개선).
  • Australian Legal QA: DRM 이 18.7%p 감소.
• Span Recall (스팬 회수율) 향상: 정답 텍스트의 일부를 정확히 찾아내는 능력이 향상되었습니다.
  • MAUD: 25% 에서 105% 로 급증 (320% 상대적 개선).
  • Australian Legal QA: 34.9%p 향상.

DPO 성능 (거절 및 답변 품질)

• 거절 행동 개선:
  • 정확한 문맥 (Correct Context): 불필요한 거절률이 53.2% (Zero-shot) 에서 1.5% 로 감소하여 모델이 문맥이 있을 때 답변을 할 수 있게 됨.
  • 잘못된 문맥 (Incorrect Context): 불필요한 답변 생성을 막기 위해 거절률이 87.3% 에서 99.3% 로 증가.
• 답변 품질 (BERTScore F1):
  • Zero-shot 기준 0.8526 에서 DPO 적용 후 0.9074 로 통계적으로 유의미하게 향상됨.

종단 간 평가

• 메타데이터 강화 청킹과 DPO 를 결합한 시스템은 베이스라인 대비 F1 점수가 0.8479 → 0.8657 로 향상되었으며, 이는 통계적으로 유의미한 개선입니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 법률 LLM 의 신뢰성 문제를 검색 단계 (Retrieval) 와 생성 단계 (Generation) 에서 동시에 해결할 수 있음을 증명했습니다.

• 정확성: 메타데이터를 활용한 RAG 는 법률 문서의 복잡한 구조를 이해하고 정확한 증거를 찾아내는 능력을 높여 할루시네이션의 근본 원인을 차단합니다.
• 안전성: DPO 는 모델이 문맥이 부족할 때 무리하게 답변을 생성하는 것을 방지하고, 문맥이 충분할 때는 자신 있게 답변하도록 조정하여 법률 서비스의 실용성을 높입니다.
• 확장성: 이 프레임워크는 개인정보 보호, 의료 등 할루시네이션이 치명적인 다른 전문 분야에도 적용 가능한 잠재력을 가집니다.

결론적으로, 이 논문은 소규모 로컬 배포 모델에서도 데이터 프라이버시를 유지하면서 높은 정확도와 안전성을 확보할 수 있는 실용적인 법률 AI 솔루션을 제시합니다.