Chunking German Legal Code

기술 요약: 독일 법전 (BGB) 청킹

문제 제기
법률 서비스 분야에서 대규모 언어 모델 (LLM) 의 채택이 증가함에 따라 할루시네이션을 완화하기 위한 견고한 검색 증강 생성 (RAG) 시스템이 필수적입니다. 그러나 효과적인 검색은 "중간에서 분실 (lost in the middle)" 현상과 컨텍스트 창 제한에 의해 방해받으며, 이는 검색된 정보가 작고 매우 관련성이 높아야 함을 요구합니다. 독일 민법전 (Bürgerliches Gesetzbuch, BGB) 과 같은 법률 도메인에서의 중요한 과제는 표준 청킹 전략이 종종 법조문의 의도된 계층적 구조를 끊어버린다는 점입니다. 법률 규범은 조건과 결과가 긴밀하게 결합된 특정 단위 (조, 항, 문장) 로 조직되어 있습니다. 전통적인 고정 크기 창이나 의미적 집계는 이러한 논리적 경계를 깨뜨릴 위험이 있어, 정확한 법률 질문 응답 (QA) 에 필수적인 맥락 상실을 초래합니다. 또한, 고급 청킹 방법은 인덱스 구축 시간, 쿼리 지연 시간, 저장 요구 사항 측면에서 상당한 계산 오버헤드를 도입합니다.

방법론
저자들은 2,455 개의 계층적 조로 정규화된 BGB 코퍼스에 대해 광범위한 세그멘테이션 전략을 평가합니다. 평가에는 조 단위 골드 라벨이 포함된 525 개의 일반인 질문을 포함하는 법률 QA 데이터셋 (gerlayqa-bgb-paraphrased) 이 활용됩니다. 본 연구는 다음 접근 방식을 비교합니다:

1. 구조 보존 베이스라인:
   • 고정 크기 창: 다양한 토큰 크기의 오버랩핑 창 (예: 16/4 에서 256/64 까지).
   • 기본 단위: 자연스러운 법률 경계에서 텍스트 분할: 조 (§), 항 (Absätze), 문장 (Sätze), 그리고 명제 (자립적인 법률 진술).
2. 고급/LLM 집약적 전략:
   • Lumber 스타일 청킹: LLM 을 사용하여 의미적 경계를 동적으로 식별하여 여러 법률 조에 걸칠 수 있는 가변 길이 청크를 생성합니다.
   • 문맥 청킹: 임베딩 전에 LLM 이 생성한 문맥 접두사 (계층 및 전체 조 텍스트) 로 기본 단위를 보강합니다.
   • 의미 클러스터링: KMeans 를 사용하여 의미적으로 유사한 기본 단위를 그룹화하고, 임베딩을 단일 클러스터 벡터로 풀링합니다.
   • RAPTOR: 청크를 계층적으로 클러스터링하고 요약하여 트리 구조로 만드는 계층적 검색 방법으로, 요약 노드를 통해 리프 노드로 쿼리를 라우팅합니다.

평가 지표
본 연구는 네 가지 주요 차원을 측정합니다:

• Recall@10: 골드 라벨과 일치하는 올바른 상위 10 개 고유 조를 검색하는 능력.
• 쿼리 지연 시간: 초기 임베딩을 제외한 온라인 검색 및 집계 시간.
• 인덱스 구축 시간: 인덱스를 구축하기 위한 오프라인 계산 비용.
• 저장 요구 사항: 인덱스 및 메타데이터의 영구 메모리 풋프린트.

주요 결과

• 검색 성능: 고유한 법률 구조와 정렬된 전략이 가장 높은 재현율을 달성했습니다. 항 검색이 가장 우수하게 수행되었으며 (Recall@10 ≈ 0.47), 그 다음으로 조 검색 (≈ 0.46) 이 뒤를 이었습니다. 문장과 명제 검색이 다음 티어를 형성했습니다. 반면, 법률 구조를 무시하는 방법은 더 낮은 성능을 보였습니다: Lumber 스타일 및 고정 크기 청킹이 가장 낮은 재현율을 보였으며, 가장 거친 고정 크기 설정 (256/64) 이 가장 나빴습니다. 의미 클러스터링과 RAPTOR는 중간 티어를 차지하여 일반적으로 구조적 베이스라인보다 성능이 낮았습니다.
• 지연 시간: RAPTOR는 검색 공간의 계층적 가지치기로 인해 가장 빠른 방법 (약 2.0–2.3 ms) 이었습니다. 의미 클러스터링과 Lumber는 광범위한 검색 후 통합으로 인해 가장 느렸습니다 (13–16 ms). 평탄한 베이스라인 중에서는 지연 시간이 조 ≈ 명제 < 문장 < 항 순으로 증가했는데, 더 세분화된 단위가 더 적은 고유 부모 조에 매핑되어 집계 오버헤드를 줄이기 때문입니다.
• 구축 시간: 결정론적 평탄 인덱스 (고정 크기, 조) 가 가장 빨랐습니다 (1 분 미만). RAPTOR와 Lumber는 요약 및 경계 감지를 위한 재귀적 LLM 호출로 인해 훨씬 더 많은 시간 (3–11 시간) 이 소요되었습니다. 문맥 청킹 또한 LLM 전처리로 인해 높은 비용 (38–51 분) 을 발생시켰습니다.
• 저장: **고정 크기 (256/64)**와 의미 클러스터링은 벡터 축소로 인해 가장 컴팩트했습니다 (약 15 MB). 평탄한 베이스라인의 경우 세분화가 증가함에 따라 저장 공간이 단조롭게 증가했습니다 (조 < 항 < 문장 < 명제). RAPTOR는 리프 노드와 요약 노드 모두를 저장해야 하므로 평탄 베이스라인보다 더 많은 공간을 필요로 했습니다.

의의 및 주장
본 논문은 의미적 풍부화와 운영 효율성 사이의 중요한 트레이드오프를 보여줍니다. 저자들은 BGB 와 같은 성문법 조문에 대해 복잡한 LLM 기반 방법을 통해 텍스트를 의미적으로 풍부하게 하거나 재구성하는 것보다 도메인별 구조를 보존하는 것이 더 효과적이라고 주장합니다.

• 구조적 무결성: 입법자가 그린 의도된 경계 (조와 항) 는 조건과 결과를 자연스럽게 그룹화합니다. 이 세분화 수준에서의 검색은 입법자의 의도와 평가 골드 라벨 모두와 일치하는 반면, 주제적 유사성 (의미 클러스터링) 이나 예측된 일관성 (Lumber) 을 기반으로 규정을 풀링하는 방법은 특정 법률적 구분을 흐려 재현율을 감소시키는 경향이 있습니다.
• 효율성 대 복잡성: 단순한 구조 보존 방법은 RAPTOR 및 Lumber 와 같은 LLM 집약적 기술에 비해 계산 비용 (구축 시간, 지연 시간, 저장 공간) 을 크게 줄이면서 우수하거나 동등한 검색 정확도를 제공합니다.
• 한계: 본 연구는 결과가 BGB 와 일반인 질문에 특화되어 있음을 인정합니다. 조 간의 명시적 또는 암시적 링크인 교차 참조 해결은 다루지 않았으며, 이는 향후 개선의 잠재적 방안으로 남아 있습니다. 평가는 생성 성능이 아닌 검색 정확도에 초점을 맞추고 있습니다.

결론적으로, 저자들은 구조화된 법령에 대한 법률 정보 검색의 경우, 코드의 고유 계층을 존중하는 "가장 단순한" 접근 방식이 종종 가장 견고하고 효율적이라고 주장하며, 더 복잡한 의미 세그멘테이션이 항상 우월하다는 가정을 도전합니다.