Chunking German Legal Code

技術的サマリー：ドイツ民法典のチャンキング

問題定義
法サービスにおける大規模言語モデル（LLM）の採用が増加するにつれ、ハルシネーションを軽減するための堅牢な検索拡張生成（RAG）システムが必要とされています。しかし、効果的な検索は「中間の喪失（lost in the middle）」現象とコンテキストウィンドウの制限によって阻害されており、これにより検索される情報は小さく、極めて関連性の高いものでなければなりません。ドイツ民法典（Bürgerliches Gesetzbuch, BGB）に特化した法分野における重要な課題は、標準的なチャンキング戦略が、法文の意図的な階層構造を切断してしまうことです。法的規範は、条件と帰結が密接に結合した特定の単位（条、項、文）に組織化されています。従来の固定サイズウィンドウや意味的集約は、これらの論理的境界を破るリスクがあり、正確な法的質問応答（QA）に不可欠な文脈の喪失を招きます。さらに、高度なチャンキング手法は、インデックス構築時間、クエリレイテンシ、ストレージ要件の面で、著しい計算オーバーヘッドをもたらします。

手法
著者は、2,455 の階層的な条に正規化された BGB コーパスにおいて、多様なセグメンテーション戦略を包括的に評価しました。評価には、525 の一般市民向け質問と条レベルのゴールドラベルを含む法的 QA データセット（gerlayqa-bgb-paraphrased）が用いられました。本研究では、以下のアプローチを比較しました：

1. 構造保持ベースライン:
   • 固定サイズウィンドウ: 様々なトークンサイズの重なり合うウィンドウ（例：16/4 から 256/64）。
   • 基本単位: 条（§）、項（Absätze）、文（Sätze）、および命題（独立した法的記述）といった、自然な法的境界でテキストを分割。
2. 高度/LLM 集約的戦略:
   • Lumber 型チャンキング: LLM を用いて意味的境界を動的に特定し、複数の法的条にまたがる可能性のある可変長のチャンクを作成。
   • 文脈的チャンキング: 埋め込み前に、基本単位に LLM 生成の文脈プレフィックス（階層と全文）を付加。
   • 意味的クラスタリング: KMeans を用いて意味的に類似した基本単位をグループ化し、埋め込みを単一のクラスタベクトルにプール。
   • RAPTOR: 階層的検索手法であり、チャンクを再帰的にクラスタリングして要約し、ツリー構造を構築。クエリを要約ノードから葉ノードへルーティング。

評価指標
本研究は、以下の 4 つの主要な次元を測定しました：

• Recall@10: ゴールドラベルに一致する正しい上位 10 件の異なる条を検索する能力。
• クエリレイテンシ: オンライン検索および集約時間（初期埋め込みを除く）。
• インデックス構築時間: インデックス構築のためのオフライン計算コスト。
• ストレージ要件: インデックスとメタデータの永続的なメモリフットプリント。

主要な結果

• 検索性能: 固有の法的構造と整合する戦略が、最高のリコールを達成しました。項レベルの検索が最も良好（Recall@10 ≈ 0.47）で、次いで条レベルの検索（≈ 0.46）が続きました。文レベルと命題レベルの検索は次のティアを形成しました。対照的に、法的構造を無視する手法は性能が劣りました。Lumber 型および固定サイズのチャンキングは最低のリコールを示し、最も粗い固定サイズ設定（256/64）が最悪の性能でした。意味的クラスタリングおよびRAPTORは中間ティアに位置し、一般的に構造ベースラインを下回りました。
• レイテンシ: RAPTORは、検索空間の階層的プルーニングにより、最も高速な手法でした（約 2.0–2.3 ms）。意味的クラスタリングおよびLumberは、検索後の大規模な統合により、最も遅い手法でした（13–16 ms）。フラットなベースラインの中では、レイテンシは条 ≈ 命題 < 文 < 項の順で増加しました。これは、より細かい単位がより少ない親条にマッピングされ、集約オーバーヘッドが減少するためです。
• 構築時間: 決定論的なフラットインデックス（固定サイズ、条）が最速（1 分未満）でした。RAPTORおよびLumberは、要約と境界検出のための再帰的 LLM 呼び出しにより、著しく多くの時間を要しました（3–11 時間）。文脈的チャンキングも、LLM 前処理により高いコスト（38–51 分）を要しました。
• ストレージ: 固定サイズ（256/64）および意味的クラスタリングは、ベクトル削減により最もコンパクトでした（約 15 MB）。フラットなベースラインでは、粒度が増加するにつれてストレージは単調に増加しました（条 < 項 < 文 < 命題）。RAPTORは、葉ノードと要約ノードの両方を保存するため、フラットなベースラインよりも多くのスペースを必要としました。

意義と主張
本論文は、意味的強化と運用効率の間の重要なトレードオフを実証しています。著者は、BGB のような成文法文書においては、複雑な LLM 駆動型手法を通じてテキストを意味的に強化したり再編成したりするよりも、ドメイン固有の構造を保持する方が効果的であると主張しています。

• 構造的整合性: 立法者によって引かれた意図的な境界（条と項）は、条件と帰結を自然にグループ化します。この粒度での検索は、立法者の意図と評価用ゴールドラベルの両方に合致します。一方、主題的類似性（意味的クラスタリング）や予測される一貫性（Lumber）に基づいて規定をプールする手法は、特定の法的区別を曖昧にする傾向があり、リコールを低下させます。
• 効率性対複雑性: より単純で構造を保持する手法は、RAPTOR や Lumber のような LLM 集約的技術と比較して、著しく低い計算コスト（構築時間、レイテンシ、ストレージ）で、同等または優れた検索精度を提供します。
• 限界: 本研究は、結果が BGB と一般市民向けクエリに固有であることを認めています。条間の明示的または暗黙的なリンクである参照解決には言及しておらず、これは将来の改善の潜在的な道筋として残されています。評価は、下流の生成性能ではなく、検索の正確性に焦点を当てています。

結論として、著者は、構造化された法令における法的情報検索においては、コードのネイティブ階層を尊重する「最も単純な」アプローチが、しばしば最も堅牢かつ効率的であると論じており、より複雑な意味的セグメンテーションが常に優れているという仮説に挑戦しています。