Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

技術要約：学習か、検索か、あるいはその両方か？ オンタリオ州住宅賃貸借法（RTA）における正確な条文引用のための4つの手法による直接比較

問題の定義
本論文は、セルフ・レプレゼンテーション（本人訴訟）を行う店借人、家主、およびヘルプデスクのスタッフに対し、オンタリオ州の「2006年住宅賃貸借法（RTA）」およびその主要な規則内の正しい規定へと導くという特定のタスクに取り組んでいる。目的は、流暢な法的助言を生成することではなく、自然言語による質問に対して、正確な引用（法、条、および項）を提供することである。オペレーターが提示した核心的な研究課題は経験的なものである：ファインチューニング（SFT）だけでこのタスクには十分なのか、それともハイブリッドな検索拡張生成（RAG）アプローチが必要なのか？ 本研究は、ハルシネーション（存在しない規定の引用）を最小限に抑えつつ、完全一致の引用精度を最大化することを目的としている。

方法論
著者らは、ベースモデルとしてQwen2.5-7B-Instructを用い、4つの手法によるヘッド・トゥ・ヘッド（直接比較）評価を実施した。この研究では、当該管轄区域における「質問と引用」の公開データセットが存在しないため、RTAおよびO. Reg. 516/06から派生させたカスタムデータセットを利用した。

1. データ構築:

   • 学習データ: 法令の条文をパラフレーズして生成された、2,148組の合成的な「質問と引用」のペア。データはリーク（漏洩）を防ぐため、セクションやパートごとにグループを意識して分割されており、学習セットに1,473組、合成テストセットに345組、未学習セクションのスライスに330組が割り当てられた。
   • 評価セット: テナント法関連サイトから抽出された、RTAのセクションを明示的に引用している実世界の質問27件。このセットは「人間による検証待ち」の状態である。
   • コーパス: RTAおよび規則を358の規定にパースし、各規定を単一の構造認識型RAGチャンクとした。このインベントリは、ハルシネーション・チェックのための決定論的なホワイトリストとしても機能する。

2. 実験的アーム（手法）:

   • ベース（Zero-Shot）: ファインチューニングも検索も行わないインストラクト・モデル。
   • SFTのみ: 合成ペアを用いたLoRA（Rank 32, $\alpha=64$）による教師ありファインチューニング。検索は行わない。
   • RAGのみ: ハイブリッドBM25 + bge-smallリトリーバーを用いて、検索されたコンテキストからのみ引用するようにプロンプトを与えられたベースモデル。 「コンテキスト内からの引用」というガードレールが、存在確認のためのハードなチェックとして機能する。
   • SFT+RAGハイブリッド: 検索された候補の中から正しい引用を選択するようにプロンプトを与えられた、LoRAファインチューニング済みのモデル。

3. アブレーション解析と変数:

   • 検索深度 ($k$): $k=5$ および $k=10$ でテスト。
   • 検索の強度: 安価な bge-small ハイブリッドと、より重厚な bge-large + クロスエンコーダー・リランカーを用いたパイプラインを比較。
   • 学習スケール: 改良・拡大された学習データセット（2,645ペア）をテスト。

4. 指標:

   • 引用完全一致（Exact-Match）: 法、条、および項の一致を要求する。セクションのみの一致は部分点（0.5）とする。
   • ハルシネーション率: 固定されたインベントリに対する決定論的なチェック。インベントリにない引用はすべてハルシネーションとみなす。
   • F1スコア: 予測された引用セットと正解の引用セット間で算出。

主な結果
研究結果は、27項目の実世界評価セットに基づく（単一実行の点推定であり、サンプルサイズ $n$ が小さいため暫定的なものである）。

• ベースモデル: 完全一致（exact-match）は0.00であり、ハルシネーション率は81%に達した。完全に失敗している。
• SFTのみ: 引用形式は学習したが、特定のセクション番号の特定に苦戦し、完全一致は0.148、ハルシネーション率は14.8%に減少した。正確なセクション番号を効果的に記憶できていない。
• RAGのみ: 不可欠であることが証明された。$k=5$ において完全一致0.44を達成し、存在確認ガードレールにより、ハルシネーションを0.00に抑え込んだ。
• SFT+RAGハイブリッド: $k=10$ において、最高スコアである完全一致0.481（F1 0.574）を達成し、ハルシネーションは0.00であった。
  • 「SFT×k」効果: 検索深度（$k$）を上げると、ゼロショットRAGモデルの性能は低下した（$k=5$ で0.44から $k=10$ で0.37へ低下）。これは、おそらくディストラクター（妨害要素）によるものである。対照的に、SFTモデルは $k$ の増加とともに改善した（$k=5$ で0.333から $k=10$ で0.481へ）。これは、SFTがノイズの多い、より再現率の高い候補セットからの堅牢な選択を学習させていることを示唆している。
• 効率に関する知見:
  • 安価な bge-small リトリーバーを、より重い bge-large + クロスエンコーダー・リランカーに置き換えても、性能向上は見られなかった（RAGのみ、ハイブリッド共に0.37）。
  • 学習データサイズの増加も、測定可能な利得をもたらさなかった（0.444 対 0.481）。

意義と主張
本論文は、法定引用の「学習か、検索か」という議論に対し、測定に基づいた経験的な回答を提供している：

1. 検索は不可欠である: ファインチューニング単独では正確な法定引用には不十分であり、モデルを接地させ、ハルシネーションを排除するためには検索が必要である。
2. ハイブリッドの優位性（条件的）: SFT+RAGハイブリッドが最も優れた性能を示した。これは主に、SFTがゼロショットRAGモデルを混乱させる「ノイズ」の多い大きな候補セットに対して、モデルをより堅牢にするためである。
3. 複雑さよりも効率性: RTAのような短い法令コーパスにおいては、高価で専門的な検索モデル（大型のエンベッダーやリランカー）や大規模な学習データセットは、軽量な bge-small ハイブリッドや標準的な合成データと比較して、測定可能な改善をもたらさない。
4. 限界と目標: システムは4つの成功ゲートのうち3つを満たしている。すなわち、ハルシネーションをゼロにし、ベースモデルに対する有意なリフトを提供し、オペレーターの問いに答えている。しかし、目標とする0.70の完全一致には到達できず、0.481に留まった。著者らはこの差について、検索の再現率の天井（約0.89）、項レベルの難易度、および評価セットの小ささに起因すると考えている。

結論
著者らは、作成されたアーティファクトはハルシネーションをゼロにし、ベースラインを超えるリフトを実現したものの、27項目のセットにおける0.481という完全一致スコアは暫定的なものであると結論付けている。検索を伴う手法間の微細な差（例：0.481 対 0.44）は、統計的なノイズの範囲内である。主要な貢献は、安価なハイブリッドSFT+RAGアプローチがこのタスクにおいて十分であり、純粋なファインチューニングやより複雑な検索パイプラインよりも優れた性能を発揮することを示した点にある。ただし、より高い精度目標を達成するためには、さらなる作業が必要である。