Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
本論文は、文脈が注入された法的事例を用いて小規模なバイリンガル言語モデルをファインチューニングすることが、検索されたバングラデシュの法定条項を正しく適用し、言語の一貫性を維持する能力を大幅に向上させることを実証しているが、これらの利点はモデルのサイズによって異なり、大規模なモデルに一様に恩恵をもたらすわけではない。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピューターが、図書館にあるほぼすべての本を読み終えた、信じられないほど速くて非常に賢い学生であるような世界を想像してみてください。これらの学生は「大規模言語モデル」と呼ばれています。彼らはチャットや物語の執筆、パズルを解くことが得意ですが、厄介な癖があります。時として、作り話をしたり、プレイしているゲームの特定のルールを忘れてしまったりするのです。人工知能の分野において、研究者たちは、これらのデジタルな学生に、推測をやめて正確にルールに従う方法を教えようと絶えず試みています。そのための人気のある方法の一つが「リトリーバル（検索）」です。これは、学生がテストを受ける直前に、教科書の特定のページを手渡し、「これを読んで、その情報を使って正解を出してほしい」と期待するようなものです。しかし、ここで大きな疑問が生じます。もし、より能力の低い小さな学生にその教科書のページを手渡したとしたら、彼らは本当にそれを読み、それを使うのでしょうか？ それとも、単に無視して推測を続けるのでしょうか？ これはバングラデシュの研究者たちが解決しようとしているパズルであり、特に、現地の法制度が英語とベンガル語の両方で書かれた特定の法律に依存しており、答えを間違えることが深刻な現実世界の結末を招きかねないため、重要な問題なのです。
この研究の背後にある研究者たちは、巧妙なアイデアをテストすることに決めました。それは、テストの時に本が開いた状態で目の前にあることを期待するのではなく、最初から本を開いた状態で彼らを訓練したらどうなるか、というものです。彼らは、2,165個の法的質問と回答からなる特別なトレーニングセットを作成しました。そこでは、すべての質問に、それを解決するために必要な正確な法律が、すぐ隣に添えられていました。次に、彼らはQwen3.5という小さなオープンソースのコンピューターの脳を取り、それに対して3つの異なるサイズを用意しました。つまり、極小の0.8億パラメータ版、中型の2億パラメータ版、そして少し大きめの4億パラメータ版です。彼らは、法律が常にレッスンの一部となっているこの「コンテキスト注入型」の方法を用いて、これらのモデルを訓練しました。
訓練の後、彼らはバングラデシュ弁護士評議会（弁護士を試験する組織）の実際の試験問題を用いて、モデルをテストしました。彼らはモデルに同じ質問を与えましたが、この時は単に推測させるだけでなく、モデルが提供された情報を実際に使えるかどうかを確認するために、2つの異なる検索手法（BM25とFAISS）を用いて関連する法律も与えてみました。結果は、大きな成功と驚くべき混乱が入り混じったものでした。最も小さなモデル（0.8B）にとって、この訓練は魔法のように機能しました。訓練前は、法律が提供されてもほとんど正解できず、100問中わずか2問しか正解できませんでした。訓練後、それは100問中34問へと跳ね上がりました。中型のモデル（2B）も大幅に改善し、与えられた法律を実際に読むことを学習したことを示しました。
しかし、物語は最大のモデル（4B）では一変しました。このモデルは、正しい言語で回答することについてはわずかに改善しましたが、法律が提供された際の英語での回答については、実際には悪化していました。これは、このサイズにおいては、訓練が助けになるどころか、混乱を招いてしまった可能性を示唆しています。また、この訓練の大きな勝利は、ある初歩的なミスを修正したことでした。訓練前、ベンガル語で質問された際、モデルはしばしば言語を無視して、44%から53%の割合で英語で回答していました。訓練後、このミスはほぼ消失し、1%未満にまで減少しました。この研究は、小さなモデルにとっては、与えられた法律を使うように教えることがゲームチェンジャーとなる一方で、大きなモデルにとっては必ずしも確実な解決策ではなく、単に正しい情報を持っているだけでは不十分であり、モデルがいかにその情報を使う方法を知っているかが重要であることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。