Retrieval-Augmented Generation for Taxpayer Advisory in an LMIC Setting: A Proof-of-Concept Evaluation of Statutory Legal Retrieval
本研究は、低中所得国における納税者向けアドバイザリーのための検索拡張生成フレームワークの概念実証的評価を提示するものであり、国内所得税法の意味的検索が、グラウンデッドな言語モデルのプロンプティングを支援するための法定規定の特定において高い精度を達成できることを実証すると同時に、導入前には生成の質および法的遵守に関するさらなる検証が必要であることを強調している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
世界の多くの地域において、個人や企業がどのように税金を支払うかを規定する規則を理解することは、困難な作業です。法律はしばしば難解で専門的な言葉で書かれており、独自の状況に適用される特定の規則を見つけ出すことは、まるで干し草の山の中から一本の針を探すような感覚さえあります。この複雑さを乗り越えるために、税務当局は、質問に答えるように設計された人工知能システムを含むデジタルツールを活用し始めています。しかし、大きな課題が残っています。これらのコンピュータプログラムは膨大な量の一般的なデータで学習されているため、自信満々な口調でありながら、誤った情報や作り話を提供してしまうことがあり、これは「ハルシネーション（幻覚）」として知られる問題です。これを解決するために、研究者たちは「検索拡張生成（Retrieval-Augmented Generation）」と呼ばれる手法を開発しました。このアプローチは、まずコンピュータに信頼できる公式の文書ライブラリを検索させ、正確な法律の条文を見つけさせた上で、その見つかった内容に厳密に基づいた回答を書かせるという仕組みです。これにより、回答が推測ではなく、現実に根ざしたものになることが保証されます。専門家にとっての問いは、この手法が、税制の近代化が進んでいるものの、専門的な法律の専門家へのアクセスが限られているリソースの少ない国々において、十分に有用なほどうまく機能するかどうかという点です。
ウガンダの大学の研究チームは、ウガンダ所得税法に焦点を当てて、このアイデアをテストすることに乗り出しました。彼らの目的は、法的助言を与えることができる完成した製品を作ることではなく、コアとなる技術が、質問を受けた際に税法の正しい箇所を正確に特定できるかどうかを確認するための、動作するプロトタイプを作成することでした。彼らはまず、国の税法の全文を取り出し、198個の明確で管理可能な情報の断片に分割することから始めました。各断片には、特定の部や節番号といった法律内の位置を示すタグが付与され、その後、単なるキーワードの一致ではなく、言葉の意味をコンピュータが理解できるデジタル形式に変換されました。このプロセスにより、コンピュータが質問の背後にある概念を探すことができる、検索可能なデジタルライブラリが作成されました。
このシステムがどの程度うまく機能するかをテストするために、研究者たちは、控除や特定の税率に関する問い合わせなど、納税者が尋ねるであろう900通りの異なる質問を作成しました。各質問に対して、彼らはどの条文に正解が含まれているかを正確に把握していました。次に、彼らはコンピュータシステムに対し、各質問に対して最も関連性の高い3つの条文を見つけるよう指示しました。結果は、システムがその主要な任務において非常に効果的であることを示しました。単一のベストマッチを見つけるよう求められた場合、システムの成功率は72パーセントでした。より重要なことに、提示された上位3つの結果の中に、正解が含まれていた割合は86.78パーセントに達しました。これは、コンピュータが必ずしも絶対的な最良の答えを最初の選択肢として選ぶわけではないものの、提示した最初の数個の選択肢の中に、ほぼ常に正しい情報を含めていたことを示唆しています。
研究者たちは、システムがトップの座を逃した場合、それは誤った回答が正解と全く無関係であったからではなく、正解と意味が非常に似通っていたことが原因であることが多いと指摘しました。これは、システムが概念をよく理解しているものの、2つの非常に似た法的規定のうち、どちらが最も精密に適合するかを判断することに苦慮する場合があることを示しています。この研究は、複雑な法的文書を機械が読み取れる形式に変換し、それを用いて高い精度で特定の情報を検索することが可能であることを実証しました。しかし、チームは、これはあくまで検索メカニズムのテストであることを明確にするよう注意を払いました。彼らは、コンピュータが生成した最終的な文章が、法的に完璧であるか、安全に使用できるか、あるいは実在の人々にとって理解しやすいものであるかどうかについては、テストしていないとしています。
この研究は、発展途上国の税務当局が、あらゆる問い合わせに対して膨大な数の法律専門家を雇うことなく、市民に対してより良く、よりアクセシブルな情報を提供するための潜在的な道筋を提示しているという点で重要です。この研究は、比較的規模が小さく、よく整理された法律のコレクションであっても、情報を探すための強力なツールへと変貌させることができることを示唆しています。それでもなお、著者らは、これは始まりに過ぎないと強調しています。このようなシステムが、納税者を導くための実用的な公共サービスとして使用される前には、実在の人々からの実際の質問を用いてテストし、アドバイスが正しいことを確認するために法律の専門家によるチェックを行い、さらに複数の言語や異なる種類の税法に対応させる必要があります。現在の結果は、その技術的な実現可能性を示していますが、その実現可能性を信頼できる公共サービスへと変えるには、安全性、正確性、そして信頼性を確保するためのさらなる取り組みが必要となります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。