Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation
本研究は、中小企業の予算策定のためのハイブリッド検索を用いたエージェンティックな検索拡張生成（RAG）システムを提案し、ルーティングベースのエージェンティックなワークフローが、証拠に基づく検証のための検索品質と事実に基づいた接地性の最適なバランスを提供することを比較評価を通じて実証するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
組織管理という、静かでしばしば退屈な世界において、予算は単なる数字の羅列ではありません。それは、組織が何をしようとしているかという約束であり、実際に何に費やしたかの記録でもあります。中小企業にとって、この約束を守るためには、提案されたすべてのコストを、公式の規則、過去の支出習慣、そして市場の実態と照らし合わせて厳密に検証するプロセスが必要です。予算検証として知られるこの作業は、必要な情報が散在しているため、非常に困難です。マネージャーは、特定の品目の価格に関する政府の公式規制、過去のプロジェクトコストのスプレッドシート、そしてなぜ特定の支出が正当化されるのかを説明する記述式のメモを、相互に参照しなければならない場合があります。これらの文書は異なる形式で存在しています。あるものは硬直した数値の表であり、またあるものは例外や条件に満ちた流動的な文章です。人間がこのデータの迷路を探索して予算の妥当性を証明しようとすると、そのプロセスは遅く、エラーが起きやすく、しばしば証拠の欠落を招きます。
これを解決するために、研究者たちは「検索拡張生成（Retrieval-Augmented Generation）」と呼ばれる一種の人工知能に注目しました。これは、単に学習内容に基づいて答えを推測するのではなく、発言する前に、まず図書館のような文書の集まりから必要な具体的な事実を探しに行くシステムを想像してください。しかし、標準的なバージョンのこの技術は、数字とテキストを同じものとして扱うため、会計に求められる正確な値を逃してしまうことがあり、財務データへの対応に苦慮します。この溝を埋めるために、インドネシアとマレーシアの研究チームは、予算計画における「硬い数字」と「柔らかい文脈」の両方を扱うために設計された特化型のシステムを開発しました。彼らは、データベースから正確なコスト数値を検索すると同時に、それらの数字の背後にあるルールを理解するために記述形式のガイドラインを読み解くことができるツールを構築しました。
研究者たちは、このインテリジェントなシステムを整理するための3つの異なる方法をテストしました。コンピュータプログラムを単一の脳ではなく、一連の作業員チームのように扱いました。第一のアプローチは、単一のエージェントを使用するもので、情報の発見から回答の作成までを一人の作業員が責任を持って行うものです。第二のアプローチは、ユーザーの質問をまず聞き、それが「規則に関する単純な質問」なのか、「特定の予算のチェック依頼」なのか、あるいは「推奨事項の必要性」なのかを判断する「ルーター（交通整理役）」を導入しました。その決定に基づき、ルーターはタスクを特定の経路へと送り、そこで専門的なツールが使用されるようにしました。第三のアプローチは最も複雑で、一つの質問を小さな部分に分解し、異なる証拠を見つけるために異なる作業員を割り当て、最終的な作業員がそれらすべての断片を一つの回答へと縫い合わせる「オーケストレーター」を使用しました。
チームは、現実世界の予算業務を模した30の異なるシナリオを用いて、これら3つの手法をテストしました。彼らは、各システムがどれだけ適切に情報を発見できたか、その情報にどれだけ忠実であったか（作り話をしないか）、そして回答を出すまでにどれくらいの時間がかかったかを測定しました。結果として、単一の作業員が最も速く、タスクを約27秒で完了しましたが、必要な証拠を見つける能力においては、より徹底していませんでした。最も複雑な作業員チームは、調整に時間を要したため86秒以上かかり、優れた情報は見つけたものの、余分な調整時間が必ずしもより良い最終回答につながったわけではありませんでした。中間的な道である、交通整理役を持つアプローチが最も効果的であることが判明しました。応答には約78秒かかりましたが、最も正確に適切な証拠を見つけ出し、自らの主張が実際の文書によって裏付けられていることを保証する信頼性が最も高いものでした。
研究者が「ルーティング・ベースド・エージェンティックRAG（Routing-Based Agentic RAG）」と呼ぶこの中間的なアプローチが、この業務における最良の選択肢として浮上しました。これは、関連するコンテキストを見つけるスコアと、ソース資料に忠実であるスコアの両方で最高値を達成しました。忠実度スコアは0.878であり、事実を捏造することがほとんどないことを意味しています。また、最も複雑なシステムと同等の、最も高い適合率スコア0.731を共有しており、検索された情報が極めて関連性が高いことを示しています。研究者たちは、ユーザーが実際に何を必要としているかに基づいてタスクを分離することで、システムが状況ごとに適切な戦略を適用できることを見出しました。ユーザーが「ルール」を求めたとき、システムは公式のガイドラインを厳格に参照すべきであることを理解します。ユーザーが「予算項目」の検証を求めたとき、システムは比較のために過去のデータを引き出すべきであることを理解します。ユーザーが「推奨事項」を求めたとき、システムはルールと過去の経験を融合させるべきであることを理解します。
本研究は、すべての数字がソースに遡れる必要がある予算検証という重要な任務において、情報の検索能力はスピードよりも重要であると結論付けています。単純で高速なシステムは流暢に回答できますが、予算の妥当性を証明するための詳細な記述を見落とすリスクがあります。ルーティング・システムは、質問を最も適切な経路へと導くことで、回答が単に滑らかなだけでなく、事実に根ざしたものになることを保証します。研究者たちは、このシステムは人間の意思決定者を置き換えるのではなく、支援するために設計されていると指摘しました。それは証拠と比較を提供しますが、あるコストが妥当であるかどうかの最終的な判断は、依然として人間のマネージャーに委ねられています。この研究は、複雑な財務記録を扱う組織にとって、数字とテキストの両方をインテリジェントに分類・検索できるシステムが、予算プロセスに明快さと説明責任をもたらす強力な手段となることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。