HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries
HIRAは、マルチモーダル検索とローカルホストのLLM検証器、およびヒューマン・イン・ザ・ループによるフィードバックを組み合わせることで、高精度を実現しながら人間のレビューを最小限に抑え、かつコストのかかるモデルの再学習を不要にする、規制対象文書の分類のためのトレーニング不要なオンプレミス型検索拡張カスケードです。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
銀行、医療、法律といった極めて重要な世界において、文書は信頼の主要な通貨です。あらゆるローン申請書、診療記録、法的契約書は、コンプライアンス、安全性、および効率性を確保するために、正しいカテゴリーへと分類されなければなりません。数十年にわたり、この分類問題に対する標準的なアプローチは、ラベル付けされた数千もの例をコンピュータに見せることで学習させる「トレーニング」と呼ばれるプロセスでした。しかし、この手法は規制された業界においては壁に突き当たります。ゲームのルールは厳格です。機密文書はそれが作成された安全な環境から離れることができず、つまり、強力でリモートにある人工知能によって処理されるためにクラウドへ送信することはできないのです。さらに、銀行の内部ファイルに必要な特定のカテゴリーは独自のものが多く、頻繁に変更されるため、新しいモデルを一からトレーニングするために必要な膨大な既存データセットを集めることは不可能です。銀行が分類システムを更新しようとしても、そのプロセスは非常に遅く高価であるため、実用的ではなくなり、結果として機関は時代遅れのツールに取り残されるか、あるいはすべてのファイルを読み取るための高価な人間の労働力に頼らざるを得なくなります。
研究者のShangxuan Tian、Yanhui Chen、およびCarlos Queirozは、これらの厳しい制約を乗り越えるために設計された「HIRA」と呼ばれる、異なる進むべき道となるシステムを提案しました。HIRAは、新しい文書タイプが登場したりルールが変わったりするたびに複雑なモデルを再トレーニングしようとするのではなく、実践を通じて学ぶ、高度に整理された司書のように機能します。このシステムは2つの段階で動作します。まず、システムは新しい文書をスキャンし、以前に見たことのある類似の例を内部メモリから即座に検索します。テキスト、レイアウト、さらにはページの視覚的な形状までも見て、最適な一致を探します。もしシステムが明確な一致を見つけた場合、その文書を即座に分類します。もし文書が紛らわしかったり、複数の異なるカテゴリーに似すぎていたりする場合、システムは推測するのではなく、代わりにファイルを第2の、より慎重な段階へと渡します。この段階では、ローカルにホストされた強力な人工知能が、システムが見つけた最良の例とともに文書をレビューし、最終決定を下すよう求めます。もしこの第2段階でさえ確信が持てない場合は、その文書は修正のために人間の専門家へと送られます。
真の革新は、その後の人間の修正が行われる際に起こります。従来のシステムでは、人間による間違いの修正は一度限りの修正に過ぎません。しかしHIRAでは、あらゆる修正が永続的な教訓となります。人間が文書を修正すると、システムはその例を特別な「重み」を持ってメモリに保存し、次回同様の文書が届いたときにより認識されやすくします。また、混乱のマップも更新し、どのカテゴリーが混同されやすいのか、そしてどのような特定の単語や視覚的特徴がそれらを区別するのかを学習します。これにより、コアとなるソフトウェアを再トレーニングしたり、基礎となる数学的な重みを更新したりすることなく、時間の経過とともに精度を高めることができます。システムは、単に間違いを覚え、それを解決した詳細を記憶することによって賢くなるのです。
研究者たちは、このアプローチを2つの非常に異なるデータセットでテストしました。1つ目は、手紙から科学報告書まで多岐にわたる2,737個の文書を含む公開ベンチマークです。このセットにおいて、システムは少数の例からスタートし、新しい文書のストリームを処理しました。流入するファイルの約4分の1に対してのみ人間に修正を求めることで、システムの精度は、最初からすべての文書に正しいラベルが付与されていたと仮定した「オラクル（神託）」の性能に匹敵するまで上昇しました。これは、助けなしに推測しようとした標準的な人工知能を大きく上回る顕著な飛躍であり、はるかに少ない計算リソースを使用しました。システムは、約40%の文書を第2の、より高価なAI段階へと送り、さらに少ない割合で人間のレビュアーへと送ることができ、簡単なケースを効率的にフィルタリングできることを証明しました。
2つ目のテストは、大手銀行の30,233個の貿易金融文書を含む、現実世界の課題を含むものでした。この環境ははるかに困難であり、80ものカテゴリーが存在し、その多くは異なる種類の請求書や証明書のように、互いにほぼ同一のものです。データは大きく偏っており、一部のカテゴリーには数千の例がある一方で、他のカテゴリーにはほとんど例がありませんでした。これらの困難にもかかわらず、システムは文書のストリーム全体を処理し、人間の作業者に修正を求めたのは、合計のわずか6.4%にあたる1,945件だけでした。このわずかな人間の労力だけで、システムの精度を平凡なレベルから非常に信頼性の高いレベルへと引き上げるのに十分でした。研究者たちは、システムがこれらの修正から学習するにつれて、人間のレビューを必要とする文書の数が急激に減少し、メモリが豊かになるにつれて低い水準で安定することを発見しました。
この研究は、規制された業界において、高い精度への道が必ずしも膨大なデータセットや絶え間ないソフトウェアの再トレーニングを必要とするわけではないことを示しています。スマートな検索メカニズムとローカル人工知能、そして人間の修正から学習するフィードバックループを組み合わせることで、新しい文書や変化するルールに自律的に適応するシステムを構築することが可能です。このシステムは、データが決して安全な環境から離れないという厳格な要件を遵守しながら、大量のデータでトレーニングされたシステムに匹敵するパフォーマンスを実現しています。これらの結果は、データのプライバシーとコンプライアンスが最優先される業界において、選択的に学習し、その修正を記憶するシステムが、従来の人工知能トレーニング手法に代わる実用的かつ強力な選択肢であることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。