🤖 AI

RAPT: Retrieval-Augmented Post-hoc Thresholding for Multi-Label Classification

RAPT は、類似する過去の事例に基づいて事後スコア閾値を動的に調整することで多ラベル分類を改善する、展開指向かつモデル非依存の検索拡張ラッパーであり、静的なベースラインや少数ショット LLM よりも一貫して精度で優れつつ、推論時間とメモリ使用量を大幅に削減する。

原著者： Lasal Jayawardena, Nirmalie Wiratunga, Ikechukwu Nkisi-Orji, Darren Nicol

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lasal Jayawardena, Nirmalie Wiratunga, Ikechukwu Nkisi-Orji, Darren Nicol

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。あなたは毎日数千枚もの書類（請求書、廃棄物報告書、出荷注文書など）が到着する繁忙な工場で働いています。あなたの仕事は、これらの書類を適切なチームが処理できるように、異なるカテゴリに分類することです。例えば、ある書類は同時に「廃棄物移転通知書」であり「危険物報告書」である可能性があります。

コンピュータの世界では、これをマルチラベル分類と呼びます。コンピュータは書類を読み取り、すべての可能なカテゴリに対して「信頼度スコア」を割り当てます。大きな問題は？どのスコアが高ければ実際にラベルを割り当てるべきかを決定することです。

問題：「万能」ルール

従来、工場では単純なルールが用いられてきました。「コンピュータがラベルについて50%以上確信を持っていれば、それを割り当てる」というものです。

この論文では、これをグローバル閾値と呼んでいます。これは、高速道路全体に単一の速度制限標識を掲げているようなものです。空いていて直線な道路ではそれなりに機能しますが、渋滞、工事区間、学校区域がある複雑な都市では惨めに失敗します。

問題点： 現実には、書類は厄介です。スキャンが不適切なもの（OCR ノイズ）、非常に稀なもの、扱いにくいカテゴリがあります。「50% 確信」というスコアは、明瞭な請求書には完璧かもしれませんが、ぼやけた手書きのメモにはひどく不適切です。一つの固定されたルールを使用すると、見落とし（偽陰性）や誤った割り当て（偽陽性）を引き起こし、下流工程に混乱をもたらします。

解決策：RAPT（「賢い隣人」システム）

著者らはRAPT（Retrieval-Augmented Post-hoc Thresholding：検索拡張事後閾値設定）を導入しました。RAPT を新しい「脳」として考えるのではなく、コンピュータ分類機の隣に立つ賢いアシスタントとして考えてください。

以下は、簡単な比喩を用いた RAPT の仕組みです。

1. 過去の事例の図書館（検索）
コンピュータが新しい書類のラベル推測を終えたばかりだと想像してください。推測をすぐに受け入れるのではなく、RAPT は「待て、過去の書類の図書館を見てみよう」と言います。
それは、新しい書類に最も似ている過去の10件の書類を見つけます。まるで経験豊富な同僚に「ねえ、この新しいフォームは先週火曜日に処理したあの書類に少し似ているね。あの時はどう処理した？」と尋ねるようなものです。

2. 間違いからの学習（適応）
アシスタントは単に古い答えをコピーするわけではありません。古い書類に対してコンピュータが与えた「スコア」と、実際の正解を比較します。

例: 「あの古いケースでは、コンピュータは『危険廃棄物』に対して60%のスコアを与えましたが、それは誤りでした。もっと慎重になるべきです。」
RAPT はこの履歴を用いて、新しい書類の信頼度スコアを調整します。本質的には、「この新しい書類はあの厄介な古い書類に似ているので、その特定のラベルを割り当てるための基準を上げよう」と言っているのです。

3. 動的な決定（閾値設定）
最後に、RAPT は近隣事例で何が機能したかに基づいて、この特定の書類に合わせたカスタム「カットオフライン」を選択します。固定された50%ルールを使用するのではなく、特定の状況に適合するルールを使用します。

これが重要である理由

この論文は、実際の産業データセット（廃棄物管理会社からのもの）と6つの公開データセット（ニュース、法務、医療など）で RAPT をテストしました。彼らが発見したことは以下の通りです。

あらゆる「脳」と互換性がある： RAPT は「wrapper（ラッパー）」です。メインのコンピュータが単純なモデルであれ、Transformer のような巨大で複雑な AI であれ、関係ありません。RAPT はそれらの上に載せて、システム全体を再トレーニングすることなく意思決定を改善できます。
巨人たちを凌駕： 産業テストにおいて、RAPT は標準的なコンピュータモデルが0.87 の精度（Macro-F1）を達成するのを助けました。これは固定ルールを使用した場合よりも著しく優れていました。
速度とコスト： 論文は、オンラインでチャットできるような大規模言語モデル（LLM）と比較して RAPT を評価しました。
- LLMは遅く、高価で、1つの書類を処理するのに約30秒かかり、膨大なコンピュータメモリを消費しました。
- RAPT + 標準モデルは信じられないほど高速で、わずか0.1秒（約115倍速い）で処理し、メモリ使用量は13分の1でした。
- 結果： RAPT は、「数ショット（AI にいくつかの例を与える）」LLM の2倍の精度を達成しましたが、コストと時間のわずかな一部で済みました。

結論

RAPT は、工場労働者に過去の経験に基づいたスマートなチェックリストを与えるようなものです。硬直した規則書を盲目的に追うのではなく、システムは類似した過去の業務を見て、何が機能したか（そして何が機能しなかったか）から学び、現在の業務に対してより賢く、柔軟な決定を下します。

それは、混乱し変化する世界における「脆い」ルールの問題を解決し、企業が高価で遅いスーパーコンピュータを必要とすることなく、書類を正確に分類できるようにします。

技術概要：多ラベル分類のための RAPT

問題定義

産業分野における多ラベル文書理解パイプラインでは、モデルの出力（スコアベクトル）から最終的な割り当てラベルの集合へ移行する段階が重大なボトルネックとなっています。分類器はラベルごとの信頼度スコアを生成しますが、最終的なラベル集合を選択するための最適なカットオフ（閾値）を決定することは、以下のいくつかの要因により困難です。

インスタンス依存の基数: 関連するラベルの数は文書間で大きく変動します。
非対称な誤りコスト: 偽陽性（誤ったラベル）と偽陰性（見逃されたラベル）は、それぞれ異なる運用上の結果をもたらし、しばしば誤った下流の抽出または検証ワークフローをトリガーします。
データの不均一性: 産業環境では、ノイズの多い OCR、偏ったラベル分布、変化する文書フォーマットが含まれており、これによりグローバルな静的な閾値は脆く、維持が困難になります。
展開の制約: 既存の解決策は、多くの場合モデルの再学習や複雑なラベルごとの最適化を必要とし、レガシーシステムや急速に変化する文書コレクションにとっては非現実的です。

手法：RAPT

著者らは、RAPT（Retrieval-Augmented Post-hoc Thresholding：検索拡張事後閾値設定）を提案します。これは、基盤となる分類器を再学習させることなく、推論時にケースベース推論（CBR）を適用して閾値設定の決定を適応させる、モデル非依存のラッパーです。

中核コンポーネント

ケースベースの構築:
- 追加のアノテーションなしで、既存のトレーニング/検証データから構築されます。
- 各ケース $C$ は、入力インスタンス $x$ 、モデルの埋め込み $z$ 、モデルの予測スコアベクトル $\hat{Y}$ 、およびグランドトゥルースのラベルベクトル $Y$ で構成されます。
- 閾値設定の根拠は、各トレーニングインスタンスにおける $\hat{Y}$ と $Y$ の不一致を分析することで自動的に導出されます。
ケース検索:
- 照会文書に対して、システムは埋め込み空間（ $z_q$ 対 $z_i$ ）におけるコサイン類似度を用いて、ケースベースから最も類似した $k$ 個のケースを检索します。
- 類似度スコアは、適応ステップにおける重要度重み（ $w_i$ ）として機能します。
近傍適応（スコア精査）:
- 直接ラベル投票を行うのではなく、RAPT は検索された近傍からの残差補正を用いて、照会のスコアベクトル $\hat{Y}_q$ を適応させます。
- 近傍 $i$ $i$ に対する適応済みスコアは、次のように計算されます： $Y_{q,i} = \hat{Y}_i + \Delta_{1,i} + \Delta_{2,i}$ $Y_{q, i} = \hat{Y}_{i} + Δ_{1, i} + Δ_{2, i}$ 。
  - $\Delta_{1,i}$ （モデル適応）: 近傍のスコアプロファイルを照会の生出力（ $\hat{Y}_q - \hat{Y}_i$ ）に整合させます。
  - $\Delta_{2,i}$ （残差補正）: 近傍のエラーパターン（ $Y_i - \hat{Y}_i$ ）を転送します。
- 最終的な適応済みスコアベクトル $\tilde{Y}_q$ は、これらの補正済みベクトルの類似度重み付き平均です。
動的閾値設定戦略:
適応済みスコアは、2 つの近傍戦略によって決定される照会固有の閾値 $\tau_q$ を用いて、バイナリラベルに変換されます。
- AvgCount ( $Rapt^\#$ ): 近傍の基数を平均化することで、アクティブなラベルの期待数（ $k^*$ ）を推定します。閾値は、上位 $k^*$ 個のスコアを選択するように設定されます。
- Rank Calibration ( $Rapt^\geq$ ): 閾値を、検索された近傍で正のラベルに割り当てられた最小信頼度スコアの重み付き平均として計算します。これにより、類似の文脈において何が正のラベルを構成するかを示す「局所的な境界」が確立されます。

主要な貢献

自動化されたケースベース構築のフレームワーク: 標準的なトレーニングデータから CBR ケースベースを構築する方法。グランドトゥルースとモデルスコアから直接閾値設定の根拠を推論し、追加の人によるアノテーションの必要性を排除します。
近傍駆動の動的閾値設定: 類似インスタンスからの残差誤差情報を利用して、閾値設定前にスコアベクトルを調整する、特定の適応戦略（AvgCount と Rank Calibration）の導入。
包括的な評価: 産業データセット（WM Nicol）および 6 つの公開ベンチマーク（ニュース、法務、医療、e コマース分野を網羅）での検証により、静的なベースラインに対する一貫した改善を実証。
効率性の分析: 推論速度とリソース消費の面で、Few-Shot 大規模言語モデル（LLM）に対する RAPT の優位性を示す比較研究。

結果

産業データおよび公開データにおける性能

産業環境（WM Nicol）: RAPT はメトリックラーナー（特に ProtoNet）を用いた場合に最高の性能を発揮し、Macro-F1 0.87 を達成しました。これは、固定されたグローバル閾値（0.5）に対して10.8% の相対的改善、およびグローバルに最適化された閾値に対して11.1% の改善を表します。
Transformer バックボーン: 完全にファインチューニングされたトランスフォーマーは（すでに較正されたスコアのため）わずかな改善しか示しませんが、RAPT は較正が不十分なモデルを大幅に強化しました。例えば、事前学習済み BERT-base モデルは、RAPT と組み合わせることで Macro-F1 が 0.096 から 0.631 に改善しました。
公開ベンチマーク: 175 のモデル - データセットの組み合わせ（7 データセット、4 メトリックラーナー、7 トランスフォーマー）において、RAPT は 130 のケース（74.3%）で最良の静的ベースライン（グローバル、最適化、またはラベルごとのもの）を上回り、平均 Macro-F1 改善は +0.093 でした。

効率性の比較（WM Nicol）

RAPT 構成は、Few-Shot LM ベースライン（Qwen3-32B）に対して顕著な効率性の優位性を示しました。

推論速度: RAPT は 115 倍高速でした（文書あたり 38–236 ミリ秒対 LLM の 27–48 秒）。
メモリ使用量: RAPT は 13.5 倍少ない GPU メモリを必要としました（ $\le$ 2.23 GB 対 >30 GB）。
コスト: RAPT ははるかに低いハードウェア正規化コストを提供し、高スループットの産業ワークフローに適しています。

失敗モード

著者らは、産業環境において 2 つの特定の失敗モードを特定しました。

共起に起因する偽陽性: ラベルが頻繁に共起する場合（例："Hazardous Waste Note" と "SEPA Note"）、両方のラベルを含む近傍の検索がスコアを膨らませ、誤った予測につながりました。Rank Calibration 戦略（ $Rapt^\geq$ ）は、より保守的な閾値を適用することでこれを部分的に緩和しました。
フォーマットとコンテンツの曖昧さ: 文書フォーマット（例：メール形式の購入注文書）が意味的なコンテンツよりも類似している場合、検索の質が低下し、誤った決定を強化しました。これは、バックボーン埋め込み空間の品質への依存性を浮き彫りにしています。

意義と主張

本論文は、RAPT を多ラベル分類の「ラストワンマイル」に対する展開指向の解決策として位置づけています。その主な意義は以下の点にあります。

モデル非依存性: 埋め込みとスコアを提供する任意の予測器（メトリックラーナー、ファインチューニングされたトランスフォーマー）に対するラッパーとして機能し、アーキテクチャの変更や再学習を必要としません。
進化への頑健性: ケースベースからの局所的な証拠に依存することで、モデルの継続的な再学習なしに変化する文書フォーマットやラベル分布に適応します。
実用性: 複雑なモデルの高い精度と産業パイプラインの運用制約の間のギャップを埋め、ラベル集合の選択を改善するための軽量な事後メカニズムを提供します。
LLM に対する優位性: 文書分類の文脈において、RAPT は高い遅延とメモリオーバーヘッドという欠点を持つ Few-Shot LLM に対する、より効率的で費用対効果の高い代替手段を提供します。

著者らは、RAPT が既存の分類器を持ち、文書コレクションの進化に伴って頑健性を向上させるための軽量メカニズムを必要とする組織にとって特に価値があると結論付けています。