Invertible Logits Transformation for Accuracy-Preserving Post-Hoc Uncertainty Calibration

あなたは、あるミステリーを解決しようとしている探偵だと想像してください。しかし、あなたの愛用する虫眼鏡には不具合があります。それは正しい容疑者を指し示してはいるものの、実際には60%程度の確信しかないのに、「99%の確率で間違いない！」と叫び続けてしまうのです。人工知能の世界において、これはよくある問題です。AIモデルは、猫や犬、あるいは腫瘍を驚異的な精度で識別できる非常に優秀な探偵のようなものですが、その自信の度合い（確信度）を誤ることがよくあります。間違った答えに対して異常に自信満々になってしまうことがあり、これは、もし医師や自動運転車がその言葉を鵜呑みにしていたら、非常に危険なことです。この研究分野は「キャリブレーション（校正）」と呼ばれます。これはAIに新しい技を教えたり、脳を再学習させたりすることではなく、事後的にその「声」を修正することです。つまり、AIが「90%の確信がある」と言ったとき、それが実際に「10回中9回は正解する」ことを意味するように調整するのです。目標は、AIが出す答え自体は変えずに、AIを正直にさせることです。

**InvLT（Invertible Logits Transformation）**と呼ばれる新しい手法が登場しました。研究者のZhao、Zhan、およびShenによって提案されたこの手法を考えてみましょう。AIの生の思考（「ロジット」と呼ばれます）を、最終的な答えを決める前の、数字の乱雑な山だと想像してください。これまでの手法は、自信を修正するために、すべての数字を同じ量だけ押しつぶしたり（曲全体のボリュームを下げるようなもの）、あるいは個々のクラスごとに数字を異なる方法で変化させる複雑で重厚な機械を使用したりしていました。問題は、この重厚な機械は、カテゴリーが数千に及ぶ場合に動作が遅く、不器用になってしまうことです。また、単純なボリュームノブでは、データ内の特定の奇妙な箇所を修正するには柔軟性が足りません。

InvLTは、数字の山を一つずつ丁寧に見ていく、賢い一人の編集者のようです。全体的な曲のボリュームを変えたり、巨大な機械を使ったりするのではなく、この編集者は各数字に対して、学習された柔軟なルールを個別に適用します。ここでの魔法のトリックは、この編集者が「可逆的（Invertible）」、つまり「逆転可能」であるように訓練されていることです。もし編集を完璧に元に戻せるのであれば、数字の順序が入れ替わっていないことが保証されます。これにより、AIがもともと「犬」を最善の推測と考えていた場合、編集後も依然として「犬」を最善の推測と考え続けることが保証されます。研究者たちは、CIFAR-10、CIFAR-100、そして大規模なImageNetといった有名な画像データセットを用いてテストを行いました。その結果、InvLTは、AIの確信度が実際の精度と一致するように、ほぼ他のどの手法よりも一貫して優れた結果を示しました。しかも、最も近い競合手法よりも遥かに速く学習できるのです。InvLTは、答えを変えることなく、AIに「分からないときは分からない」と言わせるための、シンプルで高速かつ誠実な方法なのです。

探偵の不具合：なぜキャリブレーションが必要なのか

この論文がなぜ重要なのかを理解するために、まず「探偵」（AI）とその「不具合」（ミスキャリブレーション）について理解する必要があります。

機械学習の世界では、AIモデルは画像を見て、数字のリストを吐き出します。これらの数字は、モデルが各可能な答えをどれくらい「好んでいるか」を表しています。例えば、モデルが猫の写真を見たとき、「猫」のカテゴリーに高い数字を与え、「犬」のカテゴリーには低い数字を与えるかもしれません。これらの生の数字をパーセンテージ（例：「これは猫である確率は85%」）に変換するために、モデルは「ソフトマックス（softmax）」と呼ばれる数学的なステップを使用します。

問題は、現代のAIモデルは自分自身の自信を判断するのが苦手なことが多いということです。実際には犬である写真に対して、99%の確率で猫であると断言してしまうことがあります。これは「過剰な自信（オーバーコンフィデント）」と呼ばれます。もしあなたが、病気の診断にAIを使用している医師だとしたら、単に「何の病気か」を知りたいだけでなく、「AIがどれほど確信を持っているか」を知る必要があります。もしAIが「癌である確率は99%です」と言いながら、実際にはその正解率が50%しかないとしたら、それは災難です。

ここで「ポストホック・キャリブレーション（事後校正）」が登場します。「ポストホック（Post-hoc）」とは、単に「事後」という意味です。AIモデル全体を再学習させる（それには数日間の時間と巨大なコンピュータが必要です）のではなく、キャリブレーションは、小さな別個のツールを使ってモデルの出力を修正しようとします。これは、少しピントがずれた写真を、写真を撮り直すことなく、フィルターを通してシャープにするようなものです。

目標は単純です。もしAIが80%の確信度を示したなら、80%の確率で正解すべきです。50%と言ったなら、半分は正解すべきです。この論文は、AIの最終決定を変更することなく、これを行う手法に焦点を当てています。もしAIがもともと「猫」を選んでいたなら、キャリブレーションツールが誤って「犬」に変えてしまうことがあってはなりません。これは「精度の保持（Accuracy Preservation）」と呼ばれます。

古い手法：単純すぎるか、重すぎるか

InvLTが登場する前、科学者たちはこの自信の不具合を修正するためにいくつかの方法を持っていました。

1. 温度スケーリング（Temperature Scaling, TS）： AIの生の数字が熱いスープだと想像してください。温度スケーリングは、スープ全体に少し氷を入れて冷やすようなものです。一つの数値（「温度」）を使用してすべてを調整します。これは速くてシンプルであり、勝者を変えることもありません（「猫」は「猫」のままです）。しかし、これは硬直しています。特定の問題を解決することはできません。もしAIが「猫」については自信過剰だが「犬」については自信不足である場合、この方法では両方を同時に修正することはできません。
2. 重厚な機械（UMNNなど）： 特定の問題を解決するために、一部の研究者は、あらゆる数字に対して独自のルールを学習する複雑なツールを構築しました。一つの代表的な手法であるUMNNは、入力が増えれば出力も増えるという「単調性（monotone）」を強制する特殊な数学を使用しています。これにより、答えの順序が維持されることが保証されます。しかし、この手法は計算コストがかかります。トランプの束を仕分けするために巨大で遅いロボットを使うようなものです。機能はしますが、学習に時間がかかり、使用時にも時間がかかります。また、カテゴリーの数が増える（ImageNetのように1,000クラスある場合）と、これらの手法は停滞したり、過学習（ルールを学ぶ代わりに訓練データを丸暗記してしまうこと）したりすることがあります。

新しいヒーロー：InvLT

この論文の著者であるZhao、Zhan、およびShenは、**InvLT（Invertible Logits Transformation）**と呼ばれる新しい手法を提案しています。

核心となるアイデア：
一つの単純なつまみ（温度スケーリングのようなもの）や、巨大なロボット（UMNNのようなもの）を使う代わりに、InvLTは、各数字を個別に見てカスタムルールを適用する、小さな柔軟な「翻訳機」（ニューラルネットワーク）を使用します。

• 共有翻訳機： 同じ翻訳機が、猫であれ、犬であれ、車であれ、すべての数字に対して使用されます。これは、カテゴリーを追加しても手法が遅くなったり複雑になったりしないことを意味します。これは、巨大なデータセットに対しても見事にスケールします。
• 「可逆的」なトリック： 最大の課題は、翻訳機が順序をかき乱さないようにすることです。もし翻訳機が「9」を「2」に変え、「5」を「10」に変えてしまったら、AIは突然「犬」の方が「猫」よりも良いと判断してしまうかもしれません。これを防ぐために、論文では巧妙なトリックである**「再構成（Reconstruction）」**を使用しています。

再構成トリックの仕組み：
英語をフランス語に翻訳する翻訳機を想像してください。それが内容を混ぜこぜにしない「良い」翻訳機であることを確認するために、文章をフランス語に翻訳し、すぐにその文章を英語に「逆翻訳」させます。もし最終的な英語の文章が元の文章と同じであれば、翻訳機が正しく機能しており、意味をかき乱していないことがわかります。

InvLTでは、二つのネットワークを一緒に訓練します。

1. フォワード・ネットワーク (f)： AIの自信を調整するメインの翻訳機です。
2. インバース・ネットワーク (g)： 「逆翻訳」を行うネットワークです。

一連のテスト用の数字をフォワード・ネットワークに入力し、その結果を得て、次にその結果をインバース・ネットワークに入力します。その後、インバース・ネットワークが元の数字に戻せるかどうかをチェックします。もし戻せなければ、インバース・ネットワークが元の数字に戻せるようになるまで、フォワート・ネットワークを微調整します。この「再構成損失（reconstruction loss）」は、フォワード・ネットワークが複雑で遅い数学を使用することなく、**単調（monotone）**になるよう（つまり、数字の順序を維持するように）促す、ソフトな後押しとして機能します。

なぜこれが優れているのか：

• スピード： 数値積分のような重くて遅い数学を用いて単調性を証明する必要がないため、学習が非常に速いです。論文では、InvLTは従来の最高手法（UMNN）よりも約3.5倍速く学習でき、推論時（実際にモデルを使用する時）には5倍速いと報告されています。
• 精度： 元のAIの決定を保持しながら（「猫」を「犬」に変えることはありません）、自信のレベルを修正します。
• パフォーマンス： CIFAR-10、CIFAR-100、およびImageNetのテストにおいて、InvLTは、AIの自信が実際の精度と一致するようにすることにおいて、他のほぼすべての手法を上回りました。例えば、ImageNetにおいて、InvLTは信頼誤差（ECE）を**0.39%に減少させ、次に優れた手法であるUMNNの0.56%**を上回りました。

結果：明確な勝利

研究者たちは、3つの主要なデータセットを用いて手法をテストしました。

• CIFAR-10： 小さな画像の10カテゴリー。
• CIFAR-100： 100カテゴリー。
• ImageNet： 1,000カテゴリーの実世界の画像。

彼らは、この手法が異なる種類のモデルに対して機能することを確認するために、様々なAIアーキテクチャ（ResNet、VGG、ViTなど）を使用しました。

主な知見：

• 最高のパフォーマンス： InvLTは、ほとんどすべてのテストにおいて最も低いエラー率を達成しました。ResNet-152モデルを用いたImageNetにおいて、InvLTは**0.39%**のECEを達成しました。これは、未校正のモデル（12.83%）よりも大幅に良く、他のすべての校正手法よりも優れていました。
• 堅牢性（ロバストネス）： 学習するためのデータが極めて少ない場合（わずか500サンプル）でも、InvLTは良好なパフォーマンスを維持しました。一方で、複雑なパラメータに依存する他の手法（Matrix Scalingなど）は完全に失敗し、単なる恒等写像（identity map）になってしまいました。
• 保持： 論文は、「再構成」のトリックが元のAIの回答をしっかりと保持していることを確認しています。このトリックがなければ、数字の順序が入れ替わる可能性があるため、AIの精度はわずかに低下します。しかし、このトリックを用いることで、精度は元のモデルと全く同じに保たれます。

限界と未来

著者たちは、自らの手法の限界についても正直に述べています。InvLTは各数字を独立して扱うため、「猫」と「犬」はどちらも動物であり、互いに混同される可能性があるといった、異なるカテゴリー間の複雑な関係性を捉えることはできません。しかし、彼らは、ほとんどの実用的な用途において、InvLTのスピードとシンプルさが最良の選択肢であると主張しています。

また、再構成のトリックは順序が保持されていることを「示唆」するものであり、数学的に鉄壁の保証ではないことも指摘しています。自動運転車のような極めて安全性が重視される状況では、答えが変わっていないことを確認するための最終チェックを追加することを推奨しています。

結論

結局のところ、InvLTはAIモデルをより正直にするための、スマートで効率的な方法です。強力なAIの「不具合のある」自信を取り上げ、動作を遅らせることなく、軽量で柔軟なツールで修正します。これは、問題を解決するために必ずしも、より大きく重い機械が必要なわけではなく、単に賢い、可逆的なトリックが必要な場合があるということを教えてくれます。AIによる意思決定に依存している人々にとって、この手法は、AIが出す数字が実際に真実を反映しているという信頼を提供します。