Subjective Risk Decomposition: A New View for Uncertainty Quantification

水晶玉の謎

あなたは未来を予測しようとしていると想像してみてください。サッカーの試合のスコアを予想したり、明日の天気を推測したり、あるいは友人が次に何を言うかを当てようとしたりしているかもしれません。コンピュータサイエンスの世界、特に機械学習と呼ばれる分野では、こうした予測を行うためのデジタルな「水晶玉」（モデル）を構築します。しかし、ここにはトリッキーな問題があります。モデルは自信満々であっても、間違っていることがあるのです。だからこそ、科学者たちは**不確実性の定量化（Uncertainty Quantification）**を非常に重視しています。それは単に正解を出すことではなく、「モデルがどれほど確信を持っているか」を知ることなのです。

この論文を理解するために、まず「知らない」ことには2つの主要なタイプがあることを知っておく必要があります。第一に、**アレオリック不確実性（Aleatoric uncertainty）**です。これはシステムの「ノイズ」だと考えてください。サッカーボールの軌道を変えてしまう突然の突風のように、どうしてもコントロールできないものです。これは、現実世界の「削減不可能な」混沌です。第二に、**エピステミック不実性（Epistemic uncertainty）**です。これは「自分が何を知らないのかを知らない」という種類のものです。これはモデル自体に由来する不確実性であり、例えば、十分なデータを見ていなかったり、ルールについて混乱していたりする場合に発生します。長い間、科学者たちはこれら2種類の不確実性を定義するための厳格なルール（公理）を書き出そうと、激しく議論を戦わせてきました。

論文の核心的なアイデア：議論をやめ、分解を開始せよ

「Subjective Risk Decomposition（主観的リスクの分解）」と題されたこの論文は、こうした議論の多くは本質を見失っているのではないかと示唆しています。著者であるRaghad Alamri、Michele Capio、Gavin Brownは、問題に対する新しい視点を提案しています。不確実性を、謎めいた独立したオブジェクトとして定義しようとするのではなく、不確実性は実際には、私たちがモデルをどのように評価するかという選択の結果に過ぎないのだと彼らは主張しています。

あなたが教師として生徒のエッセイを採点しているところを想像してください。あなたには、点数を与えるための特定のルーブリック（評価基準）があります。もしルーブリックを変えれば、たとえエッセイの内容が変わらなくても、成績は変わります。著者らは、「不確実性」とはその成績のようなものだと主張しています。それは空中に浮いている魔法の数字ではなく、特定の「ルーブリック」（彼らはこれを**厳密に適切な損失関数（strictly proper loss）**と呼びます）に基づいた特定の計算の結果なのです。

この論文は**主観的リスク（Subjective Risk）**という概念を導入しています。簡単に言えば、これは「もしモデルが世界はある特定の状態であると信じているとき、もし現実の世界が異なっていたとしたら、どれほど悪い事態になるか？」と問いかける方法です。著者らは、この「主観的リスク」を取り出し、分解（デコンポジション）すると、得られる断片が、まさに科学者たちが長年定義しようとしてきた様々な種類の不確実性と一致することを示しています。

魔法のトリックの仕組み

著者らは、**ブレグマン・ダイバージェンス（Bregman divergence）**という数学的ツールを使用しています（これは、異なる世界の捉え方の間の距離を測る特別な種類の定規だと考えてください）。この定規を「主観的リスク」に適用すると、自然に3つの明確な部分に分割されます。

1. バイアス（系統的な誤差）： これは、モデルの平均的な信念が現実に対して単純に間違っている部分です。それは、真北ではなく常に少し北を指してしまうコンパスのようなものです。論文では、これは私たちが通常考えるような「不確実性」ではなく、単なるモデルの接地（グラウンディング）における間違いであると論じています。
2. 分散（エピステミックな部分）： これは「混乱している」部分です。モデルが少し異なるデータを見たときに、予測がどれほど変動するかを測定します。もしモデルが、聞かれるたびに異なる答えを出す、落ち着きのない神経質な生徒であれば、この数値は高くなります。著者らは、相互情報量（Mutual Information）（モデルの内部状態が予測についてどれだけの情報を持っているかを示す複雑な数学用語）のような有名な指標が、この分散の特殊なバージョンであることを示しています。
3. エントロピー（アレオリックな部分）： これは「ノイズ」の部分です。どんなにデータを集めても解決できない、状況に内在するランダム性です。先ほどのサッカーの例における「突風」にあたります。

なこれがすべてを変える理由

この論文は、これまで科学者が発明してきた様々な不確実性の公式は、実は互いに敵対しているわけではないことを示唆しています。それらはすべて、同じ基本的なレシピの異なるフレーバーに過ぎないのです。

• 「Gal」の手法： ある研究者（Gal）による有名な不確実性の測定法は、「対数損失（log-loss）」と呼ばれる特定の数学を使用します。著者らは、もしこの特定の損失を使用すれば、分解の結果として有名な「相互情報量」の公式が自然に導き出されることを示しています。
• 「Sale」の手法： 別の研究グループは、異なる数学（二乗損失）を使用します。著者らは、もしその損失を使用すれば、異なる公式（分散ベース）が得られることを示しており、それは異なる種類の問題に対して有効な手法であると述べています。

この論文は、どの不確実性の尺度を「正しい」とするかを決めるために、新しいルール（公理）を書く必要があるという考えに対して、明確に反対しています。代わりに、彼らは「正しい」尺度とは、あなたが自分の問題のために選んだ特定の損失関数から自然に飛び出してくるものに過ぎないのだと述べています。もしあなたが「モード探索型（mode-seeking）」（最も可能性の高い結果に焦に集中する）を重視する損失を選べば、あるタイプの不確実性が得られます。もし「平均探索型（mean-seeking）」（すべてを平均化する）を重視する損失を選べば、別の不確実性が得られます。

学習理論とのつながり

著者らはさらに一歩進んで、この概念を統計的学習理論（Statistical Learning Theory）、つまり機械がデータからどのように学ぶかという数学へと結びつけています。彼らは「主観的近似ギャップ（Subjective Approximation Gap）」や「主観的推定誤差（Subjective Estimation Error）」といった新しい用語を導入しています。

彼らは、「エピステミック不確実性（削減可能な部分）」が実際には2つの要素の混合であることを発見しました。

1. モデルが自分自身とどれほど意見が食い違っているか（分散／相互情報量の部分）。
2. モデルがどのような種類のモデルであるかによって、モデルがどれほど制限されているか（近似ギャップ）。

これは極めて重要な洞察です。これは、私たちが「高いエピステミック不確実性がある」と言うとき、混乱している（分散）のか、あるいはモデルが仕事に対して間違った種類の道具である（近似）のか、という2つの異なる問題を混同している可能性があることを示唆しています。論文は、有名な「相互情報量」という尺度は、前者の部分（混乱）のみを捉えており、後者（近似）を無視しているため、総体的な「削減可能」な不確実性を過小評価している可能性があると指摘しています。

結論

要約すると、この論文は不確実性を計算するための新しい方法を発明したわけではありません。代わりに、それは統一された地図を提供しています。それは、私たちがこれまで使ってきた多くの異なる地図はすべて正しいが、それらは単に同じ山を異なる角度から見ているだけであることを教えてくれます。

著者らは、不確実性をゼロから定義する必要がある謎めいた原始的なものとして扱うのをやめるべきだと提案しています。代わりに、主観的な信念に基づくコストである「主観的リスク」を見つめ、それを分解すべきなのです。そこで見つかる断片こそが、私たちがずっと探し求めていた不確実性の尺度なのです。これは、「不確実性とは何か？」から、「どのように測定することを選択したのか？」への転換です。

この論文は、これが理論的な枠組みであることを慎重に注記しています。それは、なぜ異なる尺度が存在するのか、そしてそれらがどのように関連しているのかを説明するものですが、この分野のあらゆる実用的な問題を解決したと主張するものではありません。それは、既存の風景をより明確にするための新しいレンズであり、分野における意見の相違は、不確実性の性質そのものの矛盾ではなく、人々が使用している「定規」（損失関数）の違いに過ぎないことを示唆しているのです。