Risk reversal for least squares estimators under nested convex constraints

あなたは、深い森の中で行方不明になったハイカーを探しているところだと想像してください。手元には地図がありますが、少しぼやけています。さらに、頼りにできるのはノイズ混じりの無線信号だけです。統計学の世界では、これはよくある問題です。つまり、隠された真実（ハイカーの現在地など）を、乱れたデータに基づいて推測しようとしているのです。通常、統計学者は真実がどこにあるかについての「直感」を持っています。例えば、ハイカーは特定の公園の中にいるはずだ、あるいはもっと近くの、公園内の小さな開けた場所にいるはずだ、といった具合です。この「直感」のことを「制約（constraint）」と呼びます。標準的な経験則では、地図にルールを追加していく（例えば、探索範囲を森全体から公園へ、さらに公園から開けた場所へと絞り込む）ことで、より良い推測が得られるはずだとされています。より多くの情報があれば、誤差は減るはずだ、というのは論理的なものです。これは、「制約付き推定（constrained estimation）」という分野の基礎であり、数学者たちがノイズの多いデータからいかに最善の推測を行うかを、幾何学を用いて解明しようとする領域です。

しかし、もし追加したルールが、かえってあなたの推測を悪化させるとしたらどうでしょう？ もし、探索範囲を狭めることが、助けになるどころか、逆にあなたの推定値を真実から遠ざけてしまうとしたら？ これは、論理の行列におけるパラドックス、あるいはグリッチ（不具合）のように聞こえます。しかし、オマール・アル＝ガッタスによる新しい論文は、ノイズの多いデータの世界において、この直感に反する「リスクの逆転（risk reversal）」が起こり得ること、しかも非常に単純で日常的なシナサーリオにおいてさえ起こり得ることを示唆しています。この論文は、「ガウス型シーケンスモデル」と呼ばれる特定の数学的問題を探求しています。これは、単に「真の数値があり、その数値がランダムな静電気によってかき混ぜられたバージョンが見えている」ということを、小難しく表現したものです。目標は、ノイズの乗った観測値を、答えが含まれていると信じている図形（三角形や線など）に投影することです。論文は次のような単純な問いを投げかけます。「もし、私たちの図形を、答えが確実に含まれているより小さな図形へと縮小させた場合、誤差は常に減少するのだろうか？」

答えは、驚くべきことに「ノー」です。論文は、特定の条件下、具体的にはノイズ（静電気）が十分に大きい場合、制約を厳しくすることが実際には誤差を増大させることを証明しています。著者らは、これが奇妙で壊れた例による偶然の出来事ではないことを示しています。これは三角形や線といった標準的な図形でも起こり、答えが端ではなく図形の真ん中にある場合でも成立します。彼らは、ノイズが小さいときは制約を加えることが役立つ一方で、ノイズが非常に大きい「スイートスポット」においては、図形の幾何学的な性質がランダム性と相互作用し、より小さくタイトな制約の方が、より大きく緩やかな制約よりも性能が悪くなることを明らかにしています。これは単なる理論的な好奇心ではありません。著者らはこれを数学的に証明し、誤差が厳密に増加することを示しました。さらに、これが「ワーストケース（最悪のケース）」においても起こることを示しており、つまり、これは単なる一時的なエラーではなく、これらの推定法の持つ本質的な欠陥であることを示しています。

縮小する罠の物語

このパラドックスのメカニズムを、ダーツボードと、ひどく混乱した投げ手の物語を使って掘り下げてみましょう。

あなたがダーツボード上のブルース（真のパラメータ $\theta^\star$）を狙おうとしていると想像してください。しかし、あなたは目隠しをされており、投げるたびに風（ノイズ $\sigma Z$）が吹いて、ダーツをコースから外してしまいます。あなたは、ブルースが大きな三角形のテント（$\Theta_L$）の中にどこかにいることを知っています。助けを得るために、あなたは大きなテントの中に、より小さくタイトなテント（$\Theta_S$）を設置することにしました。もし探索範囲をこの小さなエリアに限定すれば、より正確になれると信じて。あなたは「最小二乗推定量（Least Squares Estimator）」を使用します。これは、「ダーツが着地した場所を見、その中のテントに最も近い点に向かって直線を引く」というルールの、小難しい名前です。

穏やかで静かな世界（低ノイズ）では、これは完璧に機能します。風がほとんど吹いていなければ、あなたのダーツはブルースのすぐ近くに着地します。大きなテントの中にいても小さなテントの中にいても、ダーツに最も近い点は、ほぼ正確にブルースになります。実際、もしブルースが小さなテントの真ん中にあるなら、小さなテントの方がわずかに優れています。なぜなら、大きなテントにある、ダーツが決して到達することのない「無駄な」スペースを削ぎ落としてくれるからです。

しかし、ここで風を強めてください。ハリケーンにします。突然、あなたのダーツは、ブルースから遠く離れた場所ならどこにでも着地する可能性があります。ここで、魔法（あるいは罠）が起こります。論文は、どのようにこれが失敗するかを示すために、テントの具体的な形状を設定しています。大きなテントが三角形で、小さなテントがその中を通る一本の線分であると想像してください。風が吹き荒れているとき、あなたのダーツはブルースから遠く離れた場所に落ちるかもしれません。

• 大きなテント： それは幅が広く、特定の方向に角を持っているため、テント内の「最も近い点」は、ダーツの着地点に対して比較的近い位置にある角になる可能性があります。
• 小さなテント： それはただの細い線であるため、その線の上でダーツに最も近い点は、大きなテントの角よりも、実はブルースから遠い場所になってしまうかもしれません。

それは、部屋の中で失くした鍵を探すようなものです。もし部屋が巨大であれば（大きなテント）、鍵を隅の方に落としたとしても、すぐに見つけられるかもしれません。しかし、もし部屋を狭い廊下（小さなテント）に縮小してしまい、その廊下がその隅にまで届いていない場合、あなたは、単に廊下があなたを別の方向へ強制してしまうがゆえに、実際には鍵がある場所からより遠い場所を無理やり見つめさせられることになるのです。

論文は、ノイズが十分に大きいとき、「小さなテント」は「大きなテント」よりも頻繁に「悪い推測」を強いることを示しています。大きなテントは、その余分なスペースのおかげで、ノイズの乗ったダーツに対して、より近くに位置する「安全な避難所（境界上の点）」を持つチャンスがあるのです。

ノイズの二つの顔

著者らは、この現象が完全にノイズの大きさ（音量）に依存していると説明しています。彼らはこの物語を二つの章に分けています。

第1章：ささやき（消失するノイズ）
ノイズが極めて小さいとき（風がそよ風であるとき）、論文は小さなテントが常に勝利するか、あるいは同等であることを証明しています。誤差は、ブルースのすぐ周囲にあるテントの局所的な形状によって支配されます。もしブルースが小さなテントの内側にあるなら、小さなテントの局所的な形状はより「タイト」であり、それは通常、誤差を生むための「遊び」が少ないことを意味します。この領域では、直感が成り立ちます：制約を増やすほど、精度は向上します。論文は数学的に、ここではリスクの逆転は起こり得ず、小さなテントの誤差は常に大きなテントの誤差以下であることを証明しています。

第2章：咆哮（発散するノイズ）
ノイズが巨大なとき（ハリケーンであるとき）、局所的な形状は重要ではなくなり、グローバルな（全体的な）形状が重要になります。ダーツはあまりにも遠くに飛んでいくため、推定器は実質的に、風の方向から見たテントの「シルエット」を見ている状態になります。ここで、ひねりが加わります。小さなテントは、ランダムなノイズの方向から見たときに、ブルースから遠い角を指し示すような幾何学的形状を持っている可能性があります。しかし、大きなテントは、ノイズをうまく「受け止める」ことができる余分な角を持っており、結果としてブルースに近い位置に着地できるかもしれません。

論文は、パラメータ $c$（三角形の形状を制御するもの）を用いた具体的な例を提供しています。$c$ が小さい（小さなテントを非常に細長くしている）場合、ノイズが大きいと、小さなテントの誤差は大きなテントよりも厳密に大きくなることを示しています。彼らは、ノイズが増加するにつれて誤差の曲線が交差することを示すグラフも作成しています。最初は小さなテントの方が優れていますが、ノ後にノイズが大きくなるにつれて、線が交差し、小さなテントの方が悪くなります。これが「リスクの逆転」です。

これは単なる偶然ではない

あなたはこう思うかもしれません。「これは特定の三角形を使った、奇妙なトリックではないのか？」 著者らは、そうではないと述べています。彼らは、ブルースが端ではなく、図形の真ん中にある場合でもこれが起こることを示しています。また、鋭い三角形だけでなく、楕円のような滑らかな形状でも起こることを示しています。さらに、ノイズが完全にガウス分布（標準的なベルカーブ）である必要はなく、ノイズが十分に大きい限り、他の種類の「放射状（radial）」のノイズであっても起こることを示しています。

さらに、彼らはこれが単一の点における一度限りの悪い推測ではないことも証明しています。彼らは、ワーストケース の誤差（起こりうる最大誤差）も反転することを示しています。これは、最悪のシナリオでもうまく機能するシステムを設計しようとしている統計家にとって、制約を加えることが、かえってシステムの堅牢性（ロバストネス）を損なう可能性があることを意味します。

まとめ

この論文は、最も基本的な統計ツールの一つである「投影推定量（projection estimator）」における、隠れた失敗モードを明らかにしています。私たちはしばしば、「構造（制約）を増やすこと」は常に良いことだと考えがちです。しかし、この論文は、ノイズの多い世界では、構造を加えることが、時にノイズの混沌に対して不適切な幾何学の中に推定器を閉じ込めてしまうことがあることを示しています。

これは、高い不確実性に直面したとき、動き回るための余裕（より大きな制約集合）を少し持っておく方が、特定の狭い角に押し込められるよりも安全である場合がある、ということを思い出させてくれます。「リスクの逆転」とは、より精密になろうとする行為そのものが裏目に出て、単に少し曖昧であった場合よりも大きな誤差を招いてしまう、という現象が実際に起こり得ることを、数学的に証明した、真の統計学的現象なのです。