Selective Prediction Under Distribution Shift: The Failure of Threshold Transfer
本研究は、標準的な閾値に基づく選択的予測が、クリーンなデータに基づいて決定された最適なカットオフ値が破損したデータや実世界のデータには転用できないため、統計的に妥当な停止規則を確立するために新たなラベル付きデータを必要とすることから、分布シフトの下では失敗することを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
写真の中の物体を認識するように訓練されたコンピュータプログラムを想像してみてください。完璧な世界であれば、このプログラムは常に正解するはずです。しかし、現実の世界は混沌としています。カメラに雨の滴が付いたり、写真が薄暗い場所で撮影されたり、あるいは物体が奇妙な角度から捉えられたりすることもあります。コンピュータが見る画像が、学習時に見たものと異なり始めると、プログラムはしばしば混乱します。答えを出すことはできても、その答えは間違いである可能性が高くなります。これに対処するため、研究者たちは「安全弁」を開発しました。それは、コンピュータに「わからない」と言わせる仕組みです。もしプログラムが十分に自信を持てない場合は、推測するのではなく沈黙を守ります。これは「選択的予測（selective prediction）」と呼ばれます。目的は単純です。コンピュータがいつ話し、いつ黙っているべきかを伝えるルールを設定し、コンピュータが発言する時はいつでも、そのほとんどが正しい状態にすることです。
長年、このルールを設定する標準的な方法は、クリーンで完璧な写真を用いてコンピュータをテストすることでした。研究者は、クリーンな画像に対して機能する信頼レベル、例えば、発言した際の誤答率を5%以下に抑えることを保証する設定などを選びます。そして、その同じ設定を現実の世界へと送り出し、たとえ写真がぼやけたり歪んだりしても、その設定が維持されると仮定するのです。C.V. Raman Global UniversityのShayam Ahmadによる新しい研究は、この仮定に異議を唱えています。この研究は、直接的な問いを投げかけています。「クリーンなデータで機能するルールは、データが変化してもなお機能するのか？」という問いです。答えは明白に「ノー」です。研究によれば、そのルールは現実世界の条件下では完全に崩壊し、約束された誤答率を大幅に上回るエラー率を頻繁に引き起こす一方で、コンピュータは拒絶すべき写真に対しても自信満々に回答を続けてしまうことが判明しました。
研究者たちは、標準的な画像セットと2種類のコンピュータビジョンモデルを用いて、この概念をテストしました。まず、モデルをクリーンな画像で訓練し、その後、ノイズの追加、画像のぼかし、色の変更といった様々な種類の損傷を加えました。また、モデルを、学習時とは少し異なる新しい実世界の写真にも適用し、現場で使用されている際に発生するような緩やかな変化（ドリフト）を模倣しました。あらゆるケースにおいて、彼らはクリーンなデータ上で選ばれたのと同じルールを適用しました。結果は衝撃的なものでした。研究者が5%のエラー率を目標に設定したとき、損傷した画像に対する実際の誤答率は、最悪の場合で42%から45%にまで跳ね上がりました。つまり、ルールが5%の誤答を約束していたにもかかわらず、コンピュータはほぼ半分の確率で間違えていたのです。さらに厳格な設定にした場合、問題はさらに悪化しました。もし1%のエラー率を目指した場合、実際の誤答率は約束よりも20倍近く高くなりました。
コンピュータが単に自分自身の自信のランク付けを下手になったのではないかと考える人もいるかもしれません。つまり、コンピュータは写真を正しく分類できておらず、簡単なものを上位に、難しいものを下位に置くことはできているものの、境界線を引く場所を間違えているのではないか、ということです。これを検証するために、研究者たちは問題を2つの部分に分けました。第一の部分は「ランキング」であり、コンピュータがいかに写真を「最も確信があるもの」から「最も確信がないもの」へと順序付けているかです。第二の部分は「停止ルール」であり、いつ回答を止めるかを決定するための境界線をどこに引くかです。彼らは、ランキング自体は実は非常に優れていることを発見しました。4つの異なる信頼度の測定方法がいずれもほぼ同じ順序を生成したのです。コンピュータは、どの写真が他よりも難しいかを理解していました。失敗は完全に第二の部分にありました。クリーンなデータに基づいて引かれた線は、乱れたデータに対しては単に位置が不適切だったのです。その線は、あまりにも多くの困難な写真を取り込んでしまい、それらを容易なものとして受け入れてしまったため、エラー率が爆発的に増加したのです。
研究者たちは、新しい情報を必要とせずに既存のテクニックでこれを修正できるかどうかについても調査しました。いくつかの手法は、正しい答えを見ることなく新しいデータの誤答率を推測しようとし、ルールを自動的に調整することを期待しています。研究者たちは、これら公開されている2つの手法をテストしました。どちらも効果はありませんでした。エラーをわずかに減少させることはできましたが、問題は解決せず、両者とも平均的な信頼度に基づいて推測するだけの非常に単純なルールよりも劣る結果となりました。この問題を真に解決する唯一の方法は、乱れた環境から得られた少量のラベル付きの新しいデータを使用することでした。研究者たちが、新しい写真の数百または数千の例とその正解をコンピュータに示すことで、実際に安全目標を満たす新しい停止ルールを見つけることができました。しかし、この修正には重い代償が伴います。データに軽微な変化がある場合、信頼できるルールを得るために約800個のラベル付き例が必要でした。強い損傷がある場合には、4,000個以上のラベル付き例が必要でした。これは困難な状況を生み出します。データが変化すればするほど、安全を保つために必要なラベル付きの例が増える一方で、データが最も変化している時にこそ、ラベル付きの例を入手するのが最も困難になるからです。
この発見が示唆する内容は、実用的かつ即時的なものです。これは、完璧な条件のために設計されたルールをそのまま現実世界に適用することは危険であることを示唆しています。データがシフトしている場合、安全性の約束は幻想に過ぎません。研究者たちは、もしシステム運用者が現場からの新しいデータをラベル付けする余裕がないのであれば、誤答率に関する具体的な約束を一切しない方がよいと結論付けています。守れない目標を掲げることは、何も掲げないことよりも悪いことです。なぜなら、それは偽りの安心感を与えるからです。この研究は、問題を解決する魔法の杖を提示しているわけではありませんが、大きな誤解を解明しました。失敗の原因は、コンピュータが難易度を判断する能力にあるのではなく、いつ話すべきかを決定するために使用される硬直したルールにあることを示したのです。進むべき道は、環境が変化すればゲームのルールも変わることを認め、変化し続ける世界で安全の約束を守るためには、新しい情報という対価を支払う必要があることを認識することにあります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。