Perturbation Sensitivity at Convergence: A Simple Signal for Identifying Spuriously Correlated Samples

ロボットに写真の中の動物を認識させる方法を教えていると想像してみてください。あなたは、緑の野原で草を食む牛の写真や、砂漠を歩くラクダの写真を何千枚もロボットに見せます。ロボットは学習が非常に速いのですが、少し「効率的」すぎます。ロボットは、牛が「どのような見た目か」（角の形や毛の質感など）を学ぶ代わりに、ある近道（ショートカット）に気づいてしまいます。「もし緑の草があれば、それは牛だ。もし砂があれば、それはラクダだ」という具合に。これは「偽相関（spurious correlation）」、つまり、ほとんどの場合は機能するものの、真のルールではないデータのトリックです。

人工知能の世界において、これは大きな問題です。もしそのロボットに、ビーチに立っている牛の写真を見せたら、ロボットは混乱して「これはラクダだ！」と言ってしまうでしょう。なぜなら、草がなくなっているからです。これは、ロボットが動物そのものではなく、背景を暗記してしまったために起こります。科学者たちは、これを「平均精度（average accuracy）」（簡単で典型的な写真に対する性能）と「最悪グループ精度（worst-group accuracy）」（トリッキーで珍しい写真に対する性能）の間のギャップと呼んでいます。この分野の目標は、単にショートカットを暗記するのではなく、タスクを真に理解し、世界が少し変わった状況になっても失敗しないようなロボットを構築することです。

効率的な学生と脆弱な記憶

この論文は、教師によるラベル付けを必要とせずに、「トリッキーな」写真を見つけ出すための巧妙な新しい方法を紹介しています。通常、この問題を解決するためには、研究者はロボットが間違ったショートカットを暗記している最中を捉えようと、学習中に観察する必要があります。それは、テストの最初の数分間に、ショートカットを使っている学生を見つけようとするようなものです。しかし、これはいつ観察すべきかを正確に予測しなければならず、多くの場合、どの学生がショートカットを使っているかを教えるために教師が必要となるため、本来の目的を損なってしまいます。

この論文の著者は、別のアイデアを提案しています。それは、テストが終わるまで待つという考え方です。彼らは、ロボットが学習を終えて「収束（converged）」（つまり、学習を完了し、すべての写真に対して最終的な答えを持っている状態）した後は、効率的なショートカットと真の学習が非常によく異なることを発見しました。

次のように考えてみてください：

• ショートカット学習者（偽相関）： 彼らは「草＝牛」というルールを暗記した学生です。彼らはシンプルで頑丈なルールを持っており、それがクラス全員に共通して当てはまります。もし写真の草を少しぼかしたとしても、彼らは依然として「牛」と答えます。なぜなら、彼らのルールは強力で、全体に共有されているからです。
• 暗記者（非SCサンプル）： 彼らは、いくつかのトリッキーな写真（例えば、砂の上にいる牛など）のために、特定の奇妙な詳細を暗記しなければならなかった学生です。彼らは一般的なルールを学んだのではなく、ただ「その特定の写真」が牛であると暗記しただけなのです。彼らの記憶は脆弱です。もしその特定の写真をぼかしてしまうと、彼らはパニックに陥り、答えを変えてしまいます。

この論文の主要な発見は、モデルが完全にトレーニングされた後に、単純な「固定摂動（fixed perturbation）」、つまり穏やかな「ぼかし」を画像に適用することで、この脆弱性をテストできるということです。もしモデルが動物についての判断を変えたなら、それはモデルが単にその特定の画像を暗記していただけであり、ルールを理解していなかったことを意味します。もし答えを維持したなら、それは信頼できる共有されたルールを使用していたことを意味します。

彼らが発見したこと

研究者たちは、これを「Waterbirds」というデータセットでテストしました。このデータセットには、陸上の鳥と水中の鳥の画像が含まれています。このデータセットにおける「ショートカット」とは、実際の鳥の種類を無視して、「水中の鳥はすべて一種であり、陸上の鳥はすべて別の種である」と想定することです。

彼らが学習済みのモデルに対してこの「ぼかしテスト」を行ったとき、以下のようなことが起こりました：

• モデルは、トリッキーな「マイノリティ・サンプル（少数派のサンプル）」（背景のルールに適合しない鳥）に対して、確かに脆弱であることが分かりました。「水中の陸鳥」の約70.7%、「陸上の水鳥」の約**69.6%**が、ぼかしを加えると答えを変えました。
• 対照的に、モデルは「マジョリティ・サンプル（多数派のサンプル）」（一般的な鳥）に対しては非常に安定していました。「陸上の陸鳥」はわずか7.3%、「水中の水鳥」はわずか**3.5%**しか判断を変えませんでした。

この差は極めて大きかったです。「ぼかしテスト」は、研究者がコンピュータにどれがどれかを教えていないにもかかわらず、簡単なサンプルよりも約10倍高い頻度で、トリッキーなサンプルを特定することに成功しました。

ロボットの修正

これらの脆弱なサンプルを特定した後、彼らはロボットを再学習させましたが、今回はこれらのトリッキーなサンプルに対して特別な注意を払いました。彼らは特別なラベルや教師によるガイドを必要としませんでした。単に、この「ぼかしテスト」の結果を利用して「疑似グループ（pseudo-groups）」を作成したのです。

結果は素晴らしいものでした：

• この修正を行う前、ロボットの最悪グループ（トリッキーな鳥）に対する精度は、わずか**57.3%**でした。
• 彼らの手法を用いてトレーニングのバランスを再調整した後、その精度は**80.8%**へと跳ね上がりました。
• 比較として、もし完璧な人間によるラベルを使用して同様のことを行った場合、精度は**85.8%**になります。

著者は、彼らの手法が完璧ではないことも述べています。彼らは一部の簡単なサンプルをトリッキーだと判定してしまいました（精度は約36.6%）。しかし、これは問題ありません。トリッキーなサンプルを見逃すよりも、誤って簡単なサンプルに余計な注意を払う方がましだからです。論文は、このシンプルな信号――モデルが小さなぼかしによって判断を変えるかどうかを確認すること――が、学習を途中で止めることも、グループのラベルを使うこともなく、助けを必要としているサンプルを見つけるために驚くほどうまく機能することを示唆しています。

著者は、これが一つのデータセットに基づいた「予備的な」発見であることを慎重に述べています。彼らはまだ、あらゆる可能なぼかしのサイズや他のデータセットをテストしているわけではありません。しかし、彼らは、このシンプルなポストトレーニング（学習後）の信号が存在し、平均的なパフォーマンスと最悪のケースのパフォーマンスとの間のギャップを埋めるために機能することを示しました。これは、間違いを見つける最善の方法は、学生が勉強している姿を監視することではなく、試験が終わった後に彼らの記憶を優しく揺さぶってみることである、ということを思い出させてくれます。