The Impact of Noise on Memorability in Minds and Machines
本論文は、従来の深層ニューラルネットワークは個々の画像特徴量に依存しているため、ノイズ下での画像の記憶性推定において人間の堅牢性に達することに失敗する一方で、新たに提案されたGraphMemモデルは、画像間の関係構造を活用することで、人間のパフォーマンスとの整合性に成功していることを示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
私たちは完璧な視覚的世界に生きているわけではありません。私たちの目は、雨に濡れたフロントガラスや、粒子の粗い防犯カメラの映像、あるいは夕暮れの薄暗い光を通して物を見ることがよくあります。しかし、こうした不完全さにもかかわらず、人間の記憶は驚くほど一貫しています。もし大勢の人々に、誕生日のキャンドルを吹き消す子供の写真と、誰もいない駐車場の中の写真をそれぞれ見せたとしたら、ほとんどの人はパーティーの場面を覚え、駐車場のことは忘れてしまうでしょう。この「画像の記憶留まりやすさ（イメージ・メモラビリティ）」として知られる現象は、脳にとって、ある画像は他の画像よりも保持しやすいものであることを示唆しています。科学者たちは長年、記憶に残りやすい画像は脳によってより効率的に処理され、それによって迅速に認識・保存されるのだと考えてきました。これを研究するために、研究者たちは人工知能、すなわち人間の脳を模倣するように設計されたコンピュータシステムであるディープニューラルネットワークを、どの画像が人々に記憶されるかを予測するために活用するようになっています。これらのモデルは現在、広告から科学研究に至るまで、あらゆる場面で画像をスコアリングし選択するために使用されており、しばしば人間の観察者に取って代わっています。しかし、決定的な疑問が残っています。それは、画像がノイズやぼやけによって劣化している場合、これらの機械は私たちと同じように記憶を理解しているのだろうか、という点です。
ジョージ・メイスン大学の研究チームは、人間と人工知能が視覚的なノイズをどのように扱うかを比較することで、この問題に挑みました。彼らはまず、非常に記憶に残りやすいシーンから忘れられやすいものまで、様々なレベルの記憶留まりやすさを持つことが知られている標準的な画像セットを用いました。次に、古いテレビ画面に見られるような粒状のノイズ（スタティック）を加えたり、ぼかしを入れたりすることで、これらの画像を体系的に劣化させました。まず、研究チームはこれらのノイズを含んだ画像を、現在、人間の記憶を予測する上で最高峰とされるいくつかの最先端のコンピュータモデルに通しました。その結果は驚くべきものでした。コンピュータモデルは、「確率共鳴（ストキャスティック・レゾナンス）」と呼ばれる現象に似た挙動を示しました。これは、わずかなノイズを加えることで、かえって弱い信号を検出しやすくなるという現象です。モデルにおいては、ノイズを加えることで、最も記憶に残りにくい画像がより記憶に残りやすく見える一方で、最も記憶に残りやすい画像はそうではなくなってしまいました。まるでノイズがコンピュータの焦点を混乱させ、画像の重要性を誤認させたかのようでした。
研究チームは次に、人間の参加者に同じタスクを行ってもらうため、同じノ覚的なノイズやぼやけを含む画像を用いて、繰り返し現れる画像を特定するという連続認識ゲームを実施しました。人間の結果は、全く異なる物語を語っていました。画像が劣化しても、記憶に残りやすい画像に対する人間の記憶力は強く、ノイズに対して耐性を持っていました。しかし、記憶に残りにくい画像に対する記憶は急激に低下しました。コンピュータとは異なり、人間はノイズによって忘れられやすい画像を覚えやすくなることはありませんでした。むしろ、ノイズはあらゆることを思い出すのを困難にしましたが、際立った画像をつかんでおくための脳の能力は極めて強固でした。この研究では、ノイズのある画像を用いてモデルを再学習させる（これは通常、機械が劣化した物体をより良く認識するのに役立つ手法です）という手法を用いても、人間と機械のパフォーマンスの差は存続することが分かりました。モデルは依然としてノイズが記憶に与える影響を誤判定し続けており、これは、彼らの内部的な画像処理方法が、人間の学習や記憶の方法とは根本的に異なっていることを示唆しています。
コンピュータがなぜ失敗しているのかを理解するために、研究者たちはモデルが判断を下す際に「どこを見て」いるのかを調査しました。その結果、記憶に残りやすい画像に対して、モデルは画像の特定の中心部分に注意を向けていることが分かりました。ノイズが加えられると、この焦点は散漫になり、画像の記憶留まりやすさに対するモデルの確信度は低下しました。一方で、記憶に残りにくい画像については、当初は焦点が散漫であったものの、ノザによって特定の箇所に集中することがあり、それが偶然にもスコアを押し上げてしまうことがありました。対照的に、人間の記憶は、これと同じような単一の焦点には依存していません。研究者たちは、人間の記憶は画像自体の特徴だけでなく、その画像がセット内の他の画像とどのように関連しているかに大きく依存していることを発見しました。これをテストするために、彼らは「GraphMem」と呼ばれる新しいモデルを構築しました。このモデルは、各画像を個別に分析するのではなく、すべての画像間の関係性を考慮し、それらが互いにどれほど似ているかに基づいてマッピングを行うものです。
研究者がこの新しいアプローチをテストしたところ、結果は劇的に変化しました。画像間の文脈と関係性を考慮するGraphMemは、はるかに人間に近い挙動を示しました。それは、ノイズが増加しても記憶に残りやすい画像は安定している一方で、記憶に残りにくい画像は悪化することを正しく予測しました。また、「ノイズが悪質な画像をより良くする」という罠にも陥りませんでした。この研究は、現在の人工知能がノイズ条件下で苦戦する理由は、すべての画像を独立したオブジェクトとして扱い、私たちが自然に世界を見ている際の広い文脈を無視しているからであることを示唆しています。不完全な明晰さの中で世界を見て育ってきた人間は、ノイズをフィルタリングし、これまで見てきた他のあらゆるものに対する画像の特異性に依存して判断する方法を学んでいるのです。この知見は、真に人間のような記憶システムを構築するためには、人工知能が個々の特徴の分析を超えて、一つの画像が次の画像へとつながる関係性の網目（ウェブ）を理解し始める必要があることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。