GRAFF-MM : Graph-Frequency Filtering for Multi-Modal Memorability Prediction

ある画像は心に深く刻まれる一方で、他の画像は瞬く間に消え去ってしまう。この「記憶に残る度合い」として知られる性質（メモラビリティ）は、単にその写真がどれほど美しいか、あるいは人がそれをどれほど好むかという問題ではない。むしろ、それは画像自体が持つ測定可能な特性であり、一度見た後にその特定のシーンをどれだけ思い出しやすいかを決定する属性である。研究者たちは、人間が直感的にどの画像が記憶に残るかを推測するのが苦手であることを古くから知っている。私たちは、印象的な顔や鮮やかな色が画像を記憶に残らせると想定しがちだが、実際には、特定の物体の配置による平凡なシーンこそが記憶に留まることがよくある。この現象を理解するために、科学者たちはコンピュータを活用し、写真の視覚的要素を分析することで、これらのスコアを予測しようとするモデルを構築してきた。初期の試みは、色や形といった単純な測定に依存していたが、これらは画像の記憶に残る度合いを生み出す深い文脈を見落とすことが多かった。より最近の取り組みでは、複雑な人工知能を用いて物体とその関係性を調べているが、これらのシステムの多くは、依然としてシーンの微妙で高速な詳細や、人間の目が自然に画像をスキャンする方法を見落としている。

研究チームは、このパズルを解くために、画像の捉え方におけるいくつかの異なる手法を統合した新しいアプローチを提案した。「GRAFF-MM」と呼ばれる彼らの研究は、単一の手法では画像の記憶に残る度合いをすべて捉えることはできないという考えに基づいている。代わりに、このモデルは3つの異なる情報の流れを組み合わせている。すなわち、物体の空間的なレイアウト、人間の目が最も注目しやすい領域、そしてそのシーンで何が起きているかを説明する記述的な言語である。空間的なレイアウトを扱うために、研究者たちは画像を接続された点のマップとして扱うシステムを構築した。ここでは、各点が一つの物体を表し、点同士を結ぶ線がそれらの物体がどのように関連しているかを示す。極めて重要な点として、彼らは、シーンの広範で滑らかなパターンと、何か異常または重要なものを示唆する鋭く詳細なエッジの両方に注意を払うようこのシステムを学習させることで、このシステムを改良した。この二重の焦点により、コンピュータは単にオートバイが道路上にあることだけでなく、オートバイが旋回中に鋭く傾いていること、つまり、その画像が記憶に残る理由の鍵となるかもしれない詳細を捉えることができるようになる。

研究者たちは、数千枚の多様な写真から特定の物体に焦点を当てた小さなセットまで、4つの異なる画像コレクションを用いてこの新しいモデルをテストした。あらゆるケースにおいて、新モデルは従来の手法を上回り、人間がどの画像が記憶に残るかについて一致するレベルの精度を達成した。ある主要なデータセットにおいて、モデルは0.692というスコアに達し、別のデータセットでは0.711に達したが、これらの数値は人間の記憶との強い一致を示している。研究には、なぜこのモデルが機能するのかについての詳細な検証も含まれており、3つの主要な要素（空間マップ、視線追跡ガイド、またはテキスト記述）のいずれか一つを取り除くだけで、パフォーマンスが低下することが示された。これは、各要素が独自の価値を加えていることを裏付けている。すなわち、テキストは物語を提供し、視線追跡ガイドはアクションがどこにあるかを示し、空間マップは構造を明らかにしているのである。

最も重要な発見の一つは、モデルが「高周波の詳細」（以前のシステムがしばつ消してしまうことが多かった、画像内の素早く鋭い変化）を検出する能力が、成功に不可欠であったことである。視覚データをフィルタリングして、大きな全体像と微細な詳細の両方を保持することで、モデルは記憶に残るきっかけとなる特異な配置や特定の動作を特定することができた。研究者たちはまた、モデルがどのように学習したかを可視化し、異なる種類の情報を組み合わせるにつれて、解析された画像が記憶に残る度合いに基づいてより明確にグループ化され始めたことを示した。このモデルは完璧ではなく、ぼやけた画像や複雑すぎるシーンに苦戦することもあるが、コンピュータがいかにして人間の記憶と同じように世界を見る方法を学べるかという理解における重要な一歩を象徴している。彼らの研究は、私たちが何を記憶するかを真に予測するためには、画像を単なるピクセルの集合としてではなく、空間、注意、そして言語を通じて語られる物語として見なければならないことを示唆している。