New York Smells: A Large Multimodal Dataset for Olfaction

コンピューターがバラの写真を見て、それが甘い香りがすることを即座に理解できる世界を想像してみてください。何十年もの間、機械は視覚、聴覚、さらには触覚の達人となり、写真や音声クリップの中にあるパターンを驚異的な速さで認識することを学習してきました。しかし、一つの感覚だけが彼らにとって謎のまま残されています。それは「嗅覚」です。犬のような動物が鼻を使って世界をナビゲートし、食べ物を見つけ、危険を察知するように、機械は「匂いを嗅ぐ」ことに苦戦してきました。その主な理由は、技術的に不可能だからではなく、データが不足しているからです。コンピューターに匂いを教えるには、特定の匂いがまさに何によって引き起こされているのかが正確に組み合わされた、膨大な事例のライブラリが必要です。これまで、ほとんどの匂いデータは、単一の物体を用いた無菌的で静かなラボの中で収集されており、それは現実世界の乱雑で複雑な実態を反映していませんでした。

この論文は、「New York Smells」と呼ばれる、極めて大きな前進を紹介しています。研究チームであるコロンビア大学、コーネル大学、およびOsmo Labsのメンバーは、文字通り「野生」へと繰り出しました。彼らはニューヨーク市の公園、図書館、ジム、そして街路を実際に歩き回ったのです。彼らは、高精細カメラを電子鼻（空気中の化学物質を検知する装置）のすぐ隣に保持する特別なバックパック型の装置を製作しました。歩きながら、彼らはピザの一切れから苔の塊、木製のベンチ、プラスチックの袋に至るまで、数千組の画像と匂いのペアを記録し、あらゆるものを捉えました。彼らは単にスナップショットを撮ったのではありません。空気が物体の周りをどのように動くかに伴って、その物体の香りがどのように変化するかを、時間の経過とともに記録したのです。これらの現実世界の匂いを視覚データと組み合わせることで、彼らは3,500種類の異なる物体をカバーする、7,000組のユニークな「匂いと画像のペア」を持つデータセットを作り上げました。これは、これまでのどの匂いデータセットよりも約70倍大きいものです。

チームはこの新しいライブラリを使用して、コンピューターに匂いの理解方法を教えました。彼らは「対照学習（contrastive learning）」と呼ばれる手法を試みました。これは、巨大なマッチングゲームのようなものです。コンピューターに本の写真と本の匂いを同時に見せ、その二つを結びつけるように学習させます。その後、新しい匂いを見て一致する写真を見つけ出せるか、あるいは写真を見て匂いを推測できるかをテストします。結果は驚くべきものであり、有望なものでした。コンピューターは、加工されていない生の匂いデータ（センサーからの乱雑でリアルタイムな信号）が、科学者が通常使用する「整理された」要約データよりも、学習においてはるかに優れていることを学びました。実際、コンピューターは匂いのみから物体や素材を認識することを学習しましたが、それは学習プロセス中に視覚信号を「監督者（教師）」として使用したからこそでした。コンピューターは、公園で隣り合って生えている、非常によく似た二種類の芝の違いさえも判別することができました。

この論文は、機械に視覚的な「教師」を与えることで、ラボの中だけでなく、現実世界における匂いの学習を助けることができると示唆しています。研究者たちは、コンピューターが写真を用いて学習をガイドしたとき、匂いのデータのみから学習しようとしたときよりも、はるかに鋭い嗅覚を発達させたことを発見しました。これは、コンピューターがまだ犬のように匂えることを意味するわけではありませんが、視覚と嗅覚を結びつけることが、機械に化学の世界を教えるための強力な方法であることを証明しています。チームは、自分たちのデータは一つの都市のものであり、センサーがすべての化学物質を検知できるわけではないと慎重に注釈を入れていますが、彼らは一つの扉を開きました。彼らは、もし私たちが機械に多様で現実世界に基づいた匂いと視覚のライブラリを与えれば、機械は私たちの周囲にある目に見えない世界についての理解を構築し始めることができるのだということを示したのです。