HyperCookies A hyperspectral dataset of cookies for spectral-spatial machine learning

視覚の世界において、私たちの目やポケットに入っている標準的なカメラは、現実の極めて狭い一部しか捉えることができません。それらは赤、緑、青という3つの広い帯域で光を捉え、私たちには馴染みのある画像を作り出しますが、スペクトルの中に隠された膨大な情報を逃してしまいます。植物の葉からクッキーの表面に至るまで、多くの物質は、私たちの目には同一に見えるような方法で光を反射しますが、数百もの特定の波長にわたって観察すると、独自の化学的指紋を持っています。これがハイパースペクトルイメージングの領域です。この技術は、単なる写真ではなく、その写真のあらゆるピクセルに対して詳細な化学レポートを捉えます。この技術は、農作物の選別や工業部品の検査に長年使用されてきましたが、ある永続的な課題が残っていました。それは、コンピュータに化学データと物体の視覚的な形状の両方を同時に利用する方法を、いかにして教えるかという点です。既存のデータセットの多くは、化学的な側面だけを見るか、あるいは形状だけを見ることで問題を解決することをコンピュータに許していますが、現実世界のタスクでは、機械がこれら二つがいかに絡み合っているかを理解することが求められる場合が多くあります。

ベルギーのルーヴェン・カトリック大学の研究チームは、「HyperCookies」と呼ばれる新しいベンチマークを作成することで、この溝を埋めました。彼らは単に食べ物の画像を収集したのではなく、コンピュータがクッキーの化学組成と物理的な配置の両方を見なければ解けないような、特定のパズルを設計したのです。研究者たちは、チョコレートの粒でデコレーションされた160個の手作りクッキーを焼き上げました。鍵となるのは、材料とレイアウトです。彼らは、カカオ54パーセントのものと8割のカカオを含むものの2種類のチョコレートを使用しました。肉眼では、そして標準的なカメラでさえ、これら2種類のチョコレートはほぼ全く同じに見えます。しかし、その化学的構成は、ハイパースペクトルカメラであれば区別できるほど十分に異なっています。研究者たちはその後、これらの粒を4つの異なるパターンでクッキー上に配置しました。外側に濃いチョコレートを置いた円形、中央に濃いチョコレートを置いたもの、そしてチェッカーボード柄や斜めのレイアウトなどです。

目的は、単一のモダリティ（様式）に頼ることで勝利できないようなデータセットを作成することでした。もし機械が、チョコレートの化学的シグネチャーのみを利用してクッキーの種類を特定しようとすれば、異なるクラス間でもクッキー全体の平均的な化学混合物が酷似しているため、失敗するでしょう。もし、形状の視覚的パターンのみを利用してクッキーを特定しようとすれば、標準的な光の下では2種類のチョコレートが視覚的に区別できないため、やはり失敗します。成功するためには、アルゴリズムはパターンを認識し、かつ、どの化学物質がどこにあるのかを知る必要があります。研究者たちは、可視光および近赤外線領域をカバーするものと、短波赤外線領域をカバーするものの2つの特殊なカメラを使用して、これらのクッキーを撮影しました。彼らは、焼く前とオーブンから出した後の両方の状態でクッキーを撮影し、熱によって生じる生地やチョコレートの自然な変化を取り入れました。

研究者たちがこの新しいデータセットに対して標準的な機械学習ツールをテストしたところ、結果は明白かつ謙虚なものでした。彼らは、クッキー全体のスペクトルを平均化して化学データのみを見る手法を試みましたが、これらの手法はランダムな推測と同程度の性能しか示しませんでした。また、形状や質感のみを見る強力な画像認識ネットワークも試しましたが、これらもクラスの判別に苦戦しました。これら個別の手法で得られた最高の結果は、精度40〜50パーセント程度にとどまり、信頼できるシステムに必要なレベルには遠く及びませんでした。この結果は、技術の失敗ではなく、データセットのデザインの正当性を裏付けるものでした。つまり、この特定のタスクにおいては、化学のみを見ることや、形状のみを見ることでは不十分であるということを証明したのです。パズルを解くために必要な情報は、両者の関係性の中に封じ込められているのです。

論文では、Hyper-Cookiesデータセットを、科学者がこれら2種類の情報を融合させる新しい手法を開発・テストするための公開リソースとして提示しています。訓練用とテスト用に分割されたデータを提供することで、研究者たちは将来の研究が公平に比較できるようにしています。データセットには、焼き工程で発生したひび割れやチョコレートの塗りムラといった些細な不完全さの記録までも詳細に含んでおり、これにより研究者は、自身のモデルが現実世界の「乱雑さ」に対してどれほど堅牢であるかをテストできます。この研究は、クッキーの分類問題を解決したと主張したり、より良いお菓子を作るための新しい方法を提案したりするものではありません。代わりに、厳格なテストの場を提供しています。現在のツールは、化学的側面または空間的側面のいずれかを見ることは得意ですが、次世代の人工知能は、人間が専門家として行うように、物理世界の複雑で多層的な現実をナビゲートするために、それらを共に捉える方法を学ぶ必要があるということを、この研究は示しています。