HyperCookies A hyperspectral dataset of cookies for spectral-spatial machine learning

Dans le monde de la vision, nos yeux et les caméras standards que nous portons dans nos poches sont limités à une étroite tranche de la réalité. Ils capturent la lumière dans trois larges bandes — rouge, verte et bleue — créant des images qui nous semblent familières mais qui manquent une vaste quantité d'informations cachées dans le spectre. De nombreux matériaux, des feuilles d'une plante à la surface d'un biscuit, réfléchissent la lumière de manières qui paraissent identiques à nos yeux, mais possèdent des empreintes chimiques uniques lorsqu'ils sont observés à travers des centaines de longueurs d'onde spécifiques. C'est le domaine de l'imagerie hyperspectrale, une technologie qui capture non seulement une image, mais un rapport chimique détaillé pour chaque pixel de cette image. Bien que cette technologie soit utilisée depuis longtemps pour trier des récoltes ou inspecter des pièces industrielles, un défi persistant est resté : comment apprendre aux ordinateurs à utiliser simultanément les données chimiques et la forme visuelle d'un objet. La plupart des ensembles de données existants permettent aux ordinateques de résoudre des problèmes en regardant soit uniquement la chimie, soit uniquement la forme, mais les tâches du monde réel exigent souvent qu'une machine comprenne comment les deux sont entrelacés.

Une équipe de chercheurs de la KU Leuven en Belgique a comblé cette lacune en créant un nouveau banc d'essai appelé HyperCookies. Ils n'ont pas simplement rassemblé des images de nourriture ; ils ont conçu un casse-tête spécifique qui force un ordinateur à regarder à la fois la composition chimique et la disposition physique d'un biscuit pour le résoudre. Les chercheurs ont cuit 160 biscuits faits main, chacun décoré de gouttelettes de chocolat. Le secret réside dans les ingrédients et la disposition. Ils ont utilisé deux types de chocolat : l'un avec 54 % de cacao et l'autre avec 80 % de cacao. À l'œil nu, et même pour une caméra standard, ces deux chocolats se ressemblent presque exactement. Cependant, leur composition chimique est suffisamment différente pour qu'une caméra hyperspectrale puisse les distinguer. Les chercheurs ont ensuite disposé ces gouttelettes sur les biscuits selon quatre motifs distincts : certaines en cercle avec le chocolat le plus foncé à l'extérieur, d'autres avec le chocolat le plus foncé au milieu, et d'autres en damier ou en diagonale.

L'objectif était de créer un ensemble de données où un ordinateur ne pourrait pas gagner en s'appuyant sur une seule modalité. Si une machine tentait d'identifier le type de biscuit en utilisant uniquement la signature chimique du chocolat, elle échouerait car le mélange chimique moyen de l'ensemble du biscuit semblait trop similaire entre les différentes classes. Si elle tentait d'identifier le biscuit en utilisant uniquement le motif visuel, elle échouerait également car les deux types de chocolat sont visuellement indiscernables sous une lumière standard. Pour réussir, un algorithme devait apprendre à voir le motif et savoir quel produit chimique se trouvait où. Les chercheurs ont capturé ces biscuits à l'aide de deux caméras spécialisées qui scannent le spectre lumineux, l'une couvrant le domaine du visible et de l'infrarouge proche, et l'autre couvrant le domaine de l'infrarouge à ondes courtes. Ils ont pris des photos des biscuits à la fois avant la cuisson et après leur sortie du four, introduisant les changements naturels causés par la chaleur sur la pâte et le chocolat.

Lorsque les chercheurs ont testé les outils d'apprentissage automatique standards sur ce nouvel ensemble de données, les résultats ont été clairs et humiliants. Ils ont essayé d'utiliser des méthodes qui ne regardent que les données chimiques, en faisant la moyenne du spectre de l'ensemble du biscuit, et ces méthodes n'ont pas performé mieux qu'un choix aléatoire. Ils ont également essayé de puissants réseaux de reconnaissance d'images qui ne regardent que la forme et la texture du biscuit, et ceux-ci ont également eu du mal à distinguer les classes. Les meilleurs résultats obtenus avec ces approches séparées tournaient autour de 40 à 50 % de précision, bien en dessous du niveau nécessaire pour un système fiable. Ce résultat n'était pas un échec de la technologie, mais une confirmation de la conception de l'ensemble de données. Il a prouvé que pour cette tâche spécifique, regarder la chimie seule ou la forme seule ne suffit pas. L'information requise pour résoudre l'énigme est verrouillée dans la relation entre les deux.

L'article présente l'ensemble de données HyperCookies comme une ressource publique pour que les scientifiques puissent développer et tester de nouvelles méthodes. En fournissant des groupes de données pré-découpés pour l'entraînement et les tests, les chercheurs garantissent que les études futures pourront être comparées équitablement. L'ensemble de données comprend des enregistrements détaillés des biscuits, notant même les imperfections mineures comme les fissures ou le chocolat étalé survenus pendant la cuisson, permettant aux chercheurs de tester la robustesse de leurs modèles face au désordre du monde réel. Ce travail ne prétend pas avoir résolu le problème de la classification des biscuits, ni suggère une nouvelle façon de préparer de meilleures gourmandises. Au lieu de cela, il offre un terrain de test rigoureux. Il montre que si les outils actuels sont excellents pour voir soit la chimie, soit l'espace, la prochaine génération d'intelligence artificielle doit apprendre à voir les deux ensemble, tout comme un expert humain le ferait, pour naviguer dans la réalité complexe et multicouche du monde physique.