HyperCookies A hyperspectral dataset of cookies for spectral-spatial machine learning

En el mundo de la visión, nuestros ojos y las cámaras estándar que llevamos en nuestros bolsillos están limitados a una porción estrecha de la realidad. Capturan la luz en tres bandas amplias —rojo, verde y azul—, creando imágenes que nos resultan familiares pero que pierden una vasta cantidad de información oculta en el espectro. Muchos materiales, desde las hojas de una planta hasta la superficie de una galleta, reflejan la luz de formas que parecen idénticas para nuestros ojos, pero que poseen huellas químicas únicas cuando se observan a través de cientos de longitudes de onda específicas. Este es el reino de la imagen hiperespectral, una tecnología que captura no solo una fotografía, sino un informe químico detallado para cada uno de los píxeles de esa imagen. Si bien esta tecnología se ha utilizado durante mucho tiempo para clasificar cultivos o inspeccionar piezas industriales, un desafío persistente ha permanecido: cómo enseñar a las computadoras a utilizar tanto los datos químicos como la forma visual de un objeto al mismo tiempo. La mayoría de los conjuntos de datos existentes permiten que las computadoras resuelvan problemas mirando solo la química o solo la forma, pero las tareas del mundo real a menudo exigen que una máquina comprenda cómo ambas están entrelazadas.

Un equipo de investigadores de la KU Leuven en Bélgica ha abordado esta brecha mediante la creación de un nuevo referente llamado HyperCookies. No se limitaron a reunir imágenes de alimentos; diseñaron un rompecabezas específico que obliga a una computadora a observar tanto la composición química como la disposición física de una galleta para resolverlo. Los investigadores hornearon 160 galletas hechas a mano, cada una decorada con gotas de chocolate. El truco reside en los ingredientes y en la disposición. Utilizaron dos tipos de chocolate: uno con 54 por ciento de cacao y otro con 80 por ciento de cacao. A simple vista, e incluso para una cámara estándar, estos dos chocolates se ven casi exactamente iguales. Sin embargo, su composición química es lo suficientemente distinta como para que una cámara hiperespectral pueda distinguirlos. Los investigadores luego dispusieron estas gotas en las galletas en cuatro patrones distintos: algunas en un círculo con el chocolate más oscuro en el exterior, otras con el chocolate más oscuro en el medio, y otras en disposiciones de tablero de ajedrez o diagonales.

El objetivo era crear un conjunto de datos donde una computadora no pudiera ganar dependiendo de una sola modalidad. Si una máquina intentaba identificar el tipo de galleta utilizando solo la firma química del chocolate, fallaría porque la mezcla química promedio de toda la galleta se veía demasiado similar entre las diferentes clases. Si intentaba identificar la galleta utilizando solo el patrón visual, también fallaría porque los dos tipos de chocolate son visualmente indistinguibles bajo la luz estándar. Para tener éxito, un algoritmo tenía que aprender a ver el patrón y saber dónde estaba cada componente químico. Los investigadores capturaron estas galletas utilizando dos cámaras especializadas que escanean el espectro de luz, una que cubre el rango visible e infrarrojo cercano y otra que cubre el rango infrarrojo de onda corta, y tomaron fotos de las galletas tanto antes de ser horneadas como después de salir del horno, introduciendo los cambios naturales que el calor provoca en la masa y el chocolate.

Cuando los investigadores probaron las herramientas estándar de aprendizaje automático en este nuevo conjunto de datos, los resultados fueron claros y humildes. Intentaron utilizar métodos que solo observan los datos químicos, promediando el espectro de toda la galleta, y estos métodos no funcionaron mejor que el azar. También probaron redes potentes de reconocimiento de imágenes que solo observan la forma y la textura de la galleta, y estas también tuvieron dificultades para distinguir las clases. Los mejores resultados que lograron con estos enfoques separados rondaron entre el 40 y el 50 por ciento de precisión, muy por debajo del nivel necesario para un sistema fiable. Este resultado no fue un fallo de la tecnología, sino una confirmación del diseño del conjunto de datos. Demostró que, para esta tarea específica, mirar solo la química o solo la forma no es suficiente. La información necesaria para resolver el rompecabezas está encerrada en la relación entre ambas.

El artículo presenta el conjunto de datos HyperCookies como un recurso público para que científicos desarrollen y prueben nuevos métodos. Al proporcionar grupos de datos pre-segmentados para entrenamiento y prueba, los investigadores aseguran que los estudios futuros puedan compararse de manera justa. El conjunto de datos incluye registros detallados de las galletas, señalando incluso imperfecciones menores como grietas o chocolate esparcido que ocurrieron durante el horneado, lo que permite a los investigadores probar qué tan robustos son sus modelos frente al desorden del mundo real. El trabajo no pretende haber resuelto el problema de la clasificación de galletas, ni sugiere una nueva forma de hornear mejores dulces. En cambio, ofrece un campo de prueba riguroso. Muestra que, si bien las herramientas actuales son excelentes para ver la química o el espacio por separado, la próxima generación de inteligencia artificial necesita aprender a verlos juntos, tal como lo haría un experto humano, para navegar la compleja y multicapa realidad del mundo físico.