New York Smells: A Large Multimodal Dataset for Olfaction

Imagina un mundo donde las computadoras pueden ver la imagen de una rosa e instantáneamente saber que huele dulce. Durante décadas, las máquinas se han convertido en maestras de la vista, el oído e incluso el tacto, aprendiendo a reconocer patrones en fotos y clips de audio con una velocidad increíble. Pero hay un sentido que ha permanecido como un misterio para ellas: el olfato. Mientras que los animales, como los perros, usan sus narices para navegar por el mundo, encontrar comida y detectar el peligro, las máquinas han luchado por "olfatear" cualquier cosa. La razón principal no es que la tecnología sea imposible, sino que los datos faltan. Para enseñar a una computadora a oler, se necesita una biblioteca masiva de ejemplos donde un olor específico esté emparejado exactamente con lo que lo está causando. Hasta ahora, la mayoría de los datos de olor se recolectaban en laboratorios estériles y silenciosos con objetos únicos, lo que no refleja la realidad desordenada y compleja del mundo real.

Este artículo presenta un nuevo paso masivo hacia adelante llamado "New York Smells" (Olores de Nueva York). Los investigadores, un equipo de la Universidad de Columbia, Cornell y Osmo Labs, salieron al mundo salvaje —literalmente caminando a través de parques, bibliotecas, gimnasios y calles de la ciudad de Nueva York. Construyeron un soporte especial para mochila que sostenía una cámara de alta definición justo al lado de una nariz electrónica (un dispositivo que detecta sustancias químicas en el aire). Mientras caminaban, registraron miles de pares de imágenes y olores, capturando desde una rebanada de pizza hasta un parche de musgo, un banco de madera y una bolsa de plástico. No solo tomaron una instantánea; registraron el olor a lo largo del tiempo, capturando cómo cambia el aroma de un objeto a medida que el aire se mueve a su alrededor. Al emparejar estos olores del mundo real con los datos visuales de lo que estaban oliendo, crearon un conjunto de datos con 7,000 pares de imagen-olor únicos, cubriendo 3,500 objetos diferentes. Esto es aproximadamente 70 veces más grande que cualquier conjunto de datos de olor previo.

El equipo utilizó esta nueva biblioteca para enseñar a las computadoras cómo entender los olores. Probaron un método llamado "aprendizaje contrastivo", que es como jugar a un juego gigante de emparejar. Se le muestra a la computadora la foto de un libro y el olor de un libro al mismo tiempo, y ella aprende a vincular ambos. Luego, se pone a prueba para ver si puede mirar un nuevo olor y encontrar la imagen correspondiente, o mirar una imagen y adivinar el olor. Los resultados fueron sorprendentes y prometedores. La computadora aprendió que los datos de olor crudos y sin procesar (las señales desordenadas y en tiempo real del sensor) eran mucho mejores para aprender que los resúmenes "limpios" que los científicos suelen usar. De hecho, la computadora aprendió a reconocer objetos y materiales solo a través del olor, pero solo porque utilizó las señales visuales como un supervisor durante el proceso de entrenamiento. Incluso pudo distinguir entre dos tipos de pasto muy similares creciendo uno al lado del otro en un parque.

El artículo sugiere que, al darle a las máquinas un "maestro" visual, podemos ayudarlas a aprender a oler en el mundo real, no solo en un laboratorio. Los investigadores descubrieron que cuando la computadora usaba las imágenes para guiar su aprendizaje, desarrollaba un sentido del olfato mucho más agudo que cuando intentaba aprender solo de los datos de aroma. Esto no significa que la computadora pueda oler como un perro todavía, pero demuestra que vincular la vista y el olfato es una forma poderosa de enseñar a las máquinas sobre el mundo químico. El equipo es cuidadoso al notar que sus datos provienen de una sola ciudad y que sus sensores no pueden detectar cada sustancia química, pero han abierto una puerta. Han demostrado que, si les damos a las máquinas una biblioteca diversa de olores y vistas del mundo real, estas pueden comenzar a construir su propio entendimiento del mundo invisible que nos rodea.