New York Smells: A Large Multimodal Dataset for Olfaction

Imagine um mundo onde os computadores podem ver a foto de uma rosa e saber instantaneamente que ela tem um cheiro doce. Durante décadas, as máquinas tornaram-se mestres da visão, da audição e até do tato, aprendendo a reconhecer padrões em fotos e clipes de áudio com uma velocidade incrível. Mas há um sentido que permaneceu um mistério para elas: o olfato. Enquanto animais como cães usam seus narizes para navegar pelo mundo, encontrar comida e detectar perigo, as máquinas têm tido dificuldade em "farejar" qualquer coisa. A razão principal não é que a tecnologia seja impossível, mas sim que os dados estão faltando. Para ensinar um computador a cheirar, você precisa de uma biblioteca massiva de exemplos onde um cheiro específico seja pareado exatamente com o que o está causando. Até agora, a maioria dos dados de odor era coletada em laboratórios estéreis e silenciosos com objetos únicos, o que não reflete a realidade desordenada e complexa do mundo real.

Este artigo apresenta um novo e enorme passo à frente chamado "New York Smells". Os pesquisadores, uma equipe da Universidade de Columbia, Cornell e Osmo Labs, foram para o mundo real — literalmente caminhando por parques, bibliotecas, academias e ruas de Nova York. Eles construíram um suporte especial de mochila que segurava uma câmera de alta definição bem ao lado de um nariz eletrônico (um dispositivo que detecta substâncias químicas no ar). Enquanto caminhavam, registraram milhares de pares de imagens e cheiros, capturando desde uma fatia de pizza até um pedaço de musgo, um banco de madeira e um saco plástico. Eles não apenas tiraram uma foto; eles registraram o cheiro ao longo do tempo, capturando como o aroma de um objeto muda conforme o ar se move ao seu redor. Ao parear esses cheiros do mundo real com os dados visuais do que estavam cheirando, eles criaram um conjunto de dados com 7.000 pares únicos de cheiro-imagem, cobrindo 3.500 objetos diferentes. Isso é cerca de 70 vezes maior do que qualquer conjunto de dados de odor anterior.

A equipe usou esta nova biblioteca para ensinar computadores a entender cheiros. Eles tentaram um método chamado "aprendizado contrastivo", que é como jogar um jogo de correspondência gigante. O computador recebe a imagem de um livro e o cheiro de um livro ao mesmo tempo, e aprende a vincular os dois. Depois, ele é testado para ver se consegue olhar para um novo cheiro e encontrar a imagem correspondente, ou olhar para uma imagem e adivinhar o cheiro. Os resultados foram surpreendentes e promissores. O computador aprendeu que os dados de odor brutos e não processados (os sinais reais e em tempo real vindos do sensor) eram muito melhores para o aprendizado do que os resumos "limpos" que os cientistas costumam usar. Na verdade, o computador aprendeu a reconhecer objetos e materiais apenas pelo cheiro, mas isso só ocorreu porque utilizou os sinais visuais como um supervisor durante o processo de treinamento. Ele conseguiu até distinguir entre dois tipos de grama muito semelhantes crescendo lado a lado em um parque.

O artigo sugere que, ao dar às máquinas um "professor" visual, podemos ajudá-las a aprender a cheirar no mundo real, e não apenas em um laboratório. Os pesquisadores descobriram que, quando o computador usava as imagens para guiar seu aprendizado, ele desenvolvia um senso de olfato muito mais aguçado do que quando tentava aprender apenas a partir dos dados de odor. Isso não significa que o computador já consiga cheirar como um cachorro, mas prova que vincular a visão e o olfato é uma forma poderosa de ensinar as máquinas sobre o mundo químico. A equipe faz questão de notar que seus dados vêm de uma única cidade e que seus sensores não conseguem detectar todas as substâncias químicas, mas eles abriram uma porta. Eles mostraram que, se dermos às máquinas uma biblioteca diversificada de cheiros e visões do mundo real, elas podem começar a construir sua própria compreensão do mundo invisível ao nosso redor.