HyperCookies A hyperspectral dataset of cookies for spectral-spatial machine learning

No mundo da visão, nossos olhos e as câmeras padrão que carregamos nos bolsos são limitados a uma fatia estreita da realidade. Eles capturam a luz em três bandas amplas — vermelho, verde e azul — criando imagens que nos parecem familiares, mas que perdem uma vasta quantidade de informações ocultas no espectro. Muitos materiais, desde as folhas de uma planta até a superfície de um biscoito, refletem a luz de formas que parecem idênticas aos nossos olhos, mas possuem impressões digitais químicas únicas quando visualizadas através de centenas de comprimentos de onda específicos. Este é o reino da imagem hiperespectral, uma tecnologia que captura não apenas uma foto, mas um relatório químico detalhado para cada pixel dessa imagem. Embora esta tecnologia seja usada há muito tempo para classificar colheitas ou inspecionar peças industriais, um desafio persistente permaneceu: como ensinar computadores a usar tanto os dados químicos quanto a forma visual de um objeto ao mesmo tempo. A maioria dos conjuntos de dados existentes permite que os computadores resolvam problemas olhando apenas para a química ou apenas para a forma, mas as tarefas do mundo real frequentemente exigem que uma máquina entenda como as duas estão interligadas.

Uma equipe de pesquisadores da KU Leuven, na Bélgica, abordou essa lacuna ao criar um novo padrão de referência chamado HyperCookies. Eles não apenas reuniram imagens de alimentos; eles projetaram um quebra-cabeça específico que força um computador a observar tanto a composição química quanto o arranjo físico de um biscoito para resolvê-lo. Os pesquisadores assaram 160 biscoitos feitos à mão, cada um decorado com gotas de chocolate. O truque reside nos ingredientes e no layout. Eles usaram dois tipos de chocolate: um com 54 por cento de cacau e outro com 80 por cento de cacau. Para o olho nu, e mesmo para uma câmera padrão, esses dois chocolates parecem quase exatamente iguais. No entanto, sua composição química é diferente o suficiente para que uma câmera hiperespectral possa distingui-los. Os pesquisadores então organizaram essas gotas nos biscoitos em quatro padrões distintos: algumas em um círculo com o chocolate mais escuro do lado de fora, outras com o chocolate mais escuro no meio, e outras em layouts de tabuleiro de xadrez ou diagonais.

O objetivo era criar um conjunto de dados onde um computador não pudesse vencer baseando-se em apenas uma modalidade. Se uma máquina tentasse identificar o tipo de biscoito usando apenas a assinatura química do chocolate, ela falharia porque a mistura química média de todo o biscoito parecia muito semelhante entre as diferentes classes. Se tentasse identificar o biscoito usando apenas o padrão visual, também falharia porque os dois tipos de chocolate são visualmente indistinguíveis sob luz padrão. Para ter sucesso, um algoritmo precisava aprender a ver o padrão e saber onde cada química estava localizada. Os pesquisadores capturaram esses biscoitos usando duas câmeras especializadas que escaneiam o espectro de luz, uma cobrindo a faixa do visível e do infravermelho próximo e outra cobrindo a faixa do infravermelho de ondas curtas. Eles tiraram fotos dos biscoitos tanto antes de serem assados quanto depois de saírem do forno, introduzindo as mudanças naturais causadas pelo calor na massa e no chocolate.

Quando os pesquisadores testaram ferramentas padrão de aprendizado de máquina neste novo conjunto de dados, os resultados foram claros e humildes. Eles tentaram usar métodos que olham apenas para os dados químicos, fazendo a média do espectro de todo o biscoito, e esses métodos não tiveram um desempenho melhor do que o acaso. Eles também tentaram redes poderosas de reconhecimento de imagem que olham apenas para a forma e a textura do biscoito, e estas também tiveram dificuldade em distinguir as classes. Os melhores resultados alcançados com essas abordagens separadas ficaram em torno de 40 a 50 por cento de precisão, muito abaixo do nível necessário para um sistema confiável. Esse resultado não foi uma falha da tecnologia, mas uma confirmação do design do conjunto de dados. Provou que, para esta tarefa específica, olhar apenas para a química ou apenas para a forma não é suficiente. A informação necessária para resolver o quebra-cabeça está trancada na relação entre as duas.

O artigo apresenta o conjunto de dados HyperCookies como um recurso público para que cientistas possam desenvolver e testar novos métodos para fundir essas duas informações. Ao fornecer grupos de dados pré-segmentados para treinamento e teste, os pesquisadores garantem que estudos futuros possam ser comparados de forma justa. O conjunto de dados inclui registros detalhados dos biscoitos, observando até imperfeições menores, como rachaduras ou chocolate espalhado que ocorreram durante o cozimento, permitindo que os pesquisadores testem o quão robustos seus modelos são contra a desordem do mundo real. O trabalho não afirma ter resolvido o problema da classificação de biscoitos, nem sugere uma nova maneira de assar guloseimas melhores. Em vez disso, oferece um campo de teste rigoroso. Ele mostra que, embora as ferramentas atuais sejam excelentes em ver ou a química ou o espaço, a próxima geração de inteligência artificial precisa aprender a vê-las juntas, assim como um especialista humano faria, para navegar na realidade complexa e multicamadas do mundo físico.