Resumo Técnico: See & Sniff: Aprendendo Representações Visuo-Olfativas

Declaração do Problema

Apesar da integração da visão com a linguagem, o áudio e o tato na IA multimodal moderna, o olfato permanece uma modalidade amplamente inexplorada. Essa lacuna decorre principalmente da escassez de dados visuo-olfativos pareados; ao contrário de câmeras ou microfones, os sensores olfativos portáteis foram historicamente confinados a laboratórios, e grandes conjuntos de dados públicos carecem de informações visuais correspondentes. Embora esforços recentes como o SmellNet tenham liberado conjuntos de dados de cheiro em larga escala, eles permanecem unimodais (apenas olfativos), impedindo o aprendizado de representações conjuntas entre a aparência visual e a identidade do odor. O desafio central abordado por este trabalho é como permitir o aprendizado autossupervisionado de representações visuo-olfativas sem a disponibilidade de dados coletados conjuntamente de forma natural.

Metodologia

1. Construção do Conjunto de Dados: SmellNet-V

Os autores introduzem o SmellNet-V, um conjunto de dados visuo-olfativo escalável construído ao parear sinteticamente dados existentes apenas de cheiro com imagens da web capturadas "in the wild". Esta abordagem baseia-se no insight fundamental de que a identidade do odor é amplamente invariante a transformações visuais (ex: iluminação, escala ou variações menores de cor) dentro de uma categoria semântica. Por exemplo, uma pequena maçã vermelha e uma maçã vermelha grande emitem compostos orgânicos voláteis (VOCs) quase idênticos e pertencem à mesma categoria de odor.

O pipeline de construção envolve:

• Unidades de Olfação (Sniffing Units): Extensão do conjunto de dados SmellNet através da segmentação de gravações olfativas longas em janelas temporais de comprimento fixo (simulando "fungadas" biológicas) para aumentar a granularidade dos dados.
• Coleta de Imagens: Uso de um Modelo de Linguagem Grande (LLM) para gerar consultas de busca ricas em contexto para cada ingrediente (ex: "maçã inteira sobre mesa de madeira", "maçãs na seção de produtos hortifrúti de um mercado") para recuperar imagens diversas da web.
• Filtragem: Um pipeline de três estágios usando CLIP para verificação baseada em prompts (garantindo consistência de categoria, fotorrealismo e estado válido do objeto), detecção de marca d'água e refinamento humano.
• Pareamento: Correspondência aleatória de cada unidade de fungada com uma imagem da mesma categoria de ingrediente para formar os pares de treinamento.

2. Estrutura (Framework): See & Sniff

O See & Sniff é um framework autossupervisionado projetado para aprender representações visuo-olfativas conjuntas via alinhamento local denso.

• Arquitetura: O modelo utiliza uma arquitetura de dois fluxos (two-stream transformer).
  • Codificador Visual: Utiliza um backbone DINOv3-Small congelado com um alinhador leve (LayerNorm + convolução 1x1).
  • Codificador Olfativo: Segue a arquitetura ScentFormer (transformer de 4 camadas) treinada do zero, seguido por um alinhador MLP de duas camadas.
• Objetivo de Treinamento: O framework utiliza aprendizado contrastivo. Diferente dos métodos de alinhamento global padrão que agrupam características (pooling), o See & Sniff computa um mapa de similaridade entre o mapa de características visuais espaciais e a característica de fungada agregada.
  • A característica de fungada é média-agregada (average-pooled) ao longo do tempo.
  • Um mapa de similaridade $M \in \mathbb{R}^{H \times W}$ é gerado computando o produto interno entre o vetor de fungada agregada e cada localização espacial no mapa de características visuais.
  • O escore de similaridade final é derivado via max-pooling deste mapa.
  • A função de perda atrai pares positivos (cheiro e imagem correspondentes) enquanto repele pares negativos (imagens não correspondentes) dentro do lote (batch).

3. Novas Tarefas e Benchmarks

O artigo introduz e avalia três tarefas de jusante (downstream):

1. Classificação de Cheiro: Predição de categorias de ingredientes a partir de entradas olfativas puras.
2. Recuperação Cross-Modal: Recuperação bidirecional entre cheiro e visão (ex: recuperar uma imagem dado um cheiro, ou vice-versa).
3. Localização de Cheiro: Uma tarefa nova onde o modelo deve identificar a localização espacial de uma fonte de cheiro dentro de uma cena visual. Isso é avaliado usando um benchmark recém-construído, SmellNet-V-Source, que inclui máscaras de segmentação ao nível de pixel para os ingredientes.

Contribuições Principais

1. Conjunto de Dados SmellNet-V: A construção do primeiro conjunto de dados visuo-olfativo em larga escala ao alavancar a invariância do odor para parear sinteticamente dados apenas de cheiro com diversas imagens da web, contornando a necessidade de coleta de dados custosa no mundo real.
2. Framework See & Sniff: Um modelo autossupervisionado que aprende representações conjuntas através de alinhamento local denso, produzindo naturalmente mapas de saliência de cheiro para fundamentação espacial (spatial grounding).
3. Tarefa de Localização de Cheiro: A introdução da localização de cheiro como uma nova tarefa de jusante, acompanhada pelo primeiro conjunto de dados e benchmark de localização de cheiro ao nível de pixel.
4. Ganhos de Desempenho: Demonstração de que o treinamento visuo-olfativo melhora o aprendizado da representação olfativa intrínseca, superando baselines de apenas cheiro.

Resultados Experimentais

Classificação de Cheiro

Avaliado no conjunto SmellNet-Test (inferência apenas de cheiro), o modelo See & Sniff alcançou uma melhora de 7% na acurácia sobre o baseline ScentFormer (apenas cheiro) (57,71% vs. 50,6%). Este ganho foi consistente em todas as famílias de ingredientes (frutas, ervas, nozes, especiarias, vegetais), com melhorias notáveis em categorias com estruturas visuais distintas (ex: frutas, nozes).

Recuperação Cross-Modal

No conjunto SmellNet-V-Test, o See & Sniff obteve o melhor desempenho em 4 de 6 métricas (Recall@1, @5, @10 para ambas as direções). Notavelmente, superou os baselines de alinhamento global na configuração mais desafiadora de Recall@1, indicando capacidades superiores de correspondência fina.

Localização de Cheiro

O modelo superou significativamente todos os baselines no benchmark SmellNet-V-Source:

• mAP: 0,8362 (See & Sniff) vs. 0,6676 (Alinhamento global) e 0,1736 (Global-CLIP).
• mIoU: 0,6456 (See & Sniff) vs. 0,5016 (Alinhamento global).
• Achado Chave: O alinhamento local denso foi essencial para a fundamentação espacial; métodos de alinhamento global falharam em modelar interações cross-modais espaciais. O modelo unificado end-to-end também superou pipelines em cascata (SmellNet + SAM3), demonstrando a necessidade de interação de características conjunta.
• Localização Interativa: Em cenários com múltiplos ingredientes em uma única imagem, o See & Sniff conseguiu deslocar sua região prevista com base na consulta de cheiro específica, enquanto métodos globais e baselines puramente visuais falharam.

Significância e Alegações

O artigo posiciona o See & Sniff como um passo fundamental para integrar o olfato em sistemas de percepção multimodal. Os autores afirmam que:

• A supervisão visual melhora o aprendizado olfativo: Contrário à suposição de que a visão é meramente auxiliar, os dados visuais fortalecem significativamente a representação intrínseca do cheiro, melhorando o desempenho da classificação mesmo quando a visão não está presente na inferência.
• O pareamento sintético é viável: A estratégia de parear dados apenas de cheiro com imagens da web baseada em invariância semântica é uma alternativa eficaz e escalável para a coleta de dados no mundo real.
• A fundamentação espacial é possível: Ao aprender alinhamentos locais densos, os modelos podem ir além da simples classificação para localizar espacialmente fontes de odor, uma capacidade anteriormente inexplorada na olfação de máquina.

O trabalho estabelece novos benchmarks para classificação, recuperação e fundamentação espacial, movendo a olfação de máquina além do modelamento unimodal. Os autores observam modestamente que trabalhos futuros poderiam estender essas capacidades para estados degradados (deterioração) e misturas complexas de odores, mas a contribuição atual foca em estabelecer a viabilidade do aprendizado visuo-olfativo em estados normais e não degradados de ingredientes.