Resumen Técnico: See & Sniff: Aprendizaje de Representaciones Visuo-Olfativas

Planteamiento del Problema

A pesar de la integración de la visión con el lenguaje, el audio y el tacto en la IA multimodal moderna, el olfato sigue siendo una modalidad ampliamente inexplorada. Esta brecha surge principalmente de la escasez de datos visuo-olfativos emparejados; a diferencia de las cámaras o los micrófonos, los sensores olfativos portátiles se han limitado históricamente a los laboratorios, y los conjuntos de datos públicos a gran escala carecen de la información visual correspondiente. Aunque esfuerzos recientes como SmellNet han publicado conjuntos de datos de olores a gran escala, estos siguen siendo unimodales (solo olfativos), lo que impide el aprendizaje de representaciones conjuntas entre la apariencia visual y la identidad del olor. El desafío central abordado por este trabajo es cómo permitir el aprendizaje autosupervisado de representaciones visuo-olfativas sin la disponibilidad de datos recolectados de forma natural y emparejada.

Metodología

1. Construcción del Conjunto de Datos: SmellNet-V

Los autores presentan SmellNet-V, un conjunto de datos visuo-olfativos escalable construido mediante el emparejamiento sintético de datos existentes de solo olor con imágenes de la web capturadas en entornos reales (in-the-wild). Este enfoque se basa en la idea clave de que la identidad del olor es ampliamente invariable a las transformaciones visuales (por ejemplo, iluminación, escala o variaciones menores de color) dentro de una categoría semántica. Por ejemplo, una manzana roja pequeña y una manzana roja grande emiten compuestos orgánicos volátiles (COV) casi idénticos y pertenecen a la misma categoría de olor.

El pipeline de construcción implica:

• Unidades de Olfateo (Sniffing Units): Extender el conjunto de datos SmellNet mediante la segmentación de grabaciones olfativas largas en ventanas temporales de longitud fija (simulando "olfateos" biológicos) para aumentar la granularidad de los datos.
• Recolección de Imágenes: Utilizar un Modelo de Lenguaje Grande (LLM) para generar consultas de búsqueda ricas en contexto para cada ingrediente (por ejemplo, "manzana entera sobre mesa de madera", "manzanas en sección de frutas de un supermercado") para recuperar imágenes diversas de la web.
• Filtrado: Un pipeline de tres etapas utilizando CLIP para la verificación basada en prompts (asegurando la consistencia de la categoría, el fotorrealismo y el estado válido del objeto), detección de marcas de agua y refinamiento humano.
• Emparejamiento: Emparejar aleatoriamente cada unidad de olfateo con una imagen de la misma categoría de ingrediente para formar los pares de entrenamiento.

2. Marco de Trabajo: See & Sniff

See & Sniff es un marco de aprendizaje autosupervisado diseñado para aprender representaciones visuo-olfativas conjuntas mediante el alineamiento local denso.

• Arquitectura: El modelo emplea una arquitectura de dos corrientes (two-stream transformer).
  • Codificador Visual: Utiliza un backbone congelado DINOv3-Small con un alineador ligero (LayerNorm + convolución 1x1).
  • Codificador Olfativo: Sigue la arquitectura ScentFormer (transformer de 4 capas) entrenada desde cero, seguida de un alineador MLP de dos capas.
• Objetivo de Entrenamiento: El marco utiliza el aprendizaje contrastivo. A diferencia de los métodos estándar de alineamiento global que agrupan características, See & Sniff computa un mapa de similitud entre el mapa de características visuales espaciales y la característica de olfateo agregada.
  • La característica de olfateo se promedia sobre el tiempo (average-pooled).
  • Se genera un mapa de similitud $M \in \mathbb{R}^{H \times W}$ computando el producto interno entre el vector de olfateo agregado y cada ubicación espacial en el mapa de características visuales.
  • La puntuación de similitud final se deriva mediante el max-pooling de este mapa.
  • La función de pérdida atrae a los pares positivos (olor e imagen coincidentes) mientras repele a los pares negativos (imágenes no coincidentes) dentro del lote (batch).

3. Nuevas Tareas y Benchmarks

El artículo introduce y evalúa tres tareas de seguimiento:

1. Clasificación de Olor: Predecir categorías de ingredientes a partir de entradas olfativas únicamente.
2. Recuperación Cross-Modal: Recuperación bidireccional entre olor y visión (por ejemplo, recuperar una imagen dado un olor, o viceversa).
3. Localización de Olor: Una tarea novedosa donde el modelo debe identificar la ubicación espacial de una fuente de olor dentro de una escena visual. Esto se evalúa utilizando un benchmark recién construido, SmellNet-V-Source, que incluye máscaras de segmentación a nivel de píxel para los ingredientes.

Contribuciones Clave

1. Conjunto de Datos SmellNet-V: La construcción del primer conjunto de datos visuo-olfativo a gran escala aprovechando la invariancia del olor para emparejar sintéticamente datos de solo olor con diversas imágenes de la web, evitando la costosa recolección de datos en el mundo real.
2. Marco See & Sniff: Un modelo autosupervisado que aprende representaciones conjuntas mediante el alineamiento local denso, produciendo naturalmente mapas de saliencia de olor para el anclaje espacial (spatial grounding).
3. Tarea de Localización de Olor: La introducción de la localización de olor como una nueva tarea de seguimiento, acompañada del primer conjunto de datos y benchmark de localización de olor a nivel de píxel.
4. Mejoras de Rendimiento: Demostración de que el entrenamiento visuo-olfativo mejora el aprendizaje de la representación olfativa intrínseca, superando las líneas base de solo olor.

Resultados Experimentales

Clasificación de Olor

Evaluado en el conjunto de prueba SmellNet-Test (inferencia de solo olor), el modelo See & Sniff logró una mejora del 7% en la precisión sobre la línea base ScentFormer de solo olor (57.71% vs. 50.6%). Esta ganancia fue consistente en todas las familias de ingredientes (frutas, hierbas, frutos secos, especias, vegetales), con mejoras notables en categorías con estructuras visuales distintas (por ejemplo, frutas, frutos secos).

Recuperación Cross-Modal

En el conjunto de prueba SmellNet-V-Test, See & Sniff logró el mejor rendimiento en 4 de 6 métricas (Recall@1, @5, @10 para ambas direcciones). Notablemente, superó a las líneas base de alineamiento global en la configuración más desafiante de Recall@1, lo que indica capacidades de emparejamiento de grano fino superiores.

Localización de Olor

El modelo superó significativamente a todas las líneas base en el benchmark SmellNet-V-Source:

• mAP: 0.8362 (See & Sniff) vs. 0.6676 (Alineamiento global) y 0.1736 (Global-CLIP).
• mIoU: 0.6456 (See & Sniff) vs. 0.5016 (Alineamiento global).
• Hallazgo Clave: El alineamiento local denso fue esencial para el anclaje espacial; los métodos de alineamiento global fallaron al no poder modelar las interacciones cruzadas espaciales. El modelo unificado de extremo a extremo también superó a los pipelines en cascada (SmellNet + SAM3), demostrando la necesidad de la interacción conjunta de características.
• Localización Interactiva: En escenarios con múltiples ingredientes en una sola imagen, See & Sniff logró desplazar su región predicha basándose en la consulta de olor específica, mientras que los métodos globales y las líneas base puramente visuales fallaron.

Significado y Reivindicaciones

El artículo posiciona a See & Sniff como un paso fundacional hacia la integración del olfato en los sistemas de percepción multimodal. Los autores afirman que:

• La supervisión visual mejora el aprendizaje olfativo: Contrario a la suposición de que la visión es meramente auxiliar, los datos visuales fortalecen significativamente la representación intrínseca del olor, mejorando el rendimiento de la clasificación incluso cuando la visión no está presente durante la inferencia.
• El emparejamiento sintético es viable: La estrategia de emparejar datos de solo olor con imágenes de la web basadas en la invariancia semántica es una alternativa efectiva y escalable a la costosa recolección de datos en el mundo real.
• El anclaje espacial es posible: Al aprender alineamientos locales densos, los modelos pueden ir más allá de la simple clasificación para localizar espacialmente las fuentes de olor, una capacidad previamente inexplorada en la olfacción de máquinas.

El trabajo establece nuevos estándares para la clasificación, la recuperación y el anclaje espacial, llevando la olfacción de máquinas más allá del modelado unimodal. Los autores señalan modestamente que trabajos futuros podrían extender estas capacidades a estados degradados (deterioro) y mezclas complejas de olores, pero la contribución actual se centra en establecer la viabilidad del aprendizaje visuo-olfativo en estados de ingredientes normales y no degradados.