🤖 AI

COLIP-2: Olfaction-Vision-Language Embeddings

El artículo presenta COLIP-2, un modelo de incrustación multimodal que integra el olfato, la visión y el lenguaje para permitir que los robots localicen de forma probabilística los olores en objetos, al tiempo que destaca las limitaciones actuales de los datos de código abierto y la necesidad de nuevos conjuntos de datos para avanzar en la percepción olfativa.

Autores originales: Kordel Kade France

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kordel Kade France

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde tu smartphone no solo vea lo que miras o escuche lo que dices, sino que también huela lo que hay en el aire. Durante décadas, las computadoras han sido brillantes reconociendo rostros en fotos y comprendiendo oraciones en libros, pero han estado completamente ciegas ante el olfato. No pueden distinguir entre una galleta recién horneada y un neumático quemándose, incluso si las están mirando fijamente. Este artículo se sumerge en el extraño e invisible mundo de la olfacción (el sentido del olfato) e intenta enseñar a una computadora cómo conectar un aroma con el objeto que lo produce.

Para entender cómo funciona esto, piensa en el "cerebro" de una computadora como una biblioteca gigante donde cada idea tiene un lugar específico en un estante. Usualmente, las fotos de perros se sienten cerca de la palabra "perro", y las fotos de gatos cerca de "gato". Esto se llama un espacio compartido. Los científicos han construido biblias masivas para la vista y las palabras, pero nunca han tenido suficientes libros sobre el olor para construir una sección similar. La gran pregunta es: ¿Podemos enseñarle a un robot a oler un aroma, mirar una habitación y adivinar: "Ah, ese olor proviene de la cafetera, no de la tostadora", sin haber visto nunca antes una foto de una cafetera oliendo a café? Este artículo explora exactamente eso, intentando cerrar la brecha entre la estructura química de una molécula, los sensores de gas que la detectan y las imágenes que tomamos con nuestras cámaras.

El puente "Olfato-Vista": Presentando COLIP-2

Conoce a COLIP-2 (Pre-entrenamiento de Contraste de Olfato-Lenguaje-Imagen 2), un nuevo tipo de cerebro de computadora construido por Scentience, Inc. Piensa en él como un traductor universal que habla cuatro idiomas a la vez: Moléculas (los diminutos bloques de construcción químicos), Sensores (las narices electrónicas que olfatean el aire), Palabras (descripciones como "cítrico" o "ahumado") e Imágenes (lo que ve tu cámara).

Antes de esto, si querías que un robot encontrara un olor, tenías que enseñarle un aroma específico a la vez, como un perro aprendiendo a encontrar una droga específica. COLIP-2 es diferente. Intenta aprender el concepto del olor. Toma la estructura química de una molécula, la lectura de un sensor de gas y una descripción textual, y los comprime todos en el mismo "estante" invisible en su cerebro donde ya guarda imágenes del mundo.

Cómo funciona: El truco de "Sin Foto"

Aquí está la parte ingeniosa: los investigadores no tenían millones de fotos de "objetos con olor" para entrenar el modelo. Esos datos aún no existen. Así que usaron un atajo inteligente. Se dieron cuenta de que palabras como "floral" o "quemado" ya viven en el cerebro de la computadora debido a cómo entiende las imágenes y el texto.

Imagina que tienes un mapa del mundo donde las "flores" están cerca de los "jardines" y el "fuego" está cerca del "humo". COLIP-2 toma un olor (como una molécula) y pregunta: "¿Qué palabras describen esto?". Si el olor es "cítrico", el modelo coloca ese olor justo al lado de la palabra "cítrico" en el mapa. Dado que la computadora ya sabe que la palabra "cítrico" está cerca de las fotos de limones y naranjas, el olor de repente "sabe" dónde están los limones, ¡incluso si nunca ha visto un limón antes! Es como aprender que un nuevo sabor sabe a "limón", y de repente, tu cerebro sabe exactamente dónde está el limonero en un bosque que nunca has visitado.

Las dos versiones: Nube vs. Borde (Edge)

El artículo describe dos versiones de este cerebro:

El Gigante de la Nube: Una versión masiva y súper precisa (1.15 mil millones de parámetros) que vive en servidores potentes. Es como un chef maestro que puede probar un plato y describir cada uno de los condimentos que contiene.
El Bolsillo del Borde (Edge Pocket): Una versión pequeña y ligera (101 millones de parámetros) diseñada para ejecutarse en el cerebro de un robot o en un teléfono móvil. Es un poco menos precisa pero lo suficientemente rápida para funcionar sin conexión, permitiendo que un robot olfatee el aire y señale un olor en tiempo real.

Lo que realmente puede hacer

Cuando le das a este modelo una foto de una cocina desordenada y una lectura de sensor de "alcohol", no solo dice "alcohol detectado". Dibuja un mapa de calor sobre la imagen. Resalta la botella de vodka con un color cálido y brillante, mostrále al robot exactamente de dónde proviene el olor.

El artículo muestra que para aproximadamente el 90% de las moléculas en las que fue probado, el modelo pudo encontrar la descripción correcta del olor en sus cinco mejores opciones. Cuando se trata de identificar la fuente de un olor en una imagen, acierta el objeto correcto aproximadamente el 72% de las veces para coincidencias exactas, y el 90% de las veces si solo se pide la categoría general (como "fruta" en lugar de un "manzana específica").

Los límites: Donde tropieza

Los autores son muy honestos sobre lo que este modelo no puede hacer. No es una varita mágica.

Es un buscador de "Familias", no un detective: El modelo es excelente diciendo: "Eso huele a cítrico", pero le cuesta decir: "Eso es específicamente un limón, no una naranja". Funciona mejor al nivel de "familia" (por ejemplo, "ahumado", "floral") en lugar de identificar una moléza única y específica.
Sin magia para cosas nuevas: Si le alimentas con un químico completamente nuevo que nunca ha visto, no puede nombrarlo perfectamente. Adivará la "familia" a la que pertenece, pero no conocerá su identidad exacta.
No es para seguridad: El artículo advierte explícitamente: No utilice esto para detectar fugas de gas tóxico o para comprobar si la comida es segura para comer. El modelo ofrece clasificaciones y probabilidades, no mediciones precisas. Si un robot piensa que un olor es "probablemente" una fuga de gas, podría estar equivocado, y eso podría ser peligroso. Es una herramienta de investigación, no un dispositivo de seguridad.

El futuro: Aprendiendo juntos

El artículo sugiere que el mayor obstáculo no es la inteligencia de la computadora, sino la falta de datos. No tenemos suficientes ejemplos de "olor y vista" para enseñar al modelo perfectamente. Para solucionar esto, el equipo está utilizando un método llamado Aprendizaje Federado (Federated Learning). Imagina miles de robots y sensores alrededor del mundo olfateando cosas y aprendiendo unos de otros sin compartir nunca sus fotos privadas o sus datos brutos. Solo envían las "lecciones" que aprendieron a un cerebro central, el cual luego envía de vuelta una versión más inteligente a todos. De esta manera, toda la flota se vuelve más inteligente junta mientras mantiene la privacidad de los datos de cada uno.

La conclusión

COLIP-2 es un paso significativo hacia adelante, demostrando que podemos enseñar a las computadoras a conectar olores con vistas usando las palabras que ya conocemos. Sugiere que, con la arquitectura adecuada, un robot puede mirar una escena y decir: "Huelo algo ahumado viniendo de esa parrilla". Sin embargo, los autores enfatizan que esto es solo el comienzo. El modelo es un prototipo que nos muestra los límites de lo que es posible con los datos abiertos actuales. Para obtener robots de olfato-vista verdaderamente perfectos, necesitamos construir nuevos conjuntos de datos y recolectar millones de ejemplos más de olores emparejados con imágenes. Hasta entonces, COLIP-2 es una herramienta poderosa y lúdica para que los investigadores construyan el futuro de las narices robóticas.

Resumen Técnico: COLIP-2 (Contrastive Olfaction-Language-Image Pre-training 2)

Planteamiento del Problema

Los modelos fundacionales existentes, particularmente los Modelos de Lenguaje-Visión (VLM), carecen de una percepción olfativa robusta y de interpretabilidad molecular. Mientras que los VLM de billones de parámetros pueden alinear cientos de millones de pares imagen-texto, no existe un análogo olfativo comparable debido a la ausencia de conjuntos de datos a escala ImageNet que vinculen imágenes con aromas. El desafío central es fundamentar el olfato en un espacio de incrustación (embedding) compartido con la visión y el lenguaje sin depender de enormes conjuntos de datos emparejados entre aroma e imagen, los cuales no existen, permitiendo así que los robots localicen fuentes de olor en una escena de forma probabilística.

Metodología

COLIP-2 es un modelo de incrustación multimodal que unifica cuatro modalidades: estructura molecular, lecturas de sensores de gas, descriptores de olor en texto e imágenes. A diferencia de su predecesor (COLIP-1), que dependía de datos de entrenamiento sintéticos y de un co-entrenamiento simétrico, COLIP-2 utiliza una estrategia de alineación de "un solo lado" anclada por un Modelo de Lenguaje-Visión (VLM) pre-entrenado.

Arquitectura

El sistema consta de tres componentes principales:

Columna Vertebral de Lenguaje-Visión Congelada: Un VLM de alta fidelidad (codificadores de imagen y texto) sirve como ancla. El codificador de texto se ajusta (fine-tuned) para codificar un vocabulario controlado de 175 descriptores de olores (por ejemplo, "cítrico", "ahumado") que actúan como anclajes compartidos. El codificador de imagen permanece congelado para preservar la geometría existente de imagen-texto.
Codificador Olfativo Entrenable: Un transformador de grafos compacto que procesa estructuras moleculares (átomos y conectividad) en una incrustación de olor. Existen dos variantes: una versión de nube de alta fidelidad y una versión cuantizada de borde (edge) optimizada para la inferencia en dispositivos.
Codificador de Sensores Entrenable: Un modelo de series temporales que normaliza y codifica lecturas crudas de diversos sensores químicos de terceros (agnóstico al tipo de sustrato) en el mismo espacio de incrustación compartido.

Estrategia de Entrenamiento

El modelo emplea un objetivo de pérdida contrastiva donde los codificadores olfativos y de sensores se entrenan para alinearse con los anclajes de descriptores del VLM congelado.

No requiere datos emparejados: La fundamentación olfato-visión emerge a través de la geometría compartida del espacio de texto. Dado que los descriptores de olores ya existen en el espacio de imagen-leyenda del VLM, al alinear las moléculas/sensores con estos descriptores, se alinean implícitamente con las imágenes correspondientes sin requerir pares explícitos de aroma-imagen.
Ajuste Fino Protegido (Guarded Fine-tuning): El artículo detalla un estudio de ablación (Sección 9) que investiga el ajuste fino del codificador de texto del VLM. Introduce un mecanismo de barrera $\lambda$ ( $\lambda$ -guardrail) para restringir el movimiento de los anclajes de texto respecto a sus posiciones congeladas. Esto evita la "deriva de anclaje" (anchor drift), asegurando que el refinamiento de la recuperación olfato-lenguaje no rompa catastróficamente la fundamentación de visión-lenguaje existente.

Despliegue

El modelo se ofrece en dos configuraciones:

COLIP-2 Cloud: Un modelo de 1.15B de parámetros para la generación de mapas de calor de alta resolución vía API.
COLIP-2 Edge: Un modelo de 101M de parámetros, cuantizado en int8, optimizado para inferencia en tiempo real y fuera de línea en CPUs y pequeñas GPUs.

Contribuciones Clave

Fundamentación Olfativa Multimodal: Demuestra que el olfato puede fundamentarse en la visión y el lenguaje utilizando conjuntos de datos abiertos y dispares, así como el conocimiento de VLM a escala web, evitando la necesidad de masivos conjuntos de datos emparejados de aroma-visión.
Agnosticismo de Sensores: Introduce un codificador de sensores personalizado que normaliza las lecturas de sensores químicos heterogéneos (óxido metálico, electroquímicos, etc.) en un formato universal, reduciendo las barreras de entrada para aplicaciones robóticas.
Localización de la Fuente de Aroma: Permite la generación de "mapas de calor de aroma" sobre imágenes. Dado un aroma detectado (de una molécula, sensor o texto), el modelo clasifica las regiones de la imagen por probabilidad, resaltando los objetos más probables como fuente.
Infraestructura de Aprendizaje Federado (FLOS): Describe un sistema de preservación de la privacidad donde los modelos en el dispositivo aprenden de las observaciones locales y agregan latentes destilados (no datos crudos) a un modelo global, permitiendo el aprendizaje continuo sin comprometer la privacidad del usuario.
Ablación de Barreras (Guardrails): Proporciona evidencia empírica de que el ajuste fino protegido (usando la barrera $\lambda$ ) mejora las métricas de alineación olfato-lenguaje (por ejemplo, mAP, Recall) sin degradar la fundamentación de la visión, mientras que el ajuste fino sin protección provoca un colapso catastrófico del espacio de incrustación.

Resultados

La evaluación se realizó con datos no vistos durante el entrenamiento:

Recuperación de Olor-Descriptor: Alcanzó un AUROC de 0.84 para la fundamentación química. Para el 90% de las moléculas de prueba, un descriptor de olor correcto apareció en los 5 resultados recuperados superiores (Recall@5 = 0.90).
Identificación de Sustancia mediante Sensor: El codificador de sensores identificó sustancias de origen con una precisión top-1 de 0.90.
Localización de Escena mediante Sensor: El modelo localizó con éxito las fuentes de olor en la categoría de objeto correcta en una escena con una precisión top-1 de 0.90 y una precisión exacta top-1 de 0.72.
Hallazgos de Ablación: Las configuraciones de ajuste fino protegido (C1-C3) mostraron mejoras monotónicas en las métricas de olfato-lenguaje (por ejemplo, el mAP aumentó de 0.449 a 0.479) manteniendo una deriva de anclaje estable. En contraste, la configuración sin protección (C4) causó que la deriva de anclaje cayera a 0.005 y colapsara todas las métricas de fundamentación cruzada hacia los niveles base aleatorios.

Significado y Limitaciones

El artículo posiciona a COLIP-2 no como una solución perfecta, sino como un "punto de referencia público" que demuestra los límites de lo que se puede lograr con los datos de código abierto actuales y sensores dispares.

Significado: Establece una ruta arquitectónica viable para la robótica olfativa, demostrando que la geometría de texto compartida puede cerrar la breancia entre la química y la visión sin datos emparejados. Destaca la necesidad de nuevos conjuntos de datos especializados (visión-olfato emparejados) para avanzar más allá de la fundamentación a nivel de familia y alcanzar la precisión de molécula única.
Limitaciones:
- Granularidad: La fundamentación es confiable al nivel de "familia de olores" (ej. cítrico), pero débil para la identificación de moléculas individuales.
- Novedad: Las sustancias genuinamente novedosas no se identifican con exactitud; solo se transfieren débilmente a nivel de familia.
- Sesgo: El modelo depende de léxicos de olores humanos existentes, los cuales conllevan sesgos culturales y de panelistas.
- Seguridad: El modelo no ha sido validado explícitamente para aplicaciones críticas de seguridad (toxicidad, fugas) o diagnósticos médicos. Los resultados son clasificaciones (rankings), no probabilidades calibradas.

Los autores concluyen que, si bien la arquitectura es sólida, el próximo salto de orden de magnitud en la percepción olfativa no vendrá de mejores funciones de pérdida o de VLM más grandes, sino de la recolección masiva de datos emparejados de olfato-visión.