Benchmark for Assessing Olfactory Perception of Large Language Models

Resumen Técnico: Benchmark de Percepción Olfativa (OP) para LLMs

1. Problema y Motivación

El sentido del olfato ocupa una posición única en la percepción humana, operando a través de una interacción compleja entre la estructura molecular y la biología de los receptores, a diferencia de la visión o la audición que tienen mapeos más predecibles (longitud de onda-color, frecuencia-tono). Aunque los humanos pueden distinguir billones de olores, predecir cómo huele una molécula basándose únicamente en su estructura química ha sido un desafío histórico para la computación.

Aunque los Modelos de Lenguaje Grandes (LLMs) han demostrado capacidades notables en química (interpretación de SMILES, predicción de reacciones), no existía una evaluación sistemática que determinara si estos modelos poseen conocimiento factual sobre las propiedades olfativas. La pregunta central es: ¿Pueden los LLMs generalizar el conocimiento químico para razonar sobre la percepción sensorial (el olor) y no solo sobre la estructura molecular?

2. Metodología: El Benchmark Olfactory Perception (OP)

Los autores introducen el benchmark OP, un marco de evaluación unificado diseñado para probar la capacidad de razonamiento olfativo de los LLMs.

• Estructura del Dataset: Contiene 1,010 preguntas divididas en 8 categorías de tareas, cubriendo desde la detección básica hasta la identificación de mezclas complejas:

  1. Clasificación de Olores (OC): ¿La molécula tiene olor o es inodora? (Binario).
  2. Descriptor Principal (OPD): Identificar el descriptor semántico principal entre opciones.
  3. Intensidad (OIn) y Agradable (OPl): Comparación de pares para determinar cuál es más intenso o agradable.
  4. Rate-all-that-apply (RATA): Perfilado semántico multietiqueta (selección de todos los descriptores aplicables).
  5. Similitud de Mezclas (OS): Predecir la similitud perceptual entre dos mezclas de moléculas.
  6. Activación de Receptores Olfativos (ORA): Identificar qué receptores humanos específicos se activan con una molécula.
  7. Prueba de Identificación de Olores (SIT): Identificar la fuente de un olor (ej. comida) dada una mezcla molecular.
  8. Evaluación Multilingüe: Subconjunto de tareas traducido a 21 idiomas.

• Diseño de Prompts (Estrategia Dual): Una característica distintiva es que cada pregunta se presenta en dos formatos para aislar el razonamiento estructural de la asociación léxica:

  • Nombres de Compuestos: Uso del nombre común (ej. "Mentol").
  • SMILES Isoméricos: Uso de la notación química estructural (ej. CC1=CC(=O)C...).
  • Hipótesis: Si los modelos razonan sobre la estructura, el rendimiento debería ser similar en ambos formatos. Si dependen de la memoria léxica, el rendimiento caerá drásticamente con SMILES.

• Modelos Evaluados: Se probaron 21 configuraciones de modelos de 6 proveedores principales (OpenAI, Google, Anthropic, xAI, DeepSeek, Meta), incluyendo modelos de razonamiento (Chain-of-Thought) y no razonamiento, con variaciones en el presupuesto de tokens de razonamiento.

3. Contribuciones Clave

1. Primer Benchmark Integral: Introducción de la primera evaluación estructurada de conocimiento factual olfativo en LLMs, basada en datos científicos revisados por pares (no solo opiniones subjetivas).
2. Análisis de Representación Molecular: Demostración de que el formato de entrada (nombre vs. estructura) impacta significativamente el rendimiento, revelando la naturaleza del "conocimiento" del modelo.
3. Evaluación Multilingüe: Análisis de la robustez del conocimiento olfativo a través de 21 idiomas, mostrando que la agregación de predicciones multilingües mejora la precisión.
4. Identificación de Fallos Sistemáticos: Detección de sesgos específicos, como la incapacidad de predecir la similitud de mezclas cuando la superposición molecular es baja.

4. Resultados Principales

• Rendimiento General:

  • El mejor modelo (Claude Opus 4.6 con configuración max) alcanzó una precisión global del 64.4% con prompts de nombres.
  • Aunque esto supera significativamente el azar, está lejos de ser un rendimiento perfecto, indicando que el razonamiento olfativo sigue siendo un desafío.
  • Los modelos de Anthropic y OpenAI lideraron, mientras que los modelos de código abierto (Llama 3.3 70B) quedaron rezagados (52.7%).

• Brecha de Representación (Nombres vs. SMILES):

  • Hallazgo Crítico: Los prompts con nombres de compuestos superaron consistentemente a los prompts con SMILES isoméricos en todas las configuraciones.
  • La mejora osciló entre +2.4 y +18.9 puntos porcentuales (media ≈ +7 puntos).
  • Interpretación: Los LLMs actuales acceden al conocimiento olfativo principalmente a través de asociaciones léxicas (memorizar que "vanilla" huele a vainilla) en lugar de realizar razonamiento estructural real sobre la molécula. Los modelos de razonamiento avanzado redujeron esta brecha, pero no la eliminaron.

• Desempeño por Tarea:

  • Tareas Simples (OC, OPD): Alto rendimiento (>80-90% en clasificación).
  • Tareas Intermedias (RATA, OS): Rendimiento moderado. La tarea de similitud de mezclas (OS) fue particularmente difícil, con modelos mostrando un sesgo sistemático hacia predecir "diferente" cuando la superposición molecular era baja.
  • Tareas Difíciles (ORA, SIT): La activación de receptores (ORA) mostró un rendimiento bimodal: los modelos o tenían el conocimiento específico o no lo tenían en absoluto.

• Evaluación Multilingüe:

  • La agregación de predicciones a través de 21 idiomas mejoró la capacidad predictiva, alcanzando un AUROC de 0.86 para el mejor modelo ensemble, sugiriendo que diferentes idiomas aportan información complementaria sobre los olores.

• Efecto del Presupuesto de Razonamiento:

  • Aumentar el presupuesto de tokens de razonamiento (ej. de 8K a 32K) generó mejoras modestas (≤2 puntos), a diferencia de lo observado en benchmarks de química pura donde el razonamiento profundo ayuda más. Esto sugiere que el conocimiento olfativo es más un problema de recuperación de hechos que de deducción lógica compleja.

5. Significado e Implicaciones

• Brecha de Grounding (Anclaje): El estudio confirma que los LLMs tienen una "brecha de anclaje" sensorial. Pueden simular el lenguaje sobre el olfato, pero carecen de una comprensión mecánica profunda de cómo la estructura molecular genera la percepción.
• Aplicaciones Prácticas: Un LLM con capacidades olfativas robustas podría acelerar el diseño de fragancias, el desarrollo de sabores y la detección de contaminantes, pero los resultados actuales indican que aún no son fiables para estas tareas sin supervisión humana.
• Seguridad vs. Utilidad Científica: Se identificó un conflicto donde los filtros de seguridad de algunos modelos (ej. Claude Opus 4.6) rechazaron responder preguntas sobre compuestos peligrosos (como agentes nerviosos) cuando se usaban sus nombres, pero no cuando se usaban sus SMILES, reduciendo artificialmente su puntuación en el benchmark y planteando dilemas éticos sobre la evaluación científica.
• Futuro: El benchmark establece una línea base para medir el progreso hacia modelos que puedan conectar la química con la percepción sensorial, sugiriendo la necesidad de arquitecturas híbridas que combinen LLMs con herramientas de quimioinformática y representaciones moleculares aprendidas.

En conclusión, el benchmark OP revela que, aunque los LLMs han avanzado en la comprensión química, su capacidad para "oler" (razonar sobre el olor) sigue siendo superficial y dependiente de la memoria léxica, no de la comprensión estructural profunda.