Resumen Técnico: SUPRABENCH

Planteamiento del Problema

La química supramolecular, centrada en los ensamblajes reversibles de huésped-anfitrión mediante interacciones no covalentes, es crítica para aplicaciones que van desde la administración de fármcos hasta la detoxificación in vivo. Sin embargo, el diseño de estos sistemas sigue siendo un cuello de botella, ya que requiere una extensa verificación en "laboratorio seco" (por ejemplo, simulaciones de DFT o MD) que puede tomar días por cada par de candidatos antes de la síntesis en laboratorio húmedo. Aunque los modelos de lenguaje de gran tamaño (LLM) han mostrado ser prometedores en tareas de unión molecular, ningún benchmark existente evalúa sistemáticamente su capacidad de razonamiento en la química de huésped-anfitrión a través de tareas fundamentales de la química supramolecular. Los benchmarks actuales se centran principalmente en propiedades de moléculas individuales o predicción de reacciones, dejando sin abordar la compleja interacción entre las interacciones huésped-anfitrión.

Metodología

1. Construcción del Conjunto de Datos (SUPRABENCH)

Los autores construyeron SUPRABENCH, el primer benchmark específicamente diseñado para el razonamiento en química supramolecular.

• Fuente de Datos: Los registros de anclaje fueron extraídos de SupraBank, un repositorio público de interacciones supramoleculares reportadas experimentalmente.
• Preprocesamiento: Se aplicó un pipeline de limpieza de seis pasos para abordar el ruido, incluyendo el procesamiento numérico, el filtrado de solventes orgánicos, la corrección de temperatura de van 't Hoff y la eliminación de valores atípicos. Esto resultó en 4,635 registros de alta calidad que cubren 2,008 componentes únicos.
• Definición de Tareas: El benchmark define cuatro tareas fundamentales de razonamiento y una tarea auxiliar basada en visión:
  1. Predicción de Afinidad de Unión (BAP): Una tarea de regresión que predice $\log K_a$ dado los strings SMILES del anfitrión y el huésped.
  2. Selección de Mejor Unidor (TBS): Una pregunta de opción múltiple (MCQ) de 4 vías que requiere que el modelo identifique el unidor más fuerte entre huéspedes químicamente similares.
  3. Identificación de Solvente (SID): Una tarea de clasificación de 6 vías para inferir el entorno del solvente (por ejemplo, agua, DMSO) a partir de las estructuras moleculares, ya que las constantes de unión dependen del solvente.
  4. Descripción de Huésped-Anfitrión (HGD): Una tarea de QA de respuesta abierta donde los modelos describen propiedades fisicoquímicas de los anfitriones o huéspedes.
  5. Identificación Molecular (MI): Una tarea auxiliar de generación de imagen a SMILES que pone a prueba la capacidad de recuperar la identidad molecular a partir de dibujos estructurales 2D.

2. Corpus de Adaptación de Dominio (SUPRAPMC)

Para apoyar la adaptación de dominio, los autores lanzaron SUPRAPMC, un corpus curado de 16 millones de tokens de artículos de química supramolecular.

• Fuente: Extraído de Europe PMC (1900–2026).
• Filtrado: La recuperación inicial de 420,950 artículos fue refinada mediante un filtro basado en reglas que combina palabras clave supramoleculares positivas con filtros de contaminación biomédica negativa (por ejemplo, excluyendo "células huésped"), resultando en 133,867 artículos de alta precisión.

3. Protocolo de Evaluación

• Modelos: Se evaluaron ocho LLMs, incluyendo modelos de pesos abiertos (Qwen3.5, Llama-3.1, DeepSeek-v4) y modelos propietarios (GPT-5.4, Gemini-3-Flash).
• Estrategias de Prompting: Se probaron tres estrategias: Base (zero-shot), Few-Shot (3–5 ejemplos in-domain) y Cadena de Pensamiento (CoT).
• Métricas: Las métricas específicas de la tarea incluyeron MAE/RMSE para regresión, exactitud/regret para selección, F1/Exactitud Balanceada para clasificación, y ROUGE para generación. Para MI, las métricas incluyeron validez de SMILES, coincidencia exacta y similitud de Tanimoto.

Resultados Clave

1. Brechas de Rendimiento y Jerarquía de Modelos

• Margen de Mejora Sustancial: Incluso los modelos con mejor desempeño dejan un margen significativo para la mejora. Por ejemplo, el mejor MAE de Predicción de Afinidad de Unión (BAP) fue 1.25, y la exactitud de Selección de Mejor Unidor (TBS) se estancó en 0.513.
• Dominio de la Frontera: Gemini-3-Flash alcanzó consistentemente el estado del arte (SOTA) en las tareas BAP, TBS y SID. DeepSeek-v4 y GPT-5.4-Mini le siguieron de cerca.
• Dificultad de la Tarea: El rendimiento varió drásticamente según la familia de tareas. BAP y TBS fueron generalmente más desafiantes que SID para modelos más pequeños.

2. Impacto de las Estrategias de Prompting

• Sin Estrategia Universal: Las estrategias de prompting fueron altamente dependientes de la tarea.
  • Few-Shot mejoró el rendimiento en la Descripción de Huésped-Anfitrión (HGD) pero degradó la Predicción de Afinidad de Unión (por ejemplo, el MAE de Llama3.1-8B aumentó de 2.699 a 5.504).
  • Cadena de Pensamiento (CoT) consistentemente perjudicó el rendimiento en BAP e Identificación Molecular.
• Análisis de Modos de Fallo: En BAP, el CoT a menudo condujo a "alucinaciones confiadas". Los modelos articularían un razonamiento químico plausible (por ejemplo, citando "valores típicos de la literatura") que resultaba en predicciones con órdenes de magnitud de error (por ejemplo, prediciendo $\log K_a \approx 11$ en lugar de 2). Esto sugiere que el CoT amplifica las brechas de razonamiento cuando falta el conocimiento de dominio.

3. Adaptación de Dominio (DAPT)

• Regresión vs. Formato: El ajuste fino en SUPRAPMC mejoró el rendimiento de regresión de BAP (el MAE disminuyó) tanto para Qwen3.5-9B como para Llama3.1-8B.
• Compensaciones: Sin embargo, el DAPT degradó el rendimiento en la Selección de Mejor Unidor y causó que la variante de Llama fallara al seguir restricciones estrictas de formato de letras en la Identificación de Solventes. Esto indica que la adaptación de texto científico de formato libre se transfiere bien a la regresión pero entra en conflicto con los formatos de salida estrictos de MCQ.

4. Identificación Molecular

• Andamiaje vs. Conectividad: Los modelos pudieron recuperar el andamiaje molecular general (alta similitud de Tanimoto) pero frecuentemente fallaron en capturar la conectividad exacta a nivel de enlaces (baja coincidencia de Canonical SMILES).
• Detrimento de CoT: Las pistas de razonamiento explícito (CoT) desestabilizaron la generación de imagen a SMILES, reduciendo las tasas de coincidencia exacta.

Significancia y Reivindicaciones

El artículo posiciona a SUPRABENCH y SUPRAPMC como recursos fundacionales para catalizar la investigación en LLMs fundamentados en la química. Los autores afirman:

1. Necesidad de Benchmarking: SUPRABENCH llena un vacío crítico al proporcionar un protocolo unificado para evaluar el razonamiento de huésped-anfitrión en LLMs, un dominio previamente no abordado por los benchmarks existentes.
2. Limitaciones Actuales: A pesar del rendimiento SOTA de los modelos de frontera, la química supramolecular sigue siendo un cuello de botella genuino. Los LLM actuales carecen del razonamiento riguroso y calibrado requerido para la predicción precisa de la afinidad y la identificación estructural precisa.
3. Perspectivas Metodológicas: El estudio revela que el "razonamiento" vía CoT no es un sustituto del conocimiento de dominio y puede ser perjudicial cuando el modelo carece de los hechos químicos subyacentes. Además, la adaptación de dominio requiere un equilibrio cuidadoso entre la exposición al texto y la preservación del formato de instrucción.
4. Dirección Futura: Los resultados sugieren que cerrar la brecha en el razonamiento supramolecular requerirá probablemente una adaptación de dominio dirigida y la integración de herramientas químicas externas, en lugar de depender únicamente de estrategias de prompting o preentrenamiento general.

Los autores enfatizan que estos benchmarks son para evaluación de investigación y generación de hipótesis, no para impulsar decisiones clínicas o regulatorias sin la supervisión de expertos y la validación experimental.