Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

A continuación se presenta un resumen técnico detallado del artículo "¿Ganan realmente los modelos más grandes en el descubrimiento de fármacos? Una evaluación de referencia del escalado de modelos en la predicción de propiedades y actividad molecular impulsada por IA."

1. Planteamiento del Problema

El campo del descubrimiento de fármacos impulsado por la IA está dominado actualmente por una narrativa "centrada en la escala", que sugiere que los modelos fundacionales más grandes y preentrenados (por ejemplo, Modelos de Lenguaje Grandes, Grandes Redes Neuronales de Grafos) superarán universalmente a los modelos compactos y específicos de tareas (por ejemplo, Bosques Aleatorios, QSAR clásicos). Sin embargo, los conjuntos de datos de descubrimiento de fármacos suelen ser pequeños, ruidosos, desequilibrados y agrupados químicamente. El artículo desafía la suposición de que un mayor número de parámetros o un corpus de preentrenamiento más grande se traduce automáticamente en un rendimiento predictivo superior para las propiedades moleculares y las actividades biológicas. La pregunta central es: ¿El tamaño del modelo predice de manera fiable el rendimiento a nivel de punto final, o el rendimiento está impulsado por la alineación entre el sesgo inductivo del modelo, el régimen de datos y el punto final biológico específico?

2. Metodología

Alcance de la Referencia y Conjuntos de Datos

Los autores evaluaron modelos en 22 puntos finales distintos que comprenden 167.056 evaluaciones de tareas-molécula retenidas:

• ADMET público (8 tareas): 5 tareas de clasificación binaria y 3 de regresión (por ejemplo, permeabilidad Caco2, solubilidad) del Therapeutics Data Commons.
• Tox21 (12 tareas): 12 ensayos de toxicidad binaria con alto desequilibrio de clases (tasas positivas del 2,9–16,2 %).
• Anti-infecciosos (2 tareas):
  • Anti-TB: 49.266 moléculas contra M. tuberculosis H37Rv (umbral de 1 µM).
  • Antimaláricos: 2.088 moléculas contra P. falciparum (cepas 3D7 y Dd2, umbral de 100 nM).

Familias de Modelos Comparadas

El estudio comparó cuatro familias de modelos distintas que abarcan órdenes de magnitud en complejidad:

1. Modelos ML pequeños: Aprendices QSAR clásicos (Bosque Aleatorio, ExtraTrees, GBDT, Regresión Logística) entrenados con características diseñadas: huellas dactilares ECFP4/6, claves MACCS y descriptores RDKit.
2. Redes Neuronales de Grafos (GNN) medianas: Modelos de grafos específicos de tareas (GCN, GAT, GIN, Ligandformer) con ~10⁵–10⁶ parámetros, que aprenden representaciones estructurales directamente a partir de grafos moleculares.
3. Modelos de secuencia molecular preentrenados: Modelos basados en Transformers (ChemBERTa, ChemBERTa2, MoLFormer) con 10M–77M parámetros, ajustados finamente a partir de preentrenamiento en SMILES.
4. Líneas base de razonamiento LLM-SAR: Sistemas basados en reglas (GPT5.5-SAR, Opus4.7-SAR) donde los LLM de vanguardia generan reglas SAR (regex/SMARTS) basadas en datos de entrenamiento, que luego se aplican a los pliegues retenidos. Estos no son predictores ajustados finamente, sino motores de aplicación de reglas.

Protocolo de Evaluación

• Estrategia de Validación: Validación cruzada de cinco pliegues separada por similitud estructural. Las moléculas se agruparon mediante huellas dactilares ECFP4 utilizando MiniBatchKMeans para garantizar que las moléculas estructuralmente similares (vecinos químicos) no se dividieran entre los conjuntos de entrenamiento y prueba. Esto evita la "filtración de vecinos cercanos" y simula mejor el rendimiento prospectivo que la división aleatoria.
• Métricas:
  • Clasificación: PR-AUC (crítico para los datos desequilibrados de Tox21) y ROC-AUC.
  • Regresión: MAE (Error Absoluto Medio) y Correlación de Pearson.
• Implementación: Todos los modelos se optimizaron con hiperparámetros específicos (por ejemplo, ponderación de clases para el desequilibrio) para garantizar una comparación justa dentro de sus respectivas familias.

3. Resultados Clave

Ganadores Generales del Rendimiento

En 167.056 evaluaciones, los modelos más grandes no ganaron universalmente:

• ML clásico (RF, ExtraTrees): Ganaron 10 tareas de métrica principal. Destacaron en regresión ADMET y en muchos ensayos de Tox21.
• GNN (GIN, Ligandformer): Ganaron 9 tareas. Mostraron fortaleza en puntos finales específicos de ADMET (por ejemplo, DILI, hERG) y en la tarea de antimaláricos.
• Modelos de secuencia preentrenados (MoLFormer, ChemBERTa2): Ganaron solo 3 tareas (específicamente DILI, hERG y NR-AR/NR-AhR).
• Líneas base LLM-SAR: No ganaron ninguna tarea de métrica principal frente a los mejores modelos entrenados.

Hallazgos Específicos por Dominio

• ADMET y Tox21: Los modelos de ML clásico permanecieron altamente competitivos o superiores, particularmente en tareas de regresión y ensayos de toxicidad altamente desequilibrados. La brecha de rendimiento entre ML y GNN fue a menudo modesta y dependiente del punto final.
• Actividad Anti-infecciosa:
  • Anti-TB: RF y ExtraTrees (ECFP4) superaron a MoLFormer y a las líneas base LLM-SAR (PR-AUC ~0,565 frente a ~0,448 para MoLFormer).
  • Antimaláricos: Los GNN (específicamente GIN) lideraron el campo (PR-AUC 0,556), superando a los modelos de secuencia y a LLM-SAR.
• Rendimiento de LLM-SAR: Aunque las líneas base LLM-SAR no alcanzaron la máxima precisión predictiva, añadir "conocimiento SAR derivado del pliegue de entrenamiento" (reglas aprendidas del conjunto de entrenamiento) proporcionó mejoras medibles pero desiguales. Por ejemplo, en Anti-TB, el ROC-AUC de LLM-SAR mejoró de ~0,51 a ~0,61 con reglas aprendidas, pero aún quedaron por detrás de los predictores supervisados.

Regresión vs. Clasificación

• Regresión: Los modelos de ML clásico (especialmente ExtraTrees con descriptores RDKit) dominaron las tareas de regresión (Caco2, Lipofilicidad, Solubilidad), logrando un MAE menor y una correlación de Pearson mayor que los modelos de secuencia.
• Sensibilidad al Desequilibrio: Para Tox21, PR-AUC fue una métrica más discriminativa que ROC-AUC. Muchos modelos parecieron exitosos bajo ROC-AUC pero fallaron en identificar clases positivas de manera efectiva bajo PR-AUC, destacando el peligro de depender exclusivamente de ROC-AUC en entornos de descubrimiento de fármacos desequilibrados.

4. Contribuciones Clave

1. Refutación Empírica del Escalado Universal: El artículo proporciona evidencia rigurosa de que "más grande es mejor" no es una ley universal en el descubrimiento de fármacos. Los modelos compactos y especializados a menudo superan a los modelos fundacionales masivos en puntos finales específicos y con restricciones de datos.
2. Evaluación de Referencia Exhaustiva: Establece una referencia a gran escala y estandarizada que cubre 22 puntos finales diversos (públicos e internos) con un protocolo de validación riguroso separado por estructura, abordando el problema de la filtración de datos común en estudios anteriores.
3. Análisis de Sesgo Inductivo: El estudio demuestra que el éxito predictivo depende de la alineación entre:
   • Representación Molecular: Huellas dactilares (ECFP) vs. Grafos vs. Tokens SMILES.
   • Sesgo Inductivo: Patrones SAR locales (favorecidos por RF) vs. Patrones topológicos (favorecidos por GNN) vs. Regularidades químicas globales (favorecidas por Transformers).
   • Régimen de Datos: Conjuntos de datos pequeños/ruidosos favorecen modelos más simples; conjuntos de datos grandes y diversos pueden beneficiarse del preentrenamiento.
4. Reencuadre de los LLM en el Descubrimiento de Fármacos: Los autores posicionan a los LLM no como predictores directos para reemplazar los modelos QSAR, sino como motores de razonamiento para la generación de hipótesis, la interpretación de SAR y la extracción de reglas. Son valiosos para la explicabilidad, pero actualmente inferiores en precisión predictiva bruta cuando hay datos etiquetados disponibles.

5. Significado e Implicaciones

• Guía Práctica para Practicantes: Los equipos de descubrimiento de fármacos no deben adoptar ciegamente modelos fundacionales grandes. Para muchas tareas estándar de predicción de ADMET y actividad, entrenar modelos compactos sobre huellas dactilares o descriptores sigue siendo el enfoque más efectivo, rentable y robusto.
• El Protocolo de Validación Importa: La elección de la estrategia de validación cruzada (aleatoria vs. separada por estructura) altera drásticamente las clasificaciones de los modelos. El artículo aboga por divisiones separadas por estructura para garantizar que los modelos se generalicen a nuevas series químicas en lugar de memorizar análogos locales.
• Dirección de Investigación Futura: El valor de los modelos grandes reside en el razonamiento zero-shot, la generación de hipótesis mecanicistas y la interpretación de SAR complejos, en lugar de reemplazar predictores supervisados para la predicción cuantitativa. El trabajo futuro debería centrarse en enfoques híbridos que aprovechen las capacidades de razonamiento de los LLM para guiar la ingeniería de características o la arquitectura de los modelos predictivos.

Conclusión: El artículo concluye que el tamaño del modelo es una variable explicativa débil para el rendimiento en el descubrimiento de fármacos. En cambio, el éxito está determinado por el "Ajuste Modelo-Tarea": la alineación precisa del sesgo inductivo del modelo con el punto final biológico específico, las características de los datos y el protocolo de validación.