Critical Assessment of ML models for ADMET Prediction in TDC leaderboards

Este trabajo realiza una evaluación crítica de los modelos de aprendizaje automático en los tableros de clasificación de TDC para la predicción de ADMET, revelando que la mayoría de los modelos mejor clasificados carecen de reproducibilidad o presentan fugas de datos y sobreajuste, lo que subraya la necesidad urgente de implementar conjuntos de prueba ocultos, versionado estricto de datos y entornos de inferencia estandarizados.

Lo esencial

Imagina que el desarrollo de nuevos medicamentos es como intentar construir el coche perfecto para una carrera. Antes de gastar millones en pruebas reales en la pista (en humanos), los ingenieros quieren usar simuladores de computadora para predecir qué coches funcionarán bien y cuáles se romperán.

En el mundo de la medicina, estos "simuladores" son modelos de Inteligencia Artificial (IA) que predicen cómo se comportará una droga en el cuerpo humano (su absorción, toxicidad, etc.). Para ver qué simulador es el mejor, existe una pista de carreras pública llamada TDC (Therapeutics Data Commons), donde los investigadores compiten y suben sus modelos a un cuadro de honor (leaderboard) para ver quién tiene el mejor tiempo.

Este artículo es como una investigación periodística que decide ir a la pista, revisar los coches de los ganadores y preguntar: "¿Realmente son tan rápidos como dicen, o están haciendo trampa?"

Aquí tienes los puntos clave explicados con analogías sencillas:

1. El problema de la "Pista Abierta"

El problema principal es que la pista de carreras (los datos de prueba) es pública y visible para todos.

• La analogía: Imagina que en una carrera de coches, el recorrido de la prueba final está publicado en internet meses antes. Los ingenieros no solo diseñan un buen coche, sino que ajustan las ruedas y el motor específicamente para las curvas exactas de ese recorrido.
• La realidad: Los investigadores han estado "entrenando" sus modelos de IA no solo para aprender química, sino para memorizar los datos de prueba. Cuando el modelo ve un dato que ya conoce, da una respuesta perfecta, pero si le das un coche nuevo (una molécula nueva), el modelo podría fallar estrepitosamente.

2. La inspección de los "Ganadores"

Los autores del estudio tomaron los 3 mejores modelos de cada categoría del cuadro de honor y los pusieron a prueba en su propio laboratorio. Fue como pedirle a los ganadores que trajeran sus coches para una revisión técnica.

¿Qué encontraron?

• La mayoría no pudo arrancar: Muchos de los modelos que decían ser los mejores tenían código roto, instrucciones de instalación confusas o dependían de versiones de software que ya no existían. Era como si un ganador de Fórmula 1 dijera: "Gané la carrera, pero no puedo darte las llaves del coche ni decirte cómo encenderlo".
• Trampas en los datos (Fugas de información): Descubrieron que algunos modelos, como MiniMol, habían "visto" los datos de prueba antes de la carrera.
  • La analogía: Es como si un estudiante hiciera un examen final, pero el profesor le dio el libro de respuestas con las preguntas exactas del examen antes de empezar. El modelo aprendió las respuestas específicas en lugar de aprender la materia.
• Ajuste de trampas (Overfitting): Otros modelos, como GradientBoost y XGBoost, tenían un error en su configuración: usaban los datos de prueba para "entrenar" sus ajustes finales.
  • La analogía: Es como si un entrenador de un equipo de fútbol usara el partido final para practicar los tiros libres. ¡Obviamente ganarán ese partido, pero no significa que sean el mejor equipo del mundo!

3. Los únicos "Ganadores Honestos"

De todos los modelos revisados, solo tres pasaron todas las pruebas sin problemas:

1. CaliciBoost
2. MapLight
3. MapLight + GNN

Estos modelos funcionaron bien, su código era reproducible y no parecieron hacer trampa. Son los únicos que realmente merecen estar en el podio, al menos por ahora.

4. El experimento de "Hacer Trampa a Propósito"

Para demostrar cuán fácil es engañar al sistema, los autores crearon sus propios modelos y hicieron trampa deliberadamente.

• La analogía: Dijeron: "Vamos a tomar un coche normal y ajustarlo específicamente para las curvas de esta pista pública".
• El resultado: ¡Funcionó! Sus modelos "tramposos" saltaron de posiciones medias a los puestos 1, 2 o 3 en muchas categorías.
• La lección: Esto demuestra que el cuadro de honor actual es muy frágil. Si alguien decide "hacer trampa" (ajustar su modelo a los datos públicos), puede subir al primer lugar fácilmente, incluso si su modelo no es realmente el mejor para el mundo real.

5. ¿Qué proponen los autores?

El estudio concluye que el sistema actual de rankings es útil, pero peligroso si se toma demasiado en serio. Para arreglarlo, proponen tres cambios grandes:

1. Pista Oculta: Los datos de prueba deben ser secretos. Nadie debe poder verlos hasta el momento de la evaluación final. Así, nadie puede ajustar el coche a las curvas específicas.
2. Versiones con Candado: Los conjuntos de datos deben tener un "candado" (versión fija). Si cambian una sola molécula, debe ser una nueva versión oficial. Así, todos compiten contra el mismo escenario exacto.
3. Entregar el Coche, no la Foto: En lugar de que los investigadores solo envíen sus resultados (números), deben enviar el código completo y el entorno de ejecución (el coche listo para correr) en un formato estándar. Así, el sistema puede verificar automáticamente si el coche funciona de verdad.

En resumen

Este artículo nos dice: "No confíes ciegamente en el cuadro de honor actual de la IA para medicamentos". Muchos de los "genios" que están en el primer lugar probablemente han memorizado el examen en lugar de aprender la lección. Necesitamos un sistema más estricto, con datos ocultos y reglas más claras, para asegurarnos de que los modelos que prometen salvar vidas realmente funcionen cuando los usemos en pacientes reales.

Resumen técnico

Título: Evaluación Crítica de Modelos de ML para la Predicción ADMET en los Leaderboards de TDC

1. El Problema

El desarrollo de fármacos es costoso y con alta tasa de fracaso, donde el 50% de las fallas se deben a propiedades farmacocinéticas y toxicológicas desfavorables (ADMET: Absorción, Distribución, Metabolismo, Excreción y Toxicidad). Aunque el Therapeutics Data Commons (TDC) se ha establecido como el "estándar de oro" para el benchmarking de modelos de aprendizaje automático (ML) en predicción ADMET, su formato actual presenta riesgos críticos:

• Falta de reproducibilidad: Muchos modelos de alto rendimiento no pueden ejecutarse debido a errores en el código, entornos de software incompatibles o instrucciones de instalación deficientes.
• Fugas de datos (Data Leakage): La disponibilidad pública de los conjuntos de prueba (test sets) durante años permite que los investigadores optimicen inadvertidamente o deliberadamente sus modelos para ese conjunto específico, inflando las métricas sin garantizar robustez en datos reales.
• Sobreajuste (Overfitting): Algunos modelos alcanzan precisiones que superan la incertidumbre experimental de los ensayos biológicos subyacentes, lo que sugiere que están aprendiendo ruido o errores sistemáticos del conjunto de datos en lugar de principios químicos fundamentales.

2. Metodología

Los autores realizaron una auditoría exhaustiva de los 22 puntos finales (endpoints) ADMET disponibles en los leaderboards de TDC. El protocolo de evaluación se centró en los 3 mejores modelos de cada leaderboard, aplicando un proceso de filtrado en cuatro etapas:

1. Verificación de Reproducibilidad: Intento de ejecutar el código de los modelos en un entorno local controlado. Se descartaron modelos con enlaces rotos, dependencias incompatibles o entornos de ejecución imposibles de configurar.
2. Evaluación de Fugas de Datos: Se calcularon puntuaciones de similitud Tanimoto (usando huellas dactilares Morgan) entre los conjuntos de entrenamiento y prueba. Se investigó si los modelos de pre-entrenamiento (como MiniMol) contenían moléculas idénticas o estereoisómeros/tautómeros de los conjuntos de prueba debido a filtrados insuficientes basados solo en SMILES canónicos.
3. Verificación de Optimización de Hiperparámetros: Se revisó si los autores de los modelos realizaron la selección de hiperparámetros utilizando el conjunto de prueba público (fuga directa) en lugar de un conjunto de validación interno.
4. Re-evaluación y Comparación: Los modelos que superaron las etapas anteriores se volvieron a ejecutar y sus métricas se compararon con las publicadas.
5. Modelos de Control (In-house): Los autores desarrollaron sus propios modelos basados en LightGBM y Mol2Vec para establecer una línea base "honesta". Además, crearon variantes de estos modelos deliberadamente sobreajustadas (entrenando y optimizando directamente sobre el conjunto de prueba público) para cuantificar el impacto potencial del sobreajuste en el ranking.

3. Contribuciones Clave

• Auditoría Sistemática: Es el primer estudio que evalúa críticamente la viabilidad técnica y metodológica de los modelos líderes en TDC, no solo sus métricas.
• Identificación de Fallos Específicos: Se demostró que modelos de alto rango como MiniMol, GradientBoost y XGBoost sufren de fugas de datos (por filtrado inadecuado de estereoisómeros o uso incorrecto de semillas aleatorias en la división de datos).
• Cuantificación del Sobreajuste: Se demostró empíricamente que el sobreajuste deliberado al conjunto de prueba público puede elevar a modelos mediocres desde posiciones bajas hasta el top-3 en casi la mitad de los endpoints.
• Propuesta de Mejora: Se define un nuevo estándar para el benchmarking futuro, exigiendo conjuntos de prueba ocultos, versionado estricto de datos y la presentación de modelos en entornos de inferencia estandarizados (contenedores).

4. Resultados Principales

• Tasa de Reproducibilidad Baja: De los modelos top seleccionados, solo 3 métodos (CaliciBoost, MapLight y MapLight+GNN) superaron todas las verificaciones y mostraron resultados reproducibles. La mayoría de los demás modelos fallaron por falta de código, entornos rotos o errores metodológicos.
• Fugas de Datos Detectadas:
  • MiniMol: Aunque los autores afirmaron haber filtrado el conjunto de prueba, el uso de SMILES canónicos sin considerar estereoquímica o tautomerismo dejó moléculas idénticas en el conjunto de pre-entrenamiento, contaminando la evaluación.
  • GradientBoost y XGBoost: Utilizaron una función de división de datos incorrecta donde el conjunto de validación para la optimización de hiperparámetros contenía moléculas del conjunto de prueba público, inflando artificialmente sus métricas.
• Impacto del Sobreajuste:
  • Los modelos "honestos" de los autores solo alcanzaron el top-3 en 2 de 22 endpoints.
  • Los modelos "deliberadamente sobreajustados" de los autores alcanzaron el top-3 en 10 de 22 endpoints (≈45%), demostrando que el ranking actual es extremadamente sensible a la optimización sobre el conjunto de prueba.
  • A pesar de esto, los líderes actuales (MapLight, MapLight+GNN, MiniMol) aparecen en el top-3 con mucha más frecuencia que los modelos sobreajustados de los autores, lo que sugiere que, aunque pueden tener problemas de fuga, su arquitectura y descriptores son intrínsecamente superiores.
• Discrepancias de Versionado: Incluso para los modelos reproducibles, hubo pequeñas diferencias en las métricas debido a la falta de versionado explícito de los conjuntos de datos en TDC (los datos cambian sin aviso).

5. Significado e Implicaciones

Este estudio pone en duda la validez de interpretar las posiciones altas en los leaderboards de TDC como una prueba directa de la calidad predictiva de un modelo para el descubrimiento de fármacos real.

• Advertencia sobre Métricas Infladas: Las métricas actuales pueden estar infladas por fugas de datos y sobreajuste, lo que lleva a una falsa sensación de progreso en el campo.
• Necesidad de Cambio de Paradigma: El campo debe transicionar de leaderboards públicos abiertos a desafíos ciegos (con conjuntos de prueba ocultos), similar a los modelos DREAM o SAMPL.
• Recomendaciones Futuras: Se insta a la comunidad a implementar:
  1. Conjuntos de prueba ocultos para evitar el ajuste al conjunto de datos.
  2. Versionado estricto de datasets con checksums para garantizar la reproducibilidad exacta.
  3. Presentación de modelos en contenedores estandarizados en lugar de solo resultados numéricos.

En conclusión, aunque TDC es una herramienta valiosa, sus leaderboards actuales requieren una reestructuración urgente para evitar que la competencia por el ranking comprometa la integridad científica y la utilidad práctica de los modelos de ADMET.