Benchmarking Artificial Intelligence Models for Predicting Nuclear Receptor Activity from Tox21 Assays

Este estudio presenta una evaluación exhaustiva de diversos modelos de aprendizaje automático y profundo para predecir la actividad de receptores nucleares utilizando datos de ensayos Tox21, revelando que el rendimiento depende del desequilibrio de clases y que los modelos basados en árboles superan a los de aprendizaje profundo en conjuntos con mayor proporción de químicos activos, mientras que estos últimos son más robustos en proporciones moderadas.

Lo esencial

¡Hola! Imagina que tienes una biblioteca gigante llena de libros, pero en lugar de historias, cada libro es una sustancia química diferente (desde medicamentos hasta productos de limpieza). El problema es que no sabemos cuáles de estas sustancias son peligrosas para nuestro cuerpo, especialmente para un sistema de "interruptores" internos llamado receptores nucleares (que controlan cosas como el crecimiento, la reproducción y el metabolismo).

Si tuviéramos que probar cada sustancia en animales, tardaríamos años, costaría una fortuna y sería poco ético. Por eso, los científicos de este estudio decidieron crear un "detective virtual" usando Inteligencia Artificial (IA) para predecir qué sustancias son peligrosas antes de tocarlas.

Aquí tienes la explicación de su investigación, contada como una historia:

1. El Gran Reto: Encontrar las "Manzanas Podridas"

Los investigadores tomaron una base de datos masiva llamada Tox21, que es como un catálogo con casi 10,000 sustancias químicas probadas en laboratorios. De este catálogo, seleccionaron 18 tipos de "interruptores" biológicos (receptores nucleares) que son muy importantes.

El problema principal era que, en la mayoría de las pruebas, la gran mayoría de las sustancias eran seguras (inactivas) y solo unas pocas eran peligrosas (activas).

• La analogía: Imagina que tienes un barril de 1000 manzanas y solo 5 están podridas. Si tu trabajo es encontrar las podridas, y adivinas que "todas son buenas", acertarás el 99.5% de las veces, pero fallarás en tu trabajo real: encontrar las 5 podridas. A esto los científicos lo llaman desequilibrio de clases.

2. Los Detectives: Tres Equipos de IA

Para resolver este misterio, probaron tres tipos de "detectives" (modelos de IA) con diferentes herramientas:

• El Equipo Clásico (Machine Learning): Son como detectives veteranos que usan listas de características muy detalladas (descriptores) y huellas dactilares químicas. Usaron algoritmos como "Bosque Aleatorio" y "XGBoost".

  • Resultado: Cuando había suficientes "manzanas podridas" (más del 10% de la muestra), ¡estos detectives veteranos fueron los mejores! Eran muy precisos.

• El Equipo Moderno (Deep Learning): Son como detectives jóvenes que usan redes neuronales complejas para ver patrones que otros no ven.

  • Resultado: Fueron muy buenos cuando la cantidad de sustancias peligrosas era media (entre 5% y 10%). Eran más robustos ante la confusión.

• El Equipo del Futuro (Transformers/LLMs): Son como detectives que leen el "idioma" de las moléculas (códigos de texto llamados SMILES) usando tecnología similar a la de ChatGPT.

  • Resultado: Fueron interesantes, pero en este caso específico, no superaron a los equipos veteranos. A veces, leer el texto no es tan bueno como tener un mapa detallado de la estructura.

3. El Secreto del Fracaso: Las "Isla Solitarias"

Una de las descubrimientos más fascinantes fue por qué algunos químicos peligrosos se les escaparon a los detectives.

• La analogía: Imagina que estás en una fiesta y tienes que identificar a un intruso. Si el intruso es muy parecido a otros invitados, es fácil detectarlo. Pero, ¿qué pasa si el intruso es un alienígena que no se parece a nadie en la fiesta?
• El hallazgo: El estudio descubrió que el 40% de los químicos peligrosos que la IA falló en detectar eran "solitarios". Eran estructuras químicas tan raras y únicas que no tenían "vecinos" similares en la base de datos de entrenamiento. Como la IA aprende por analogía (si A se parece a B, y B es peligroso, entonces A también lo es), cuando no hay vecinos, la IA se queda sin pistas y falla.

4. La Prueba de Fuego: Validación Externa

Para ver si sus detectives eran realmente buenos, los probaron con datos reales que no habían visto antes (datos de animales y humanos reales sobre receptores de andrógenos y estrógenos).

• El resultado: ¡Funcionaron bastante bien! Especialmente para predecir sustancias que activan ciertos receptores. Sin embargo, fallaron un poco más en situaciones complejas (como antagonistas in vivo), lo cual tiene sentido: la biología real es más complicada que un experimento de laboratorio simple.

5. Conclusión: ¿Qué aprendimos?

Este estudio es como un manual de instrucciones para el futuro de la seguridad química:

1. No hay un "detective único" perfecto: Si tienes muchos datos de sustancias peligrosas, usa los modelos clásicos (Machine Learning). Si tienes pocos, los modelos modernos (Deep Learning) pueden ayudarte.
2. La estructura importa: Si una sustancia es muy rara y no tiene "primos" químicos conocidos, es muy difícil predecir si es peligrosa. Necesitamos más datos de estas sustancias raras.
3. Mejor que lo anterior: Sus modelos son tan buenos o mejores que los que existían antes, y han probado una gama mucho más amplia de herramientas.

En resumen: Los científicos crearon un sistema de IA muy inteligente que puede predecir qué químicos podrían desequilibrar nuestro cuerpo. Aunque no es perfecto (especialmente con sustancias muy raras), es un paso gigante hacia un futuro donde podemos probar la seguridad de los productos químicos de forma rápida, barata y sin dañar animales. ¡Es como tener un cristal mágico que nos dice qué es seguro antes de que lo usemos!

Resumen técnico

Resumen Técnico: Benchmarking de Modelos de IA para la Predicción de la Actividad de Receptores Nucleares

1. Planteamiento del Problema

Los receptores nucleares son factores de transcripción activados por ligandos cruciales para la regulación del desarrollo, la reproducción y el metabolismo. Son objetivos primarios de los químicos disruptores endocrinos (EDC), lo que genera riesgos toxicológicos significativos. Dado el gran número de químicos que requieren evaluación y las limitaciones éticas, de costo y tiempo de las pruebas con animales, existe una necesidad urgente de métodos in silico (basados en computadora) fiables.

Aunque el programa Tox21 ha generado grandes volúmenes de datos de bioactividad de alto rendimiento (HTS), los estudios previos presentan limitaciones:

• Utilizan conjuntos de datos limitados (como el desafío de datos Tox21) que no distinguen entre agonismo y antagonismo.
• Se centran en un rango estrecho de arquitecturas de modelos y representaciones químicas.
• Existe una falta de comprensión sobre cómo el desequilibrio de clases (pocos compuestos activos frente a muchos inactivos) y la representación de características afectan el rendimiento de los modelos, especialmente con el auge de los modelos basados en transformadores.

2. Metodología

El estudio realizó un benchmarking exhaustivo y sistemático de diversas arquitecturas de Inteligencia Artificial (IA) sobre datos de receptores nucleares de Tox21.

• Curación de Datos:

  • Se seleccionaron 43 conjuntos de datos derivados de 30 ensayos Tox21 asociados a 18 receptores nucleares únicos, extraídos de la base de datos ToxCast invitrodb v4.3.
  • Se procesaron 8,430 compuestos químicos (limpieza de estructuras, eliminación de sales y duplicados).
  • Se generaron representaciones químicas variadas:
    • Huellas dactilares (Fingerprints): MACCS, Morgan (ECFP4, FCFP4) y Layered.
    • Descriptores moleculares: 2D y 3D calculados con PaDEL y RDKit (hasta 1,875 descriptores).
    • Representaciones basadas en grafos y SMILES: Para modelos de aprendizaje profundo y transformadores.

• Arquitecturas de Modelos Evaluadas:
  Se probaron tres categorías principales de modelos en combinación con las diferentes representaciones de características:

  1. Aprendizaje Automático (ML) Tradicional: 7 algoritmos (Regresión Logística, Árbol de Decisión, Random Forest, Gradient Boosting, XGBoost, SVM, MLP).
  2. Aprendizaje Profundo (DL): Red neuronal de grafos de doble grafo con aprendizaje contrastivo (DGCL), utilizando SMILES convertidos a grafos combinados con descriptores o huellas dactilares.
  3. Modelos Basados en Transformadores: ChemBERTa, MoLFORMER y MolRAG (que utiliza razonamiento de cadena de pensamiento con Llama 3).

• Estrategias de Validación y Análisis:

  • División de Datos: Muestreo estratificado (80-10-10% o 80-20%) con tres semillas aleatorias para garantizar estabilidad.
  • Métrica Principal: Puntuación F1, seleccionada por su idoneidad para conjuntos de datos desequilibrados (donde la clase "activa" es minoritaria).
  • Análisis de Dominio de Aplicabilidad (DA): Uso del índice DA basado en vecinos más cercanos (k-NN) para filtrar predicciones poco fiables fuera del espacio químico de entrenamiento.
  • Validación Externa: Se utilizó datos in vivo e in vitro independientes del NTP ICE para los receptores AR, ERα y ERβ.
  • Análisis de Espacio Químico: Mapeo de compuestos mal clasificados en una red de similitud química (CSN) para identificar patrones estructurales.

3. Contribuciones Clave

• Amplitud sin precedentes: Es el primer estudio que compara sistemáticamente ML, DL y transformadores sobre un conjunto de datos Tox21 actualizado (invitrodb v4.3) que incluye distinciones específicas entre agonistas y antagonistas para 18 receptores.
• Análisis del Desequilibrio de Clases: Se estableció una relación clara entre la proporción de compuestos activos y el rendimiento del modelo, demostrando que la arquitectura óptima depende de la severidad del desequilibrio.
• Insights sobre el Espacio Químico: Se identificó que una gran parte de los falsos negativos ocurren en regiones estructuralmente aisladas del espacio químico, un factor que las métricas tradicionales no capturan.
• Validación Rigurosa: Inclusión de validación externa con datos biológicos reales y revisión sistemática de la literatura para contextualizar los resultados.

4. Resultados Principales

• Rendimiento según Desequilibrio de Clases:

  • >10% de compuestos activos: Los modelos de ML basados en árboles (Random Forest y XGBoost) entrenados con descriptores (o combinación de descriptores y huellas dactilares) superaron consistentemente a los demás.
  • 5-10% de compuestos activos: Los modelos de Aprendizaje Profundo (DGCL) mostraron mayor robustez y rendimiento.
  • <5% de compuestos activos: No hubo una tendencia clara; el rendimiento fue altamente dependiente del conjunto de datos específico, indicando que el desequilibrio severo limita la generalización.

• Comparación de Modelos:

  • MoLFORMER fue el mejor transformador, superando a ChemBERTa y MolRAG, probablemente debido a su tokenización a nivel de átomo y su pre-entrenamiento masivo.
  • MolRAG tuvo un rendimiento inferior, posiblemente debido a la falta de pre-entrenamiento específico en el dominio químico y la dificultad de recuperar contextos relevantes para compuestos estructuralmente aislados.

• Análisis de Errores (Falsos Negativos):

  • Aproximadamente el 40% de los compuestos activos mal clasificados ocupaban nodos aislados en la red de similitud química (CSN). Esto sugiere que la ausencia de análogos estructurales cercanos en el conjunto de entrenamiento impide que el modelo aprenda patrones generalizables para esas moléculas.

• Validación Externa:

  • Los modelos mostraron buena concordancia para agonistas de AR y agonistas de ERα (tanto in vitro como in vivo).
  • El rendimiento disminuyó para antagonistas de AR y agonistas de ERβ in vivo, atribuido a la complejidad de los procesos biológicos in vivo (metabolismo, toxicocinética) no capturados por los ensayos in vitro de entrenamiento.

• Comparación con Literatura:

  • Los modelos de este estudio son comparables o superiores a los reportados previamente en la literatura, especialmente gracias al uso de descriptores y la evaluación en un conjunto de datos más actualizado y diverso.

5. Significado e Impacto

Este estudio proporciona una hoja de ruta crítica para el desarrollo de Nuevas Metodologías de Enfoque (NAMs) en toxicología.

• Guía para la Selección de Modelos: Demuestra que no existe un modelo "único" para todos los casos; la elección debe basarse en la densidad de datos activos disponibles.
• Importancia de los Descriptores: Refuerza que, en muchos escenarios de toxicología predictiva, los descriptores moleculares tradicionales siguen siendo superiores o complementarios a las representaciones puramente basadas en SMILES de los transformadores.
• Limitaciones del Espacio Químico: Alerta sobre el desafío de predecir la actividad de compuestos estructuralmente únicos (nodos aislados), sugiriendo la necesidad de estrategias de muestreo o generación de datos específicas para cubrir estos huecos en el espacio químico.
• Aplicabilidad: Los hallazgos permiten desarrollar herramientas in silico más fiables para la priorización y evaluación de riesgos de disruptores endocrinos ambientales, reduciendo la dependencia de pruebas con animales.

En conclusión, el trabajo establece un nuevo estándar para la evaluación de modelos de IA en toxicología, destacando la interacción compleja entre la arquitectura del modelo, la representación de características y la topología del espacio químico de los datos.