What Can Artificial Intelligence Learn from Medicine? Generative Analogies and Reliable Machine Learning Systems

En los últimos años, médicos e informáticos han comenzado a trabajar juntos para construir herramientas de inteligencia artificial que puedan ayudar a diagnosticar enfermedades, predecir los resultados de los pacientes y sugerir tratamientos. Estas herramientas, conocidas como sistemas de aprendizaje automático, son poderosas porque pueden encontrar patrones en cantidades masivas de datos que los humanos podrían pasar por alto. Sin embargo, existe un problema persistente: estos sistemas a menudo funcionan como cajas negras. Producen resultados sin explicar cómo llegaron a ellos, y dependen de conexiones estadísticas en lugar de teorías claras sobre por qué funciona un tratamiento. Esto crea un dilema para los médicos que necesitan confiar en las herramientas que utilizan. Si una computadora dice que un paciente tiene una enfermedad, pero nadie entiende por qué lo dijo, ¿cómo puede un médico estar seguro de que es correcto? Esta incertidumbre ha llevado a una pregunta difícil: ¿cómo verificamos que estos sistemas complejos y opacos son lo suficientemente fiables como para ser utilizados en hospitales reales?

Dos filósofos, Emanuele Ratti y Lena Zuchowski, han propuesto una nueva forma de pensar en este problema observando cómo la medicina misma maneja incertidumbres similares. Sugieren que no debemos intentar forzar a la inteligencia artificial a ser transparente o explicable de la manera en que solemos esperar. En su lugar, argumentan que debemos aprender de la larga historia de cómo se validan los nuevos fármacos. Así como los médicos no siempre saben exactamente cómo funciona una píldora específica dentro del cuerpo, aun así saben que es segura y eficaz gracias al riguroso proceso utilizado para probarla. Los investigadores proponen que el mismo tipo de proceso de prueba riguroso utilizado para los medicamentos puede adaptarse para crear un nuevo estándar para confiar en la inteligencia artificial.

El núcleo de su argumento se basa en una comparación entre dos procesos muy diferentes: el desarrollo de nuevos medicamentos y la construcción de sistemas de aprendizaje automático. En medicina, cuando se descubre un nuevo fármaco, los científicos a menudo no comprenden completamente el mecanismo biológico detrás de él. Podrían no saber exactamente cómo interactúa la molécula con las células del cuerpo. A pesar de esta falta de conocimiento teórico, el fármaco puede demostrar que funciona. Esto se logra mediante un proceso llamado traducción clínica, donde los investigadores prueban sistemáticamente el fármaco bajo muchas condiciones diferentes. Determinan la dosis adecuada, los tipos específicos de pacientes a los que ayuda y las situaciones en las que podría fallar. Al reunir esta información, crean un perfil detallado de la utilidad del fármaco, incluso si el "porqué" subyacente sigue siendo un misterio.

Ratti y Zuchowski argumentan que los sistemas de aprendizaje automático enfrentan exactamente la misma situación. Estos sistemas suelen ser "ateóricos", lo que significa que no dependen de teorías creadas por humanos; son "asociacionistas", lo que significa que encuentran vínculos entre puntos de datos sin comprender la causa; y son "opacos", lo que significa que su toma de decisiones interna está oculta. Debido a esto, intentar que la IA se explique a sí misma suele ser imposible. En lugar de luchar contra esta naturaleza, los autores sugieren que deberíamos copiar el enfoque médico. Deberíamos dejar de intentar exigir que la IA explique su lógica y empezar a exigir saber las condiciones específicas bajo las cuales funciona.

Para hacer esta idea concreta, los investigadores desarrollaron un nuevo marco que llaman "ensamble de aprendizaje" (learning ensemble). Piense en esto como un manual de instrucciones detallado que va mucho más allá de simplemente decir "este programa de computadora funciona". En medicina, un fármaco no es solo un producto químico; es un producto químico utilizado de una manera específica, para un grupo específico de personas, con efectos secundarios específicos. Del mismo modo, un sistema de aprendizaje automático no es solo una pieza de código; es un sistema que funciona solo cuando se cumplen ciertas condiciones. El ensamble de aprendizaje es una colección de información que define esas condiciones. Incluye detalles sobre los datos utilizados para entrenar el sistema, el hardware específico en el que se ejecuta, los tipos de pacientes en los que fue probado y las métricas exactas utilizadas para juzgar su éxito.

Los autores dividen esta información en tres categorías principales. La primera es los "límites de fiabilidad". Esta sección documenta el entorno en el que se construyó el sistema. Plantea preguntas como: ¿Eran los datos limpios y diversos, o eran desordenados y limitados? ¿Se probó el sistema en computadoras potentes, o tuvo dificultades con hardware básico? Si los datos provinieron de un solo hospital, el sistema podría fallar cuando se use en un hospital diferente con equipos distintos. Al documentar estos límites, los usuarios pueden saber exactamente dónde es seguro usar el sistema y dónde podría fallar.

La segunda categoría es el "rendimiento". Esto no es solo un número único que dice que el sistema tiene un 90% de precisión. En su lugar, requiere un informe detallado de cómo se desempeña el sistema en diferentes situaciones. Por ejemplo, ¿funciona igual de bien para pacientes jóvenes y ancianos, o para personas de diferentes géneros? ¿Comete más errores cuando los datos son ligeramente diferentes de los que se usaron para el entrenamiento? Los investigadores enfatizan que saber dónde falla un sistema es tan importante como saber dónde tiene éxito. Si un sistema es excelente diagnosticando un tipo de cáncer pero pésimo con otro, ese fallo específico debe ser registrado para que los médicos no lo utilicen para los casos equivocados.

La tercera categoría es la "dimensión funcional". Esto observa lo que el sistema debe hacer realmente en el mundo real. Un sistema puede ser matemáticamente perfecto prediciendo un número, pero si ese número no ayuda a un médico a tomar una mejor decisión, el sistema es inútil. Esta parte del marco verifica si la salida del sistema coincide con las necesidades del equipo médico. Por ejemplo, si un sistema está diseñado para ayudar a un médico a decidir si ingresa a un paciente al hospital, debe ser probado para ver si realmente ayuda con esa decisión específica. Si el sistema se utiliza para un propósito para el cual no fue diseñado, se vuelve poco fiable, independientemente de qué tan bien desempeñe su tarea original.

Los investigadores ilustran el poder de este enfoque con ejemplos reales de fallos. Señalan un estudio donde un sistema de inteligencia artificial afirmaba detectar el cáncer observando la composición genética de las bacterias en el cuerpo humano. El sistema parecía funcionar perfectamente al principio, con una precisión muy alta. Sin embargo, cuando los investigadores examinaron de cerca los datos, descubrieron que el sistema no había aprendido realmente sobre el cáncer. Había aprendido a reconocer un error específico en el proceso de recolección de datos que resultaba ser más común en pacientes con cáncer. Debido a que el sistema era opaco, este error estaba oculto. Si los investigadores hubieran utilizado el marco del "ensamble de aprendizaje", habrían estado obligados a documentar las fuentes de datos y las condiciones específicas de la prueba. Esta documentación habría revelado que los datos eran defectuosos y que el sistema estaba recurriendo a un atajo en lugar de a una conexión biológica real.

Otro ejemplo involucra un sistema diseñado para predecir qué pacientes con neumonía tenían un alto riesgo de morir. El sistema aprendió que los pacientes con asma tenían, en realidad, un riesgo menor. Esto parecía contraintuitivo. La razón era que el sistema había aprendido que los pacientes asmáticos recibían un tratamiento muy agresivo y efectivo en el hospital, lo que reducía su riesgo de muerte. Sin embargo, si un médico utilizara este sistema para decidir quién necesita cuidados, podría pensar erróneamente que los pacientes asmáticos no necesitan atención. El sistema era matemáticamente correcto basado en los datos, pero era funcionalmente peligroso porque no comprendía el contexto del tratamiento médico. El marco del ensamble de aprendizaje habría detectado esto al requerir una definición clara del propósito del sistema y una verificación contra el conocimiento médico real.

Los autores advierten cuidadosamente que este marco no resuelve el misterio de cómo funciona el aprendizaje automático. Los sistemas seguirán siendo opacos, y seguirán dependiendo de patrones estadísticos en lugar de teorías claras. El valor del ensamble de aprendizaje no reside en hacer que la IA sea transparente, sino en hacer que el uso de la IA sea transparente. Desplaza el enfoque de preguntar "¿Cómo piensa la computadora?" a preguntar "¿Bajo qué condiciones exactas podemos confiar en la respuesta de la computadora?". Este es un cambio sutil pero crucial. Permite a los médicos utilizar herramientas poderosas sin necesidad de comprender la compleja matemática detrás de ellas, siempre que tengan un mapa claro de dónde es seguro utilizar dichas herramientas.

Este enfoque sugiere una nueva forma de regular y evaluar la inteligencia artificial en la medicina. En lugar de exigir que cada algoritmo sea explicable, los reguladores y los hospitales deberían exigir un "ensamble de aprendizaje" completo para cada sistema. Este documento actuaría como un certificado de fiabilidad, detallando los datos, el rendimiento y el uso previsto. Si un hospital quiere utilizar un sistema, puede consultar el ensamble para ver si su situación específica coincide con las condiciones donde se ha demostrado que el sistema funciona. Si las condiciones no coinciden, el sistema no debe utilizarse. Este método acepta las limitaciones de la tecnología actual mientras proporciona una forma robusta de gestionar los riesgos.

El artículo concluye que este marco es un paso práctico hacia adelante. No afirma haber resuelto todos los problemas de la inteligencia artificial, ni promete que estos sistemas nunca cometerán errores. En cambio, ofrece una forma estructurada de construir confianza. Al tratar los sistemas de aprendizaje automático como tratamientos médicos —donde el enfoque está en las condiciones de uso en lugar del mecanismo interno—, podemos crear un camino más seguro y fiable para la integración de estas tecnologías en la atención médica. El objetivo no es hacer que la caja negra sea transparente, sino construir una guía fiable que nos diga exactamente dónde es seguro mirar en su interior.