From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

La ciencia ha dependido durante mucho tiempo de una idea simple y reconfortante: si construyes un modelo del mundo, puedes confiar en que te dirá la verdad, siempre que le proporciones los datos adecuados. Pero una nueva generación de inteligencia artificial está cambiando las reglas. No son las computadoras de la vieja escuela que simplemente clasifican la información en categorías ordenadas; son modelos generativos, sistemas diseñados para crear datos completamente nuevos y complejos desde cero. Pueden predecir cómo una proteína se pliega en una forma tridimensional o pronosticar el clima en todo el globo. El problema es que estas máquinas creativas tienen un lado oscuro. Son propensas a las "alucinaciones", un término tomado de la psicología humana para describir cuando la IA inventa detalles que parecen plausibles pero que simplemente no existen. En un escaneo médico, esto podría parecer una fractura en un hueso sano; en un modelo de proteínas, podría ser una estructura sólida donde la naturaleza ha dejado un caos desordenado. Durante décadas, los científicos temieron que estos errores fueran fallas fatales, que hacían que la tecnología fuera demasiado peligera para el descubrimiento serio. Si la máquina se está inventando cosas, ¿cómo podremos saber qué es real?

Un nuevo artículo de Charles Rathkopf, investigador del Centro de Investigación de Jülich, sostiene que hemos estado mirando el problema de la manera equivocada. El temor de que las alucinaciones hagan que la IA generativa sea poco fiable se basa en un malentendido de cómo funciona realmente la ciencia. Rathkopf sugiere que deberíamos dejar de juzgar el modelo de IA de forma aislada y empezar a juzgar todo el proceso científico, o "flujo de trabajo" (workflow), en el que el modelo está inserto. El artículo propone que, incluso si la IA continúa inventando detalles falsos, los científicos pueden construir una red de seguridad a su alrededor. Al utilizar su propio conocimiento profundo y preexistente del mundo natural, los investigadores pueden filtrar las mentiras y conservar las verdades. El resultado es que la conclusión científica final puede ser fiable, incluso si la herramienta utilizada para alcanzarla es imperfecta.

Para entender por qué esto es importante, primero hay que comprender qué están haciendo estos modelos de IA. A diferencia del software tradicional que sigue reglas estrictas y preescritas, la IA generativa aprende estudiando vastas cantidades de datos existentes y luego adivinando qué es lo que sigue. Es como un estudiante que ha leído todos los libros de una biblioteca y ahora se le pide que escriba una nueva historia. El estudiante puede escribir algo hermoso y nuevo, pero también podría inventar un personaje que nunca existió o un punto de la trama que contradice las leyes de la física. En el mundo de la ciencia, esta "invención" es la alucinación. El artículo señala que estos errores no son solo equivocaciones aleatorias; son inevitables. Debido a que la IA intenta crear estructuras complejas y de alta dimensionalidad —como el intrincado plegamiento de una proteína o los patrones arremolinados de una tormenta—, debe rellenar los huecos donde los datos son escasos. Al hacerlo, a veces crea una estructura que parece perfecta en la superficie pero que es fundamentalmente errónea por debajo. El autor argumenta que no podemos simplemente entrenar a la IA con más fuerza o construir una mejor versión del modelo para detener esto. El mismo mecanismo que permite que la IA sea creativa y útil es el mismo mecanismo que la obliga a alucinar.

El artículo desafía una suposición común en el campo: que una alucinación es simplemente un dato que se ve diferente de aquello con lo que la IA fue entrenada. Si eso fuera cierto, los científicos podrían simplemente desechar cualquier resultado que no coincidiera con sus datos de entrenamiento. Pero Rathkopf argumenta que esto es una trampa. En la ciencia, el objetivo no es repetir lo que ya sabemos; es descubrir lo que no sabemos. Si un científico desecha un resultado extraño solo porque se ve diferente al pasado, podría accidentalmente desechar un descubrimiento genuino. En cambio, el artículo define una alucinación de forma más precisa: es un resultado que representa erróneamente el objeto del mundo real que se supone debe describir, y lo hace por accidente, no por diseño. Es un error que la máquina comete por sí misma, no un truco que se le enseñó.

El autor recurre entonces a dos ejemplos del mundo real para mostrar cómo los científicos ya están resolviendo este problema sin necesidad de arreglar la IA en sí misma. El primer caso es AlphaFold, un famoso sistema de IA desarrollado por Google DeepMind que predice las formas 3D de las proteínas. Las proteínas son las máquinas de trabajo de la vida, y sus formas determinan lo que hacen. AlphaFold 3, la última versión, utiliza un enfoque generativo que le permite inventar nuevas estructuras. Los desarrolladores sabían que esto conduciría a alucinaciones. De hecho, el sistema a veces inventa una forma sólida y compacta para una parte de una proteína que en realidad debería ser flexible y desordenada. Si un científico tomara ese resultado de forma literal, sería engañado. Sin embargo, el equipo construyó un "flujo de trabajo" alrededor de la IA para detectar estos errores. Añadieron una segunda capa de análisis que actúa como un inspector de control de calidad. Este sistema observa el resultado de la IA y lo coteja con las reglas conocidas de la química y la física. Por ejemplo, sabe que las partes desordenadas de una proteína deben estar expuestas al agua circundante, mientras que las partes sólidas deben estar resguardadas en el interior. Si la IA inventa una forma sólida para una parte desordenada, el flujo de trabajo la marca como sospechosa. El sistema también asigna una puntuación de confianza a cada parte de la forma predicha, indicando al científico exactamente qué partes son fiables y cuáles son probablemente alucinaciones. La IA sigue cometiendo errores, pero el flujo de trabajo asegura que esos errores nunca lleguen a la conclusión final.

El segundo ejemplo proviene de la meteorología, específicamente de un sistema llamado SEEDS utilizado para el pronóstico del tiempo. El clima es caótico; cambios diminutos en las condiciones iniciales pueden conducir a resultados radicalmente distintos. Para manejar esto, los pronosticadores utilizan "conjuntos" (ensembles), lo que significa ejecutar el mismo modelo muchas veces para obtener un rango de futuros posibles. SEEDS utiliza una IA generativa para crear estos muchos futuros posibles rápidamente. El artículo señala que los pronósticos individuales de esta IA podrían ser físicamente imposibles, como un mapa meteorológico donde la presión del aire y la temperatura contradicen las leyes de la física. Estas son alucinaciones. Sin embargo, el sistema sigue siendo fiable. ¿Cómo? Porque los científicos no miran un solo pronóstico de forma aislada. Miran todo el grupo de 512 pronósticos juntos. Si un pronóstico es una alucinación, es solo una voz en una gran multitud. Mientras las alucinaciones sean escasas y no sean todas iguales, se diluyen cuando los científicos calculan la probabilidad final de lluvia o calor. El flujo de trabajo aquí es el conjunto mismo. Al tratar el resultado como una colección de posibilidades en lugar de una única verdad, el sistema filtra el ruido. Los investigadores también utilizan herramientas estadísticas para verificar si el grupo de pronósticos, en su conjunto, coincide con la realidad, asegurando que los números de probabilidad final sean dignos de confianza.

El hallazgo central del artículo es que la fiabilidad no requiere que la IA sea perfecta. Requiere que el proceso humano alrededor de la IA sea inteligente. Rathkopf argumenta que debemos dejar de intentar construir una IA "libre de alucinaciones", una meta que puede ser imposible, y empezar a construir flujos de trabajo "resistentes a las alucinaciones". Esto desplaza el enfoque de la máquina hacia el método. La máquina puede ser una caja negra, un generador misterioso de ideas, siempre y cuando los científicos que la rodean tengan el conocimiento para probar esas ideas. El artículo sugiere que así es como la ciencia siempre ha funcionado: usamos herramientas que son imperfectas, pero las rodeamos de controles y equilibrios. La IA proporciona la materia prima y el científico aporta el juicio.

Este enfoque también cambia nuestra forma de pensar sobre el papel de la IA en la ciencia. Algunos críticos argumentan que la IA solo es buena para encontrar nuevas ideas (descubrimiento) pero no para probar que son ciertas (justificación). Dicen que solo deberíamos confiar en la IA si podemos probar sus predicciones en un laboratorio. Rathkopf está de acuerdo en que las pruebas son cruciales, pero añade que el propio flujo de trabajo es parte de la prueba. El acto de filtrar, clasificar y calificar el resultado de la IA es una forma de justificación. No se trata solo de esperar a ver si la IA tiene razón; se trata de construir un sistema que asegure que la IA tenga razón antes de realizar el experimento. El artículo sugiere que mientras tengamos suficiente conocimiento de base sobre el sistema que estamos estudiando —ya sea una proteína o un frente de tormenta— podemos construir estas redes de seguridad.

El artículo concluye con una nota sobria pero esperanzadora. La capacidad de construir estos flujos de trabajo fiables depende de tener una comprensión profunda del sistema objetivo. Si los científicos intentan modelar algo sobre lo que saben muy poco, no pueden construir los filtros necesarios para atrapar las mentiras de la IA. En esas áreas de frontera, el riesgo sigue siendo alto. Pero para los muchos campos en los que ya tenemos un conocimiento sólido de las reglas —como el plegamiento de proteínas o la dinámica del clima— la IA generativa puede ser un socio poderoso. La máquina continuará alucinando, tal como un artista humano podría cometer un error mientras pinta. Pero mientras el científico sepa cómo es una pintura real, podrá detectar el error y conservar la obra maestra. El artículo no afirma que el problema de la IA esté resuelto o que las alucinaciones vayan a desaparecer. Afirma algo más práctico: que podemos aprender a vivir con ellas, gestionarlas y seguir utilizando estas poderosas herramientas para expandir los límites del conocimiento humano. La fiabilidad de la ciencia, argumenta el autor, nunca ha dependido de la perfección de nuestras herramientas, sino de la sabiduría de cómo las usamos.