🔬 materials science

Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents

Este artículo presenta el Protocolo de Evolución de Hipótesis (HEP, por sus siglas en inglés), un marco que dota a los agentes de modelos de lenguaje extensos con operaciones explícitas y auditables para la generación, prueba y revisión de creencias, permitiendo así un descubrimiento científico impulsado por IA que sea transparente y verificable.

Autores originales: Izumi Takahara, Teruyasu Mizoguchi

Publicado 2026-07-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Izumi Takahara, Teruyasu Mizoguchi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has contratado a un robot detective superinteligente para resolver un misterio sobre por qué ciertos materiales forman formas cristalinas específicas. En el pasado, estos robots detectives (llamados agentes LLM) corrían de un lado a otro, probaban cosas y garabateaban sus pensamientos en un cuaderno desordenado y sin organización. Si le preguntabas: "¿Por qué pensaste eso?" o "¿Cómo cambiaste de opinión?", solo te señalaba una página de texto confuso. Era imposible saber si realmente estaban aprendiendo de sus errores o si solo estaban adivinando al azar.

Los autores de este artículo dicen: "Eso no es suficiente para la ciencia real". Así que construyeron un nuevo conjunto de reglas llamado Protocolo de Evolución de Hipótesis (HEP). Piensa en el HEP no como un cuaderno, sino como un estricto y transparente tribunal donde el robot detective debe presentar su caso.

La vieja forma vs. El nuevo tribunal

En el antiguo enfoque de "estilo de planificación", el robot simplemente saltaba de "Tengo una idea" a "Vamos a probarla" a "Aquí está el resultado", sin declarar nunca claramente: "Ahora creo que esta idea es un 80% cierta debido a esta prueba específica". Era como un detective que resuelve un caso pero se niega a mostrar el registro de evidencia.

Con el HEP, cada idea que tiene el robot es tratada como un personaje persistente en una historia.

El Nacimiento: Cuando el robot se le ocurre una nueva idea (una hipótesis), esta recibe una tarjeta de identificación única y un "puntaje de creencia" (una probabilidad de 0 a 1) que muestra qué tan seguro está el robot.
El Juicio: El robot realiza pruebas. Si los resultados de las pruebas son buenos, se adjuntan a la idea como evidencia en un archivo.
El Veredicto: El puntaje de creencia de la idea sube o baja basándose únicamente en esa evidencia.
- Si el puntaje alcanza 0.8 o más, la idea es declarada "Sustentada" (¡Culpable de ser cierta!).
- Si cae a 0.2 o menos, es "Refutada" (No culpable, o simplemente errónea).
- Si se queda estancada en el medio, entra en estado "Latente" (Durmiendo hasta que nueva evidencia la despierte).

Lo más genial es que el robot no puede hacer trampa. No puede decir: "Cambié de opinión porque me dio la gana". Tiene que mostrar la pieza específica de evidencia que movió el puntaje. Y si el robot intenta saltarse un paso, el sistema dice: "No, inténtalo de nuevo".

Lo que el robot realmente hizo

Los investigadores probaron este nuevo sistema en tres complicados acertijos de ciencia de materiales. Le pidieron al robot que descubriera qué estructura cristalina prefería un modelo computacional específico para diferentes familias de compuestos y por qué.

Esto es lo que sucedió en estas simulaciones:

El Robot Aprendió: El robot equipado con HEP no solo adivinó; realmente pasó por todo el ciclo de "Idea → Prueba → Evidencia → Actualización de Creencia". En una ejecución específica, generó 16 ideas diferentes, las probó y finalmente las fusionó en una "regla maestra" final con un puntaje de creencia de 0.97.
El Viejo Robot Falló: Cuando ejecutaron las mismas tareas con un robot estándar (sin HEP), este pasó el 83% de su tiempo simplemente realizando pruebas y el 0% del tiempo actualizando explícitamente sus creencias. Nunca llegó a "aprender" de una manera que se pudiera rastrear.
La Otra Cara de la Moneda: El robot fue lo suficientemente honesto como para cambiar de opinión. En un caso, comenzó con una creencia del 50% en una idea de un libro de texto, pero la evidencia demostró que era errónea, haciendo que el puntaje cayera a 0.14. Luego pivotó hacia una nueva y mejor idea. Este "cambio de creencia" ocurrió en las tres tareas.

El Requisito de "Capacidad Cerebral"

Hay un inconveniente, sin embargo. Este nuevo sistema de tribunal funciona mejor si el robot tiene un cerebro grande. Los investigadores probaron el HEP con tres versiones diferentes del "cerebro" del robot (LLMs):

El Súper Cerebro (GPT-5.5): Generó un promedio de 14.7 ideas por ejecución y alcanzó una profundidad de 4.7 niveles, refinando y fusionando ideas como un profesional.
El Cerebro Medio (GPT-5.4-mini): Solo generó 6.7 ideas en promedio y se estancó en una profundidad de 1.7.
El Cerebro Pequeño (GPT-4.1): Solo logró gestionar 4.0 ideas y una profundidad de 0.7. A menudo se rendía, dejando las ideas "abiertas" y sin resolver.

Esto sugiere que, si bien las reglas (HEP) son excelentes, el robot aún necesita ser lo suficientemente inteligente como para seguirlas. Un robot menos capaz simplemente no puede manejar el complejo trabajo de refinar y fusionar ideas a lo largo del tiempo.

La Conclusión

Este artículo no pretende haber resuelto toda la ciencia o haber creado un robot que reemplace a los científicos humanos. En cambio, muestra que al obligar a los agentes de IA a mantener un registro estricto y auditable de sus ideas y evidencia, finalmente podemos ver cómo piensan.

En estas simulaciones, el sistema HEP convirtió con éxito a un robot de "caja negra" en uno transparente que podía rastrear su propio razonamiento, cambiar de opinión basándose en datos y construir un caso sólido para su respuesta final. Es un paso hacia científicos de IA en los que realmente podamos confiar, inspeccionar y aprender, en lugar de simplemente aceptar su palabra.

Resumen Técnico: Hacia Científicos de IA Auditables mediante el Protocolo de Evolución de Hipótesis

Declaración del Problema

Si bien los agentes de Modelos de Lenguaje Extensos (LLM) muestran potencial en el descubrimiento científico autónomo, las implementaciones actuales carecen a menudo de estructuras de razonamiento científico rigurosas. Los agentes existentes suelen automatizar flujos de trabajo predefinidos u optimizar hacia metas externas, pero fallan al gestionar explícitamente el ciclo central de la investigación científica: proponer hipótesis, probarlas, reunir evidencia y actualizar creencias. En los sistemas actuales, estos procesos quedan enterrados en registros no estructurados o estados internos implícitos. En consecuencia, ni el agente ni los investigadores humanos pueden rastrear fácilmente qué hipótesis se consideraron, cómo la evidencia influyó en la actualización de creencias o cómo se alcanzaron las conclusiones. Análisis recientes indican que, en muchos rastros de agentes, la evidencia es ignorada y las creencias rara vez se revisan tras una refutación. Sin un registro explícito y auditable del ciclo hipótesis–prueba–evidencia–creencia, la solidez científica de las conclusiones de un agente no puede verificarse, ni el agente puede construir sistemáticamente sobre sus propias hipótesis o retirarlas en horizontes de investigación prolongados.

Metodología: El Protocolo de Evolución de Hipótesis (HEP)

Para abordar estas limitaciones, los autores proponen el Protocolo de Evolución de Hipótesis (HEP), un arnés para agentes que externaliza el razonamiento científico en operaciones explícitas y auditables. El HEP consta de dos componentes primarios:

Registro HEP: Un almacén de origen de eventos (event-sourced) de solo adición, donde cada hipótesis es un objeto persistente identificado por un ID único. Cada objeto contiene:
- Una declaración en lenguaje natural.
- Una probabilidad de creencia $P(H)$ que representa la confianza del agente.
- Un estado de ciclo de vida (propuesta, bajo_prueba, respaldada, refutada o latente).
- Un registro de procedencia (linaje y mecanismo de generación).
- Un registro de eventos de solo adición que rastrea todas las actualizaciones de creencias, adjuntos de evidencia y transiciones de estado.
Herramientas HEP: Un conjunto de interfaces que median la interacción del agente con el Registro, categorizadas en:
- Proponer y Evolucionar: Incluye propose_hypothesis (proponer hipótesis), refine_hypothesis (refinar hipótesis) y merge_hypotheses (fusionar hipótesis). Las hipótesis se generan mediante cuatro mecanismos: de-novo, inspirada-en (solo procedencia), refinar y fusionar.
- Probar y Juzgar: Incluye attach_evidence (adjuntar evidencia) y transition_hypothesis (transicionar hipótesis). Las actualizaciones de creencias son disciplinadas por puertas de validación; solo la evidencia considerada confiable actualiza la creencia. Los veredictos (respaldada/refutada) son impuestos por transiciones de umbral ( $P(H) \ge 0.8$ para respaldada, $P(H) \le 0.2$ para refutada).
- Leer: Incluye list_hypotheses (listar hipótesis) y get_hypothesis (obtener hipótesis) para consultar el registro.

El protocolo obliga al agente a operar dentro de un ciclo estructurado de Hipótesis–Prueba–Evidencia–Creencia. Las creencias son suscitadas por el agente con justificaciones escritas en lugar de ser computadas algorítmicamente, pero el protocolo impone que los cambios de creencia deben estar anclados a evidencia específica y validada.

Configuración Experimental

Los autores evaluaron el HEP en tres tareas de investigación de ciencia de materiales que involucran preguntas abiertas sobre la preferencia de estructura cristalina para familias de compuestos específicos utilizando un potencial interatómico aprendido por máquina (MLIP) fijo:

Tarea AO2: Selección de polimorfos en dióxidos AO2.
Tarea A2BB'O6: Ordenamiento de cationes en el sitio B en perovskitas dobles.
Tarea MX: Selección de prototipos en monocalcogenuros y monopnicturos de metales de transición.

Los experimentos utilizaron un LLM base (GPT-5.5) equipado con herramientas computacionales (relajación de estructuras, dinámica molecular, consultas a bases de datos) y el arnés HEP. Las comparaciones se realizaron contra un agente estándar de "estilo de planificación" (planificar–ejecutar–replanificar) que carece del arnés HEP. Adicionalmente, se probó la escalabilidad de HEP utilizando tres LLM de varying capacidad (GPT-5.5, GPT-5.4-mini, GPT-4.1).

Resultados Clave

1. Operación del Bucle Científico

En una ejecución de investigación única en la Tarea AO2, el agente equipado con HEP generó 16 hipótesis, ejerciendo los cuatro mecanismos de generación. Cada hipótesis fue eventualmente transicionada a un estado terminal (respaldada, refutada o latente). El agente ejecutó con éxito el ciclo completo:

Trazabilidad: El árbol de hipótesis permitió rastrear las relaciones padre-hijo y los mecanismos de generación.
Evolución de la Creencia: Las trayectorias de creencia mostraron que los cambios estaban estrictamente ligados a la evidencia validada. Las hipótesis cruzaron los umbrales de soporte o refutación solo después de acumular suficiente evidencia, ocurriendo "giros de creencia" (por ejemplo, una hipótesis propuesta con baja confianza que termina siendo respaldada) basados en los datos.
Comparación con Agentes de Planificación: Un agente de estilo planificación con el mismo LLM base dedicó el 83% de sus pasos a pruebas y el 0% a actualizaciones explícitas de creencias. Falló al externalizar creencias o actualizarlas sistemáticamente frente a la evidencia. En contraste, el agente HEP exhibió un flujo de transición claro (Hipótesis $\to$ Prueba $\to$ Evidencia $\to$ Creencia $\to$ Juicio $\to$ Actualización), demostando que el HEP impone el bucle científico que la planificación por sí sola no logra.

2. Generalización a través de Preguntas de Investigación

Aplicado a las Tareas A2BB'O6 y MX, el HEP demostró robustez:

El agente generó entre 10 y 20 hipótesis por tarea con profundidades de generación de 3 a 5.
Todas las hipótesis alcanzaron una disposición terminal; ninguna quedó sin resolver.
Las reglas gobernantes finales se derivaron con alta confianza (por ejemplo, $P(H) = 0.97$ para AO2). Estas reglas fueron verificadas prediciendo estructuras para composiciones no vistas.
El protocolo reveló cómo refutaciones específicas (por ejemplo, de un mecanismo de Jahn–Teller de libro de texto) redirigieron la búsqueda hacia las excepciones electrónicas correctas, un historial directamente legible desde los registros del registro.

3. Escalamiento con la Capacidad del LLM Base

Se encontró que la eficacia de HEP dependía de la capacidad de razonamiento del LLM subyacente:

GPT-5.5: Generó la mayor cantidad de hipótesis (media de 14.7), utilizó todos los mecanismos de generación (incluyendo fusiones complejas) y resolvió todas las hipótesis.
GPT-5.4-mini: Generó menos hipótesis (media de 6.7) y dejó el 36% sin resolver.
GPT-4.1: Generó la menor cantidad de hipótesis (media de 4.0), dependió fuertemente de propuestas de-novo (62%) y no logró evolucionar las hipótesis mediante refinamiento o fusión. En una ejecución, abandonó todas las hipótesis sin adjuntar evidencia.
Conclusión: Aunque todos los LLM probados podían operar las herramientas individuales de HEP, solo los modelos más capaces podían explotar plenamente la evolución iterativa y la gestión de linaje del protocolo.

Significancia y Reivindicaciones

El artículo afirma que el HEP representa un paso hacia los científicos de IA auditables. Su significancia principal radica en:

Externalización del Razonamiento: Transforma el ciclo hipótesis–prueba–evidencia–creencia de procesos implícitos y no estructurados a registros explícitos, persistentes y verificables.
Disciplina y Verificación: Al imponer umbrales de creencia y validación de evidencia, el HEP asegura que las conclusiones de un agente estén fundamentadas en una pista de auditoría trazable, permitiendo a los investigadores humanos inspeccionar, verificar y construir sobre el razonamiento científico del agente.
Complementariedad: Los autores enfatizan que el HEP no sustituye la capacidad de razonamiento del LLM base. En su lugar, el arnés y la capacidad son complementarios: el arnés determina si el razonamiento es externalizado y verificable, mientras que la capacidad del LLM determina qué tan plenamente se explota ese razonamiento.

El trabajo concluye que a medida que los LLM base avancen, los arneses como el HEP serán esenciales para convertir la potencia computacional bruta en un descubrimiento científico confiable e inspeccionable. El trabajo futuro sugerido incluye la introducción de agentes auditores independientes para la validación de evidencia y dotar a los agentes con herramientas de primeros principios (por ejemplo, DFT) para una validación de evidencia más rigurosa.