Resumen Técnico: auto-psych

Declaración del Problema

El proceso científico en la ciencia cognitiva es tradicionalmente un bucle iterativo que involucra la conjetura de teorías, el diseño experimental, la recolección de datos y el refinamiento de modelos. Si bien las herramientas de IA han asistido recientemente en pasos individuales de este bucle (por ejemplo, generando hipótesis o analizando conjuntos de datos existentes), un cuello de botella crítico persiste: la automatización de la recolección de nuevos datos bajo regímenes experimentales dirigidos. La ciencia impulsada por IA actual suele depender del "bucle de Box" (pruebas de modelos iterativas sobre conjuntos de datos estáticos), pero carece de una capacidad de "laboratorio en el bucle" donde los agentes diseñen y ejecuten experimentos con participantes humanos.

Este artículo aborda el desafío de automatizar el ciclo completo de descubrimiento en la ciencia cognitiva computacional. Específicamente, se dirige al dominio de la aleatoriedad subjetiva —el fenómeno psicológico donde los humanos juzgan qué secuencias de lanzamientos de moneda parecen más aleatorias—. Este dominio se elige porque ofrece un espacio de estímulos discreto y tratable, y una rica historia de teorías probabilísticas formalizadas, lo que lo convierte en un banco de pruebas ideal para el descubrimiento automatizado de teorías.

Metodología: El Marco de Trabajo auto-psych

Los autores presentan auto-psych, un sistema basado en agentes que automatiza el descubrimiento de teorías y la experimentación a través de dos bucles anidados. El sistema utiliza Modelos de Lenguaje de Gran Escala (LLMs), específicamente gemini-3.1-pro-preview dentro de un entorno OpenCode, para instanciar distintos roles de agentes (Agentes Teórico, Crítico, de Diseño e Implementación).

1. El Bucle Exterior: "Laboratorio en el Bucle"

El bucle exterior gestiona el ciclo experimental para diferenciar entre teorías competidoras:

• Generación de Teorías: Un agente teórico propone nuevos modelos cognitivos. En la primera iteración, utiliza "modelos semilla" de la literatura. En iteraciones posteriores, genera nuevas hipótesis en lenguaje natural y las traduce a código ejecutable de PyMC (programación probabilística).
• Diseño de Experimentos: Un agente de diseño genera entre 100 y 300 estímulos candidatos (pares de secuencias de lanzamientos de moneda). Estos se califican utilizando la Ganancia de Información Esperada (EIG) para seleccionar los pares que distinguen más eficazmente entre el conjunto actual de modelos en el registro.
• Recolección de Datos: Un agente de implementación construye un experimento de jsPsych, lo despliega en Firebase y recluta participantes humanos a través de la API de Prolific. El sistema monitorea el estudio, recupera los datos y los pasa al bucle interior.

2. El Bucle Interior: "Bucle de Box"

El bucle interior refina el modelo con mejor desempeño del bucle exterior antes de que sea añadido de nuevo al registro:

• Ajuste de Modelos: Los modelos existentes se ajustan a los datos humanos recolectados mediante Cadenas de Markov Monte Carlo (MCMC).
• Crítica: Un agente crítico (adaptado del marco CriticAL) realiza verificaciones predictivas posteriores. Simula datos a partir del mejor modelo ajustado y calcula estadísticas de prueba para identificar discrepancias significativas entre las predicciones del modelo y los datos humanos observados.
• Refinamiento: Un agente teórico utiliza estas críticas específicas para proponer nuevos modelos o refinar mecanismos existentes para abordar las fallas identificadas. Este bucle se ejecuta dos veces por cada iteración del bucle exterior.

Contribuciones Clave

1. Automatización Total del Ciclo de Descubrimiento: El artículo presenta el primer caso de un bucle de psicología totalmente automatizado e iterativo donde agentes de IA diseñan experimentos, reclutan participantes humanos, recolectan datos de comportamiento reales y refinan teorías computacionales sin intervención humana en el ciclo experimental.
2. Arquitectura de Agentes Anidados: El sistema demuestra que una estructura anidada (un bucle interior para la crítica/refinamiento de modelos y un bucle exterior para el diseño experimental) es crítica para el rendimiento. Los estudios de ablación muestran que eliminar el bucle interior degrada significativamente la capacidad del sistema para recuperar los modelos de verdad fundamental (ground-truth).
3. Integración de Programación Probabilística: El marco logra unir los LLM con lenguajes de programación probabilística (PyMC), permitiendo que los agentes generen, ajusten y critiquen modelos cognitivos complejos que representan la cognición humana como procesos probabilísticos.

Resultados

El sistema fue evaluado de dos maneras principales:

1. Recuperación de la Verdad Fundamental (Ground-Truth)

Los autores probaron la capacidad de auto-psych para recuperar modelos conocidos (tanto modelos semilla de la literatura como modelos "alienígenas" con reglas psicológicamente implausibles) a partir de datos sintéticos generados por dichos modelos.

• Desempeño: El sistema recuperó consistentemente los modelos de verdad fundamental con una mayor precisión (menor Error Cuadrático Medio) que los mejores modelos semilla.
• Necesidad de Bucles Anidados: Los experimentos de ablación confirmaron que el bucle interior es esencial; sin él, el desempeño de recuperación del sistema cayó significativamente.

2. Experimentos con Datos Humanos

El sistema ejecutó tres réplicas independientes del ciclo de descubrimiento con participantes humanos (40 participantes por ronda, 3 rondas por réplica).

• Superioridad sobre los Modelos de la Literatura: En las tres réplicas, los agentes descubrieron modelos que se ajustan a los datos humanos significativamente mejor que los modelos semilla iniciales derivados de la literatura científica (por ejemplo, diagnosticidad bayesiana, similitud de prototipos, compresibilidad de codificación).
• Descubrimientos Novedosos: El modelo con mejor desempeño descubierto fue el modelo de "tipicidad de Minkowski". Este modelo postula que los humanos juzgan la aleatoriedad comparando la tasa de alternancia de una secuencia y la proporción de caras respecto a un prototipo mental, con las desviaciones ponderadas por un exponente de potencia de penalización (media posterior ~1.35, lo que sugiere una métrica de distancia entre Manhattan y Euclídea).
• Generalización: Los modelos descubiertos mantuvieron su ajuste superior cuando se probaron en datos no utilizados de otras réplicas, lo que indica que no sufrieron un sobreajuste (overfitting) a los conjuntos de datos específicos utilizados durante su descubrimiento.
• Diversidad de Soluciones: Aunque diferentes réplicas convergieron en modelos con un poder predictivo similar (bajo RMSE entre los mejores modelos), las estructuras internas variaron (algunas basadas en la comparación de prototipos, otras en la acumulación de evidencia), lo que resalta la naturaleza no única del descubrimiento de modelos en espacios de alta dimensión.

Significado y Reivindicaciones

El artículo afirma demostrar la viabilidad de la recolección de datos y el descubrimiento de teorías automatizados en la ciencia cognitiva computacional. Argumenta que:

• Eficiencia: Los sistemas automatizados pueden iterar rápidamente a través de la generación de hipótesis y la prueba experimental, lo que potencialmente acelera el ritmo del progreso científico.
• Potencial de Descubrimiento: El sistema puede encontrar teorías que superan a los modelos generados por humanos, sugiriendo que los agentes de IA pueden identificar explicaciones mecanísticas novedosas para el comportamiento humano que podrían haber sido pasadas por alto.
• Escalabilidad: Aunque el estudio actual es una prueba de concepto en un dominio específico y restringido (aleatoriedad subjetiva), el marco está diseñado para ser generalizable a otros paradigmas donde las teorías puedan formalizarse en código y los experimentos puedan ejecutarse en línea.

Los autores mantienen la modestia respecto al alcance, reconociendo que el sistema actual opera dentro de un espacio de estímulos restringido y que los modelos descubiertos, aunque estadísticamente superiores, pueden carecer aún de las virtudes explicativas profundas preferidas por los psicólogos humanos. Encuadran este trabajo como un punto de partida para integrar sistemas de descubrimiento automatizados en la infraestructura científica más amplia, en lugar de un reemplazo para los científicos humanos.