Resumen Técnico: Cerrar el ciclo para descubrir teorías psicológicas con un científico cognitivo automatizado

Planteamiento del problema

El descubrimiento científico en psicología ha sido históricamente obstaculizado por el proceso creativo y manual de la construcción de teorías. Si bien la recolección de datos, el modelado y el diseño experimental han experimentado una creciente automatización, el paso central de generar nuevas teorías —convertir los fallos acumulados de los modelos existentes en otros mejores— sigue siendo un arte centrado en el ser humano. Los sistemas de descubrimiento automatizados existentes en otros campos (por ejemplo, la química, la ciencia de materiales) suelen automatizar etapas individuales o buscar en espacios de modelos fijos sobre conjuntos de datos estáticos. En la ciencia cognitiva, el desafío es conceptual: las teorías de la mente no pueden compilarse ni resolverse directamente, sino que deben navegar por un espacio conceptual abierto para renderizar procesos psicológicos opacos de manera mecánicamente significativa. El problema central abordado es la falta de un sistema totalmente autónomo capaz de cerrar el ciclo de descubrimiento para el comportamiento humano, específicamente la capacidad de proponer teorías contrapuestas, diseñar experimentos discriminantes, recolectar datos y sintetizar teorías mejoradas sin intervención humana.

Metodología: El sistema AUTOCOG

Los autores presentan AUTOCOG (AUTOmated COGnitive scientist), un sistema de IA agéntica totalmente autónomo diseñado para cerrar el ciclo de descubrimiento. El sistema opera en un flujo de trabajo de ciclo cerrado iterado sobre $N$ ciclos, que consta de cuatro etapas clave impulsadas por agentes de Modelos de Lenguaje Extensos (LLM):

1. Inicialización: Un investigador especifica el dominio de la tarea, las instrucciones, el espacio de diseño experimental, el espacio de diseño de modelos, las teorías semilla y una métrica opcional.
2. Diseño Experimental: Un agente de LLM propone un experimento donde dos teorías incumbentes presentan predicciones divergentes, adhiriéndose al principio de diseño experimental adversarial. Un segundo agente propone una métrica para cuantificar la ventaja predicha de una teoría sobre la otra. El sistema valida estas propuestas mediante simulación hacia adelante antes de la recolección de datos para asegurar la discriminabilidad.
3. Recolección de Datos Conductuales: El experimento comprometido se ejecuta en una fuente de datos. En este estudio, los datos se recolectaron de tres fuentes:
   • Comportamiento simulado de modelos cognitivos conocidos (recuperación de la verdad fundamental/ground truth).
   • Modelos fundacionales (como sustitutos in-silico).
   • Participantes humanos reclutados en línea (vía Prolific).
4. Análisis y Arbitraje: El sistema compara el comportamiento generativo de las teorías incumbentes contra los datos observados utilizando métricas prerregistradas. Un agente de arbitraje basado en LLM interpreta los hallazgos, diagnosticando por qué falló una teoría y recomendando revisiones.
5. Revisión de la Teoría: Basándose en el veredicto de arbitraje, un agente de LLM separado revisa la teoría más débil. Esto implica ya sea la resíntesis del modelo cognitivo asociado o la regeneración de la teoría desde cero mediante síntesis de programas (produciendo código Python ejecutable). La teoría revisada reingresa al ciclo.

Principios de Diseño Clave:

• Búsqueda de Extremo Abierto: El sistema busca en el espacio de las teorías y los experimentos en lugar de seleccionar de un conjunto de candidatos fijos.
• Comparación Generativa: Las teorías se comparan basándose en su capacidad para generar comportamiento (simulación hacia adelante) en lugar de ajustar parámetros a datos observados, reduciendo los riesgos de sobreajuste (overfitting).
• Autoverificación: Cada propuesta (experimento, teoría, métrica) es verificada contra sus propias predicciones mediante simulación antes de observar datos reales.
• Presión de Generalización: Las teorías deben capturar el comportamiento a través de múltiples poblaciones y tareas para sobrevivir, actuando como una presión implícita hacia la parsimonia y la unificación.

Contribuciones Clave

1. Primer Sistema de Ciclo Cerrado Autónomo para la Teoría Cognitiva: AUTOCOG se presenta como el primer sistema que descubre autónomamente teorías de la cognición humana directamente a partir del comportamiento humano, cerrando el ciclo desde el diseño del experimento hasta la revisión de la teoría sin intervención del investigador.
2. Representación de Teoría Ejecutable: El sistema trata las teorías como afirmaciones mecánicas en lenguaje natural emparejadas con programas Python ejecutables, lo que permite una simulación y verificación rigurosas.
3. Marco de Descubrimiento Adversarial: El sistema utiliza agentes de LLM para abogar por teorías contrapuestas y diseñar experimentos específicamente para discriminar entre ellas, imitando la naturaleza adversarial del debate científico.

Resultados

1. Recuperación de Estrategias de Toma de Decisiones Conocidas

En simulaciones donde las estrategias de verdad fundamental eran conocidas, AUTOCOG recuperó con éxito las teorías generadoras incluso cuando fue sembrado con teorías distintas y contrapuestas.

• Estrategias Canónicas: El sistema recuperó Take-the-Best (TTB), Tallying y Weighted-Additive (WADD) con alta fidelidad (Error Cuadrático Medio indistinguible de la verdad fundamental en condiciones sin ruido).
• Estrategias No Canónicas: El sistema recuperó con éxito estrategias no convencionales (por ejemplo, "Take-the-worst", "Alternating", "Perseveration") dentro de 5 a 20 ciclos, demostrando que no está estrictamente limitado por los priors de los LLM subyacentes.
• Robustez al Ruido: El rendimiento se degradó gradualmente con el aumento del ruido de acción ($\epsilon$), y el sistema convergió en modelos de elección aleatoria cuando se le presentó ruido puro, indicando que no impone estructura donde no existe.

2. Descubrimiento en la Toma de Decisiones con Atributos Múltiples (Claves Binarias)

Cuando se ejecutó con participantes humanos en una tarea de claves de valor binario (sembrado con TTB y WADD), AUTOCOG sacó a la luz un Modelo de Ponderación Subjetiva No Lineal.

• Rendimiento: Esta teoría superó significativamente a las teorías semilla (TTB, Tallying, WADD) en conjuntos de datos retenidos de la literatura (Hilbig et al., 2014).
• Mecanismo: El modelo unificó las tres heurísticas canónicas como casos límite de un único mecanismo gobernado por una transformación de ley de potencia de las valideces de las claves (un parámetro de exponente). Logró esto sin optimización explícita de parámetros o restricciones de parsimonia, impulsado únicamente por la necesidad de generalizar a través de los datos acumulados.

3. Descubrimiento en la Toma de Decisiones con Atributos Múltiples (Claves Cardinales)

Expandiendo el espacio de diseño para incluir claves de valor cardinal (enteros 0–$r_{max}$), AUTOCOG descubrió un modelo de Retornos Decrecientes WADD.

• Novedad: Esta teoría postula que los individuos aplican una función de utilidad cóncava a los valores de las claves antes de ponderarlos por su validez. Esto implica una sensibilidad decreciente a los valores de las características: una diferencia unitaria en las regiones de bajo valor tiene un mayor impacto en la elección que la misma diferencia en las regiones de alto valor.
• Validación: El descubrimiento del sistema fue probado prospectivamente en un estudio preregistrado con nuevos participantes humanos. El estudio confirmó tres hipótesis derivadas de la teoría:
  • H1 (Discriminación de Modelos): Los participantes eligieron opciones predichas por el modelo Diminishing Returns WADD significativamente más a menudo que las predichas por el modelo WADD lineal, Tallying o TTB.
  • H2 (Empinado-vs-Plano): Los participantes mostraron mayor sensibilidad a las ventajas en la región "empinada" (bajo valor) en comparación con la región "plana" (alto valor).
  • H3 (Desplazamiento de Nivel): La misma estructura de valor de clave objetiva ejerció una influencia más fuerte cuando se presentó en un rango de bajo valor en comparación con un rango de alto valor desplazado hacia arriba.

Significado y Reivindicaciones

El artículo afirma que AUTOCOG demuestra cómo los sistemas de descubrimiento automatizados pueden transformar la construcción de teorías cognitivas en una ciencia explícita, ejecutable y acumulativa.

• Automatización del Paso Creativo: El sistema automatiza el paso "creativo" de la generación de teorías, una tarea previamente considerada exclusivamente humana.
• Descubrimiento Basado en Datos: Los descubrimientos (incluyendo el hallazgo de sensibilidad decreciente) fueron impulsados por los datos conductuales recolectados en lugar de los priors de los LLM, como lo evidencia la capacidad del sistema para recuperar estrategias no canónicas y su fracaso al encontrar estructura en el ruido puro.
• Auditabilidad: Todo el trayecto de descubrimiento se registra como un rastro legible por máquina, lo que hace que el camino del razonamiento científico sea abierto a la inspección y permita a otros agentes o investigadores retomar la búsqueda desde la frontera.
• Alcance: Los autores señalan que el sistema está limitado por el espacio de diseño de experimentos y modelos especificado por los humanos y que la traducción de la teoría verbal a código ejecutable sigue siendo un desafío. Sin embargo, afirman que el descubrimiento de teorías psicológicas del comportamiento humano está ahora al alcance de la automatización.

El trabajo no pretende reemplazar a los científicos humanos, sino más bien cambiar su rol de la ejecución a la especificación —decidir qué constituye una buena teoría y definir el espacio de búsqueda— mientras el sistema se encarga de la generación e iteración de candidatos.