Meta-learning ecological priors from large language models explains human learning and decision making

Planteamiento del Problema
La cognición humana está profundamente influenciada por los entornos en los que opera, sin embargo, sigue siendo una cuestión abierta si el aprendizaje y la toma de decisiones pueden explicarse como una adaptación de principios a la estructura estadística de las tareas del mundo real. Dos marcos dominantes intentan abordar esto: el análisis racional, que deriva estrategias óptimas a partir de modelos ambientales formales pero tiene dificultades con entornos complejos y no definidos, y la racionalidad ecológica, que se basa en heurísticas diseñadas a mano y ajustadas a estructuras de tareas específicas, pero carece de un método principled para derivar estas heurísticas en dominios novedosos. El desafío central es desarrollar un marco computacional que unifique los fundamentos normativos del análisis racional con el fundamento ecológico de las tareas del mundo real, sin requerir que los investigadores especifiquen manualmente las distribuciones ambientales o diseñen heurísticas específicas.

Metodología: Análisis Ecológicamente Racional y ERMI
Los autores introducen el Análisis Ecológicamente Racional, un marco que aprovecha los Modelos de Lenguaje de Gran Escala (LLMs) y el meta-aprendizaje para derivar modelos computacionales de la cognición humana. El enfoque consta de tres etapas principales:

1. Generación de Tareas Escalable mediante LLMs: Los autores utilizan LLMs (específicamente CLAUDE-V2) como motores generativos para crear tareas cognitivas ecológicamente válidas a escala. Este es un proceso de dos etapas:

   • Síntesis de Características: El LLM genera características y objetivos plausibles de la tarea (por ejemplo, mapear "sodio, grasa, proteína" a categorías de "saludable/no saludable").
   • Generación de Datos: El LLM genera pares de entrada-objetivo correspondientes consistentes con estas características, creando conjuntos de datos que aproximan las regularidades estadísticas de los espacios de problemas naturalistas.
   • Validación: Las tareas generadas se comparan estadísticamente con conjuntos de datos del mundo real (por ejemplo, OpenML-CC18, tareas de regresión del mundo real) para verificar la validez ecológica. Las métricas incluyen precisión de clasificación, correlación de características, dispersión (coeficiente de Gini) y linealidad.

2. Meta-Aprendizaje para la Inferencia en Contexto: Los autores entrenan redes neuronales (específicamente arquitecturas basadas en transformadores) en estas tareas generadas por LLM utilizando meta-aprendizaje. El objetivo es derivar modelos de Inferencia de Meta-aprendizaje Ecológicamente Racional (ERMI). Estos modelos aprenden a realizar aprendizaje en contexto: se adaptan a la estructura de un nuevo problema modificando las activaciones internas basadas en una secuencia de ejemplos de entrada-salida, sin actualizar sus parámetros. Este proceso permite que los modelos internalicen los "priors ecológicos" (regularidades estadísticas) de la distribución de entrenamiento, aproximando la inferencia Bayes-óptima condicionada a dichas estadísticas.

3. Evaluación frente al Comportamiento Humano: El rendimiento de ERMI se evalúa a través de 15 experimentos que abarcan tres dominios cognitivos: Aprendizaje de Funciones, Aprendizaje de Categorías y Toma de Decisiones. Los modelos son probados en su capacidad para replicar firmas conductuales distintivas (por ejemplo, curvas de aprendizaje, patrones de generalización, cambios de estrategia) y se comparan contra modelos cognitivos establecidos (Modelo Racional de Categorización, Modelo de Contexto Generalizado, modelos basados en reglas) y modelos de inferencia meta-aprendidos con priors diseñados a mano (MI).

Contribuciones Clave

• Un Nuevo Marco: La propuesta de un "Análisis Ecológicamente Racional", que sintetiza el análisis racional y la racionalidad ecológica al automatizar la derivación de estrategias adaptativas a partir de la estructura estadística de los entornos naturales.
• Modelos ERMI: El desarrollo de una nueva clase de algoritmos de aprendizaje (ERMI) que internalizan los priors ecológicos a través del meta-aprendizaje en tareas generadas por LLM, eliminando la necesidad de heurísticas diseñadas a mano o actualizaciones explícitas de parámetros durante la inferencia.
• Validación Empírica: Demostrar que ERMI captura el comportamiento humano a través de diversos dominios, superando a varios modelos cognitivos establecidos en la predicción ensayo a ensayo.
• Innovación Metodológica: Utilizar los LLMs no como modelos conductuales directos, sino como herramientas para generar los priors ecológicos necesarios para entrenar modelos de inferencia adaptativos.

Resultos

• Validez Ecológica: Las tareas generadas por LLM reflejaron con éxito las propiedades estadísticas de los datos del mundo real, incluyendo las distribuciones de tipos de funciones (lineal, exponencial, etc.), correlaciones de características y dispersión.
• Aprendizaje de Funciones: ERMI replicó cinco hallazgos humanos distintivos: (i) mejor aprendizaje de funciones lineales positivas que de negativas; (ii) aprendizaje más rápido de funciones lineales frente a no lineales; (iii) aprendizaje superior de funciones monotónicas frente a no monotónicas; (iv) aprendizaje más fácil de funciones no cíclicas frente a cíclicas; y (v) mejor desempeño en interpolación que en extrapolación. ERMI también exhibió el sesgo humano de subestimar valores durante la extrapolación (sesgo hacia el desfase de cero) y proporcionó un mejor ajuste a los datos humanos que la inferencia meta-aprendida con priors diseñados a mano (MI).
• Aprendizaje de Categorías: ERMI capturó el orden de dificultad de los seis tipos de categoría de Shepard (TIPO 1–6) y superó a los modelos competidores en la explicación de las elecciones humanas (mayor frecuencia de modelo posterior). También modeló con éxito el cambio en la estrategia humana de un aprendizaje basado en prototipos a uno basado en ejemplares a lo largo del tiempo y replicó los patrones de generalización humana a entradas no vistas.
• Toma de Decisiones: En tareas de comparación pareada, ERMI adaptó su estrategia de decisión basada en la estructura estadística del entorno (ranking, dirección o condiciones desconocidas), implementando estrategias de un solo motivo, de ponderación de peso igual o de suma ponderada, coincidiendo con el comportamiento humano. ERMI explicó las respuestas humanas con mayor frecuencia que los modelos de referencia (Single-cue, Equal-weighting, Neural Networks, y MI).

Significancia y Reivindicaciones
El artículo sostiene que la alineación adaptativa con la estructura estadística de entornos ecológicamente válidos es suficiente para dar cuenta de un amplio espectro del comportamiento de aprendizaje y toma de decisiones humano.

Los autores argumentan que la cognición humana puede no requerir heurísticas complejas y específicas de dominio diseñadas por investigadores, sino que emerge de una sintonía con las regularidades estadísticas del mundo. Al utilizar LLMs para destilar estas regularidades en datos de entrenamiento, ERMI demuestra que los sistemas de propósito general pueden reflejar cómo las personas aprenden, categorizan y deciden. El trabajo sugiere que gran parte de la cognición humana refleja una "inferencia estadística ideal" bajo las restricciones de las estructuras de tareas naturales.

Los autores mantienen la modestia respecto al alcance de sus afirmaciones, señalando que, si bien ERMI reduce la carga de diseñar priors manualmente, no elimina la necesidad del juicio científico en la selección de características. Reconocen que el trabajo futuro debe determinar si se requieren componentes adicionales (por ejemplo, restricciones cognitivas específicas como los límites de la memoria de trabajo, o factores específicos del participante) para explicar plenamente el comportamiento humano, particularmente en casos donde los humanos se desvían de la inferencia ideal. El artículo postula que este marco ofrece un camino escalable para comprender las raíces ecológicas de la cognición, con el potencial de extenderse a entornos encarnados y de alta dimensionalidad en el futuro.