Resumen Técnico: Generación de Hipótesis e Inferencia Inductiva en Niños y Modelos de Lenguaje

Enunciado del Problema

La toma de decisiones en el mundo real requiere la construcción de modelos mentales bajo incertidumbre respecto a la evidencia, las reglas causales subyacentes y el estado del mundo mismo. Un desafío central en la ciencia cognitiva y la robótica es identificar los principios computacionales que permiten a los agentes descubrir teorías coherentes bajo estas condiciones. Específicamente, existe una escasez de marcos experimentales que varíen sistemáticamente las fuentes de incertidumbre interactivas entre diferentes sistemas (humanos frente a artificiales) para comparar los mecanismos de inferencia.

Este artículo aborda esto modelando la inferencia inductiva en la Tarea de la Caja, un dominio de resolución de acertijos físicos diseñado originalmente para estudiar cómo los niños de 7 a 10 años responden a instrucciones engañosas bajo incertidumbre. La tarea consiste en abrir cinco cajas cerradas con llave utilizando trece llaves dentro de un límite de tiempo. La regla verdadera (hacer coincidir el número de formas en una caja con el número de una llave) es latente, mientras que los niños son engañados por un video de un profesor que sugiere una regla de coincidencia de colores. El entorno es parcialmente observable (las cantidades de formas están ocultas hasta que se recogen las cajas) y presenta evidencia poco fiable (fallos mecánicos pueden impedir que las combinaciones correctas de llave-caja se abran).

Metodología

Los autores formalizan la Tarea de la Caja como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) donde un agente debe descubrir una regla latente $h$ a partir de transiciones de estado estocásticas y observaciones incompletas. Implementan dos marcos complementarios para aproximar la solución utilizando Muestreadores de Monte Carlo Secuenciales (SMC-S) para la actualización bayesiana en línea:

1. Conjuntos de Restricciones (SoC) – Modelado Cognitivo

Esta implementación trata las hipótesis como colecciones estructuradas de restricciones derivadas de la evidencia. Sirve como un modelo cognitivo ajustado al comportamiento de niños humanos ($N=100$).

• Representación de Hipótesis: Las hipótesis son mapeos de cajas a llaves.
• Distribución de Propuesta: Una mezcla de:
  • Reglas preespecificadas: Reglas candidatas salientes (color, forma, orden) con priores asignados.
  • Generador en línea: Un mecanismo para proponer nuevas restricciones basadas en la evidencia acumulada, aumentando el peso de asignaciones consistentes y disminuyendo el peso de las falsificadas.
• Fiabilidad Subjetiva: Introduce un parámetro $\rho \in (0, 1]$ que representa la estimación subjetiva del agente sobre la fiabilidad de la evidencia. Esto permite que el modelo atribuya los fallos a causas externas (por ejemplo, un candado rígido) en lugar de falsificar inmediatamente la hipótesis.
• Variantes: Los autores probaron cuatro variantes, incluidos modelos lesionados (eliminando el generador o la fiabilidad subjetiva) y un modelo completo (SoC-Completo).

2. Síntesis de Programas basada en LLM (LLM-PS) – Organismo Modelo

Esta implementación trata a los Modelos de Lenguaje Grandes (LLM) como "organismos modelo" controlables para investigar cómo cambia el comportamiento bajo la variación sistemática de las condiciones ambientales.

• Representación de Hipótesis: Las hipótesis son funciones ejecutables de Python (predict(key, box) -> bool) generadas y revisadas por el LLM.
• Motor de Inferencia: El sistema mantiene una población de partículas de hipótesis. Cuando una partícula es seleccionada para "rejuvenecimiento", se solicita al LLM que sintetice un programa revisado consistente con el historial de acciones y resultados.
• Selección de Acciones: Los agentes seleccionan acciones para maximizar la ganancia de información esperada (EIG) sobre la distribución de partículas.
• Variantes: Los autores implementaron condiciones que coinciden con la tarea humana:
  • LLM-PS-S: Observabilidad completa, llaves poco fiables.
  • LLM-PS-P: Observabilidad parcial (requiere acciones OBSERVE para revelar las cantidades de formas), llaves poco fiables.
  • Línea Base ReAct: Un agente ReAct estándar que genera acciones directamente sin mantener representaciones explícitas de hipótesis.

Contribuciones Clave

1. Formalización de la Inferencia Inductiva: El artículo extiende la Hipótesis de Muestreo a entornos con evidencia poco fiable y espacios de hipótesis ilimitados, proporcionando dos implementaciones complementarias: basada en restricciones (SoC) y síntesis de programas (LLM-PS).
2. Análisis Computacional de Niños: El estudio demuestra que el comportamiento de los niños se explica mejor por la operación conjunta de la fiabilidad subjetiva de la evidencia (descartando fallos como errores mecánicos) y la generación de hipótesis en línea (creando soluciones aproximadas). Esto explica la disociación entre la finalización de la tarea y la generalización de la regla verdadera.
3. Comparación Controlada: Al tratar a los LLM como organismos modelo, los autores varían sistemáticamente la fiabilidad de la evidencia y la observabilidad. Muestran que los agentes basados en LLM replican los patrones de rendimiento de los niños en condiciones de incertidumbre (por ejemplo, descartando evidencia poco fiable, buscando resolver información parcial), pero exhiben sesgos inductivos distintos, específicamente una tendencia a sobre-observar y cumplir en exceso con las instrucciones en comparación con los niños.

Resultados

Resultados de SoC

• Ajuste del Modelo: El modelo SoC-Completo (que incorpora tanto la fiabilidad subjetiva como un generador en línea) proporcionó un ajuste significativamente mejor a las trayectorias y tasas de generalización de los niños que cualquier variante lesionada ($p < .001$).
• Generalización: Mientras que el 66% de los niños abrió todas las cajas, solo el 22% generalizó la regla verdadera. El modelo SoC-Completo replicó esto, convergiendo en la regla correcta en aproximadamente el 20% de las simulaciones.
• Mecanismo: Los resultados indican que ni la fiabilidad subjetiva ni la generación en línea por sí solas son suficientes; se requiere su combinación para reproducir la distribución de intentos y la baja tasa de generalización correcta.

Resultados de LLM-PS

• Replicación de Patrones: Los agentes basados en LLM replicaron las respuestas de los niños a los cambios en la fiabilidad de la evidencia y la observabilidad. Descartaron con éxito la evidencia poco fiable y buscaron resolver la información parcial.
• Finalización de la Tarea vs. Generalización: Al igual que los niños, los agentes LLM a menudo completaron la tarea sin descubrir la regla verdadera. Cuando esto ocurrió, confiaron en hipótesis "aproximadas" que combinaban causas dispares (por ejemplo, usar color para algunas cajas y números para otras) en lugar de una regla unificada.
• Divergencia en el Comportamiento:
  • Cumplimiento de Instrucciones: Los LLM se adhirieron estrictamente a la instrucción engañosa de coincidencia de colores en el primer ensayo, mientras que el 21% de los niños probó inmediatamente combinaciones que no coincidían por color.
  • Costos de Observación: Los agentes LLM-PS-P observaron sistemáticamente todas las cajas antes de reanudar los intentos, mientras que los niños variaron significativamente en la frecuencia de observación, con muchos observando pocas o ninguna caja. Esto sugiere que los niños intercambian implícitamente el valor de la información contra costos cognitivos o sociales ausentes en el entorno LLM.
• Capacidad del Backend: La generalización a la regla verdadera requirió suficiente capacidad del backend (por ejemplo, GPT-5.2 tuvo éxito con una sola partícula, mientras que modelos más débiles como DEEPSEEK V3.2 no lograron descubrir la regla verdadera incluso bajo observabilidad completa).

Significado y Afirmaciones

El artículo afirma proporcionar un marco controlado para evaluar la inferencia inductiva bajo incertidumbre entre agentes humanos y artificiales. Su significado principal radica en:

1. Puente entre la Ciencia Cognitiva y la IA: Demuestra que los LLM pueden servir como "organismos modelo" válidos para la ciencia cognitiva, permitiendo la manipulación sistemática de variables ambientales que es difícil de lograr con sujetos humanos.
2. Comprensión de la Inferencia Aproximada: El estudio destaca que la finalización exitosa de una tarea no implica necesariamente el descubrimiento de la regla subyacente verdadera. Tanto los niños como los LLM pueden utilizar hipótesis "aproximadas" que integran causas dispares para resolver problemas inmediatos, lo cual puede servir como un escalón para una unificación posterior.
3. Sesgos Inductivos: Los resultados sugieren que, aunque los niños y los LLM se adaptan de manera similar a la estructura ambiental, sus comportamientos de búsqueda de información están moldeados por costos y priores subyacentes diferentes. Los niños parecen operar con un prior más amplio y costos implícitos para la observación, mientras que los LLM exhiben un sesgo hacia espacios de hipótesis estructurados y pequeños, y un seguimiento estricto de instrucciones.

Los autores notan modestamente que su interpretación del comportamiento de los LLM sigue siendo indirecta, ya que no prueban definitivamente que los LLM mantengan representaciones explícitas de hipótesis o realicen actualizaciones basadas en verosimilitud frente a recuperación. Sugieren que el trabajo futuro podría utilizar la interpretabilidad mecánica para distinguir estas posibilidades e investigar aún más la "fiabilidad subjetiva" y los priores de reglas de los LLM.