Resumen Técnico: STOCKTAKE – Midiendo la brecha entre la percepción y la acción en agentes de LLM

1. Planteamiento del problema

Los agentes de Modelos de Lenguaje Extensos (LLM) son evaluados cada vez más en tareas de decisión de largo horizonte, como la gestión de la cadena de suministro, donde el rendimiento depende de la inferencia de estados ocultos (p. ej., cambios en la demanda, fallos de proveedores) a partir de observaciones ruidosas a lo largo del tiempo. Una limitación crítica en las evaluaciones actuales es la incapacidad de distinguir entre dos modos de fallo distintos:

1. Fallo de Percepción: El agente no logra inferir correctamente el estado oculto (error de estimación de estado).
2. Fallo de Acción: El agente infiere correctamente el estado pero no logra actuar de manera apropiada (error de control), un fenómeno conocido como la "brecha entre saber y hacer".

Los benchmarks existentes suelen depender de políticas de referencia (oráculos) que poseen información privilegiada (verdad fundamental) no disponible para el agente. Esta confusión hace imposible atribuir el coste a un modo de fallo específico; una deficiencia podría deberse a que el agente no conoce la verdad o a que la conoce pero no logra actuar. Además, muchos benchmarks carecen de mecanismos para calificar las creencias declaradas del agente junto con sus acciones.

2. Metodología: El Benchmark STOCKTAKE

Los autores presentan STOCKTAKE, un benchmark de reposición de la cadena de suministro de 26 semanas diseñado para aislar y medir estos modos de fallo por separado.

2.1 Diseño del entorno

• Tarea: El agente actúa como un gestor de reposición para un importador de productos electrónicos, tomando decisiones semanales de pedido basadas en un tablero de síntomas ruidosos.
• Estado Oculto (POMDP factorizado): El entorno es un Proceso de Decisión de Markov Parcialmente Observable (POMDP) con seis procesos de factores ocultos independientes: régimen de demanda, salud del proveedor, mercado de fletes, congestión portuaria, calidad de los lotes y estado del canal.
• Observaciones: El agente recibe síntomas semanales ruidosos (p. ej., tiempos de espera en atraque, informes de defectos), pero nunca ve el estado oculto directamente.
• Independencia de la Acción: Crucialmente, la dinámica del estado oculto es independiente de la acción. La "cinta de eventos" (la secuencia de cambios en el estado oculto y el ruido) se genera a partir de una semilla fija antes de que el agente actúe. Esto asegura que cualquier política que se ejecute sobre una semilla se enfrente exactamente a los mismos choques, permitiendo una comparación justa.
• Perfiles de Estrés: El benchmark utiliza 50 semillas curadas categorizadas en tres perfiles de estrés:
  • ISOLATED (Aislado): Choques de un solo factor, cortos y no superpuestos.
  • PERSISTENT (Persistente): Solapamientos de varias semanas (p. ej., congestión portuaria coincidiendo con un aumento de la demanda).
  • COMPOUND (Compuesto): Acumulaciones de tres o más episodios de factores concurrentes.

2.2 El Oráculo Justo (Fair Oracle)

Para separar la percepción de la acción, STOCKTAKE emplea un Oráculo Bayesiano Justo:

• Condicionamiento: A diferencia de los oráculos privilegiados, esta política de referencia está condicionada a la misma corriente de observaciones que recibe el agente de LLM. Nunca ve el estado oculto.
• Mecanismo: Utiliza un filtro Bayesiano exacto para cada uno de los seis factores para mantener una creencia posterior sobre el estado oculto. Posteriormente, impulsa una política de despliegue mediante el muestreo de futuros y la selección de la acción que minimiza el coste.
• Asimetría: La única asimetría revelada es que el oráculo utiliza los parámetros generativos reales (probabilidades de transición, medias de régimen), mientras que el LLM recibe solo una descripción cualitativa. Por lo tanto, el oráculo representa la política Bayesiana óptima dado el modelo real, no una omnisciente.

2.3 Métricas

El benchmark introduce un conjunto de métricas para desacoplar la estimación de estado del control:

1. Puntuación de Habilidad (Skill Score): Una puntuación normalizada que va de 0 a 1 (y potencialmente más allá).
   • 0 (Suelo): Una política de stock base ciega a los síntomas que ignora todas las observaciones.
   • 1 (Oráculo): El coste medio del Oráculo Bayesiano Justo.
   • Interpretación: Una puntuación > 0 indica que el agente mejoró respecto a ignorar los síntomas; una puntuación < 0 indica que el agente se desempeñó peor que una regla ciega.
2. Retraso de Detección (Detection Lag): El número de semanas entre el inicio de un régimen de estrés oculto y la primera vez que el agente menciona ese factor en su razonamiento escrito.
3. Tasa de Saber-Hacer (Knowing-Doing Rate): La probabilidad de que ocurra una rotura de stock en una semana en la que el agente ha diagnosticado correctamente un factor de estrés. Esto mide el fallo al actuar sobre las creencias correctas.

2.4 Configuración Experimental

• Modelos: Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro y Grok 4.5.
• Protocolo: Cada modelo ejecuta los 50 seeds (200 episodios en total) bajo un prompt de "solo reglas", sin manuales de estrategia ni ejemplos.
• Calificación de Creencias: Un LLM auxiliar califica los razonamientos escritos semanales del agente para determinar si se identificaron correctamente los factores específicos.

3. Resultados Clave

La evaluación de 200 episodios a través de cuatro modelos de frontera arroja varios hallazgos contraintuitivos:

3.1 Percepción Uniforme, Acción Divergente

• Estimación de Estado: Los cuatro modelos demostraron capacidades de estimación de estado casi idénticas. Detectaron entre el 84% y el 88% de los episodios de estrés oculto, típicamente con un retraso de 0.32 a 0.42 semanas tras el inicio.
• Fallo de Control: A pesar de la detección uniforme, las puntuaciones de habilidad variaron drásticamente, oscilando entre 0.62 (GPT-5.4) y −0.23 (DeepSeek-V4-Pro).
• La Paradoja del Suelo: Dos modelos (DeepSeek-V4-Pro y Grok 4.5) terminaron con puntuaciones de habilidad negativas. En aproximadamente la mitad de sus semillas, una regla de stock base ciega a los síntomas habría sido más económica que actuar basándose en sus diagnósticos, mayoritariamente correctos.

3.2 Las Dos Caras de la Brecha

El documento identifica que la "brecha entre saber y hacer" se manifiesta en dos direcciones opuestas:

1. Sub-respuesta (Roturas de Stock): Incluso con un diagnóstico correcto, los modelos no logran prevenir las roturas de stock. En las semillas de tipo PERSISTENT, entre el 34% y el 43% de las semanas de estrés correctamente diagnosticadas terminaron en rotura de stock.
2. Sobre-respuesta (Coste Excesivo): Los modelos pueden actuar ante diagnósticos correctos pero con un coste excesivo. Los modelos con puntuaciones de habilidad negativas (DeepSeek, Grok) tuvieron las tasas de rotura de stock más bajas en las semanas diagnosticadas, pero los costes totales más altos. "Sobredosificaron" la protección (p. ej., bloqueando tarifas de flete o recurriendo a transporte aéreo) de formas que excedieron el valor de los síntomas.

3.3 Sensibilidad al Perfil de Estrés

• GPT-5.4 funcionó mejor en estrés COMPOUND (Skill 0.86) pero tuvo dificultades con el estrés ISOLATED.
• Claude Sonnet 5 funcionó mejor en estrés PERSISTENT (Skill 0.70) pero fue más débil en COMPOND.
• Los modelos que peor se desempeñaron en general (DeepSeek, Grok) mostraron los retrasos de detección más cortos, confirmando que el fallo no estuvo en la visión del problema, sino en la política derivada de esa visión.

4. Contribuciones

1. Benchmark de Oráculo Justo: Introducción de un POMDP de cadena de suministro de seis factores donde el límite superior de referencia es un oráculo Bayesiano justo y computable, condicionado a la misma corriente de observaciones del agente. Esto permite la atribución del coste específicamente a la fase de "actuar" en lugar de a la fase de "saber".
2. Eje de Estrés Controlado: Una metodología para generar semillas con perfiles de estrés oculto fijos (ISOLATED, PERSISTENT, COMPOUND) como variables independientes, manteniendo constante el modelo del mundo.
3. Métricas Desacopladas: Un marco que mide por separado la estimación de estado (retraso de detección) y el control (puntuación de habilidad, tasa de saber-hacer), revelando que los agentes de frontera actuales fallan principalmente en el control, no en la percepción.

5. Significado y Reivindicaciones

El artículo afirma que STOCKTAKE proporciona la primera evidencia rigurosa de que la degradación del rendimiento de los agentes de LLM en tareas de largo horizonte se concentra en el control (elicitación de la política) y no en la estimación de estado (inferencia).

• El Cuello de Botella: El principal cuello de botella para los agentes actuales reside entre una creencia declarada correcta y la acción costosa que esta requiere.
• Limitaciones de las Evaluaciones Actuales: Los autores argumentan que los benchmarks que utilizan oráculos privilegiados confunden "no saber" con "saber pero no actuar", oscureciendo la naturaleza específica de los fallos de los agentes.
• Alcance Modesto: Los autores reconocen que el benchmark cubre un único dominio (reposición de importaciones), un solo SKU y cuatro modelos. Establecen explícitamente que sus resultados no se generalizan a todas las tareas de agentes, sino que resaltan un modo de fallo específico en la toma de decisiones secuenciales bajo observabilidad parcial.
• Direcciones Futuras: El documento sugiere que arreglar estos agentes requiere intervenciones diferentes: el andamiaje de inferencia (inference scaffolding) no es la solución (ya que la percepción ya es fuerte); en su lugar, el enfoque debe desplazarse hacia una mejor elicitación de la política y una selección de acciones sensible al coste.

El artículo concluye que, si bien los agentes son cada vez más capaces de "ver" el mundo oculto, siguen siendo inconsistentes en "hacer" lo que esa visión requiere, oscilando a menudo entre la sub-reacción (que conduce a roturas de stock) y la sobre-reacción (que conduce a costes prohibitivos).