🤖 AI

RetailBench: Benchmarking long horizon reasoning and coherent decision making of LLM agents in realistic retail environments

El artículo presenta RetailBench, un benchmark de simulación basado en datos para evaluar agentes de LLM en escenarios realistas de gestión minorista de largo alcance, revelando que, si bien los modelos actuales muestran potencial, tienen dificultades con la toma de decisiones coherente y sostenida, y rinden significativamente por debajo de una política oráculo debido a problemas como la adquisición de evidencia incompleta y estrategias consistentes a largo plazo.

Autores originales: Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

Publicado 2026-06-16

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que contratas a un robot muy inteligente y culto para dirigir un pequeño supermercado. Le das una computadora portátil, una lista de herramientas para verificar precios y existencias, y un presupuesto de $30,000. Tu objetivo es que este robot dirija la tienda durante seis meses (180 días) sin ir a la quiebra, manteniendo los estantes abastecidos y generando ganancias.

Este documento, RetailBench, es una boleta de calificaciones sobre qué tan bien lo hicieron siete diferentes "cerebros de robots inteligentes" (Modelos de Lenguaje Extensos o LLM) en este trabajo específico.

Aquí está el desglose de lo que encontraron, utilizando analogías simples:

1. La prueba: Un día interminable en el supermercado

La mayoría de las pruebas para la IA hoy en día son como cuestionarios cortos: "Escribe un poema", "Resuelve este problema matemático" o "Reserva un vuelo". Estas son tareas cortas con un principio y un fin claros.

RetailBench es diferente. Es como poner a la IA en un maratón, no en una carrera de velocidad.

El entorno: Un supermercado simulado de una sola tienda.
El desafío: La IA tiene que hacer muchas cosas a la vez: establecer precios, pedir más leche antes de que se agote, elegir al mejor proveedor, lidiar con reseñas de clientes enojados, gestionar facturas de alquiler y reaccionar a eventos de noticias (como una tormenta que podría afectar las ventas).
El truco: La IA no puede verlo todo. Es como un gerente de tienda que tiene que adivinar qué está pasando en la trastienda o qué querrán los clientes la próxima semana. Tiene que pedir información (usando "herramientas") antes de tomar una decisión.

2. Los resultados: Los robots se perdieron

Los investigadores dejaron que estos agentes de IA dirigieran la tienda durante hasta 180 días. Esto fue lo que pasó:

La mayoría se rindió pronto: Muchos de los agentes de IA se quedaron sin dinero o cometieron tantos errores que la tienda cerró después de solo unas pocas semanas (algunas tan cortas como 58 días).
Los sobrevivientes no eran perfectos: Dos de las IA más inteligentes lograron sobrevivir los 180 días completos. Sin embargo, aunque mantuvieron la tienda abierta, fueron terribles para realmente dirigirla.
El "Oráculo" (El Gerente Perfecto): Los investigadores también crearon un gerente con "hoja de trucos" (una política Oracle). Este gerente conocía el futuro, veía todas las estadísticas ocultas y seguía reglas perfectas.
- La brecha: El mejor agente de IA generó unos $24,000 de ganancia. El gerente de la "hoja de trucos" generó $131,000. La IA estaba sobreviviendo, pero apenas lograba salir adelante en comparación con una estrategia perfecta.

3. ¿Por qué fallaron los robots?

El documento analizó los "procesos de pensamiento" de los robots y encontró tres razones principales por las que tuvieron dificultades:

A. No leyeron el menú completo (Evidencia incompleta)
Antes de pedir 100 cajas de refrescos, un buen gerente revisa el inventario, mira las ventas pasadas, consulta el clima y lee las reseñas de los clientes.

El error de la IA: Los robots a menudo tomaban decisiones importantes (como pedir existencias o cambiar precios) sin verificar todos los hechos necesarios. Actuaban basados en un "presentimiento" o datos incompletos, lo que llevaba a malas decisiones. Actuaban por "instinto" o con datos incompletos, lo que resultaba en malas elecciones.

B. Solo miraban la etiqueta del precio (Toma de decisiones superficial)
Imagina comprar manzanas. Un proveedor vende estas manzanas a $1.00 pero están podridas. Otro las vende a $1.50 pero son perfectas.

El error de la IA: Los robots estaban obsesionados con el precio bajo. Seguían eligiendo al proveedor de $1.00. No se daban cuenta de que las manzanas baratas provocan clientes enojados, devoluciones y malas reseñas, lo que eventualmente mata la reputación y las ganancias de la tienda. Veían el precio, pero pasaban por alto la calidad.

C. Tenían lapsos de atención cortos (Falta de una política de largo alcance)
Dirigir una tienda consiste en la consistencia. Si pides demasiada leche hoy, podría caducar en una semana. Si no pides suficiente, pierdes ventas mañana.

El error de la IA: Los robots eran buenos tomando una decisión para hoy, pero se olvidaban del mañana. No podían mantener un plan consistente. Corregían un problema hoy, pero luego se olvidaban de él tres días después cuando llegaban las consecuencias. No podían conectar los puntos entre una acción tomada el Día 1 y un problema que ocurrió el Día 10.

4. La conclusión

El documento concluye que, si bien la IA se está volviendo muy buena en tareas cortas y específicas, todavía no está lista para dirigir un negocio complejo y a largo plazo por sí sola.

Estado actual: La IA puede mantener una tienda "viva" por un tiempo, pero no puede hacer que sea próspera.
El problema: La IA carece de la capacidad de reunir todas las pistas correctas, pensar profundamente en las consecuencias a largo plazo de un trato barato y mantener un plan consistente a lo largo de los meses.

En resumen: Si le entregaras una tienda a una IA hoy, podría no irse a la quiebra inmediatamente, pero probablemente sería un desastre desordenado y poco rentable en comparación con un humano (o un programa de computadora perfecto) que entiende el juego a largo plazo.

Resumen Técnico: RetailBench

Declaración del Problema

Aunque los agentes de Modelos de Lenguaje de Gran Escala (LLM) han demostrado competencia en tareas de corto horizonte y bien delimitadas (por ejemplo, edición de código, recuperación de información), su capacidad para mantener una toma de decisiones coherente en entornos dinámicos de largo horizonte sigue siendo incierta. Los benchmarks existentes suelen aislar subproblemas individuales o carecen de la dinámica acoplada de bucle cerrado de las operaciones comerciales del mundo real. En consecuencia, la comunidad carece de un benchmark abierto y fundamentado en datos para evaluar si los agentes de LLM que utilizan herramientas pueden mantener un alineamiento de objetivos persistente y una consistencia de comportamiento estable durante periodos prolongados, particularmente cuando los errores locales se acumulan en consecuencias retardadas que remodelan las distribuciones de estados futuros.

Metodología: RetailBench

Los autores presentan RetailBench, un benchmark de simulación fundamentado en datos diseñado para evaluar agentes de LLM que utilizan herramientas en el contexto de las operaciones de un supermercado de una sola tienda. El entorno se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP), $M = (S, A, O, T, \Omega, R)$ , donde el agente interactúa con un simulador a través de un conjunto específico de herramientas.

Construcción del Entorno

Fundamentación de Datos: El simulador está anclado en datos minoristas del mundo real del conjunto de datos Dominick's (University of Chicago Booth School of Business) para definir el universo de productos (96 productos en 20 categorías), trayectorias de precios históricos, ventas y costos de adquisición.
Retroalimentación Dinámica: Los textos de reseñas se muestrean del corpus Amazon Reviews 2023, y los eventos de noticias se adaptan de artículos de noticias financieras. Estos introducen dinámicas basadas en el corpus donde metadatos ocultos impulsan efectos en la demanda y la oferta.
Módulos: El entorno acopla siete módulos: Inventario, Proveedores y Pedidos, Estantería, Demanda del Cliente, Reseñas y Devoluciones, Eventos de Noticias, y Finanzas y Registros.
Estado y Acciones:
- Estado ( $S$ ): Incluye atributos del producto, inventario (con envejecimiento), surtido de estantería, candidatos a proveedores, factores de demanda, noticias externas y contabilidad financiera.
- Acciones ( $A$ ): Los agentes seleccionan entre tres grupos de herramientas:
  1. Solo lectura ( $A_{read}$ ): Consultar fondos, inventario, precios, historial de ventas, cotizaciones de proveedores y reseñas.
  2. Auxiliares ( $A_{other}$ ): Análisis restringido, gestión de memoria y ejecución de código (en entorno de pruebas/sandbox).
  3. Cambio de estado ( $A_{act}$ ): Actualizar precios, realizar pedidos de reposición, gestionar el surtido de estantería, escribir notas y finalizar el día.
Horizonte de Simulación: El benchmark soporta simulaciones a escala de miles de días. El protocolo de evaluación utiliza un horizonte de 180 días.

Protocolo de Evaluación

Modelos: Se evaluaron siete LLM contemporáneos utilizando tres marcos basados en prompts: ReAct, Reflection y Plan-and-Act.
Regla de Selección: Debido a la varianza en el rendimiento de largo horizonte, los autores emplean una regla de selección de "supervivencia primero": para cada modelo, se selecciona la ejecución con el horizonte de supervivencia más largo, utilizando el patrimonio neto final y las ventas totales como criterios de desempate.
Línea Base (Baseline): Se incluye una política de oráculo privilegiada como referencia no-agente. Esta política tiene acceso directo a campos estructurados del simulador (por ejemplo, puntuaciones de calidad de proveedores ocultas) y sigue reglas operativas de calidad especificadas manualmente.

Métricas

El rendimiento se mide en cinco categorías:

Viabilidad Operativa: Patrimonio Neto Final y Días de Supervivencia.
Efectividad de Ventas: Ventas Totales, Productos Vendidos Diarios y Ratio de Devolución.
Control de Inventario: Días de Desabastecimiento (Stockout) y Ratio de Expiración.
Comportamiento de Uso de Herramientas: Llamadas a Herramientas Directas y Totales por Día.
Uso de Tokens: Consumo promedio de tokens diarios.

Contribuciones Clave

Un Entorno Minorista de Largo Horizonte: RetailBench proporciona un banco de pruebas controlado y fundamentado en datos que acopla precios, inventario, selección de proveedores, retroalimentación del cliente, eventos externos y restricciones financieras a lo largo de episodios extendidos.
Evaluación de Sistemas Actuales: El benchmark revela que los marcos de agentes actuales y los LLM de última generación tienen dificultades para lograr políticas operativas estables y de alto rendimiento en horizontes largos.
Análisis Sistemático de Fallos: Los autores identifican tres modos de fallo recurrentes mediante métricas diagnósticas:
- Adquisición de Evidencia Incompleta: Los agentes suelen actuar sin consultar información crítica (por ejemplo, proxies de calidad de proveedores, envejecimiento de inventario).
- Toma de Decisiones Superficial: Los agentes dependen de señales inmediatamente visibles (por ejemplo, el precio) mientras infravaloran factores consecuentes pero menos visibles (por ejemplo, calidad del proveedor, riesgos de devolución).
- Falta de una Política Consistente de Largo Horizonte: Los agentes no logran mantener la atención en productos importantes y no revisan consistentemente las consecuencias retardadas de acciones previas.

Resultados

Supervivencia: Bajo el protocolo de supervivencia primero, la supervivencia varió de 58 a 180 días. Solo DeepSeek-V4-Pro y GPT-5.5 completaron el horizonte completo de 180 días. La mayoría de los otros modelos terminaron entre los 58 y 73 días.
Brecha de Rendimiento: Incluso las ejecuciones de los LLM más fuertes quedaron sustancialmente por debajo de la política del oráculo.
- Patrimonio Neto: La política del oráculo alcanzó 131,510.42, mientras que el mejor LLM (GPT-5.5) alcanzó 24,350.98.
- Ventas: La política del oráculo alcanzó 267,998 unidades, mientras que el mejor LLM (DeepSeek-V4-Pro) alcanzó 164,417.
Diagnósticos de Comportamiento:
- Adquisición de Evidencia: GPT-5.5 mostró la mayor completitud de evidencia (0.9689), mientras que otros como Grok-4.3 mostraron una completitud cercana a cero.
- Calidad de Decisión: Los LLM exhibieron un fuerte sesgo hacia "PriceFirst" (elegir al proveedor más barato) sobre "QualityFirst". La política del oráculo priorizó la calidad, mientras que los LLM eligieron al proveedor más barato en el 55.6% de los pedidos, comparado con solo el 21.5% para la mejor opción de calidad.
- Seguimiento Temporal: Los LLM perdieron entre el 32.86% y el 88.18% de las oportunidades de alta demanda y no siguieron consistentemente las consecuencias retardadas (por ejemplo, desabastecimiento, devoluciones) dentro de una ventana de siete días.

Significado y Reivindicaciones

El artículo posiciona a RetailBench no meramente como un benchmark de rendimiento, sino como un banco de pruebas diagnóstico para estudiar la autonomía fiable en la toma de decisiones económica y de largo horizonte. Los autores afirman que los resultados demuestran una brecha crítica entre las capacidades actuales de los LLM y los requisitos para una continuidad operativa sostenida.

La importancia radica en la identificación de que mejorar los agentes de LLM de largo horizonte requiere más que un simple aumento en el uso de herramientas; requiere avances en:

Selección de Evidencia: La capacidad de identificar y adquirir toda la información crítica para la decisión.
Razonamiento de Evidencia-a-Acción: La capacidad de traducir la evidencia adquirida en decisiones que tengan en cuenta los resultados a largo plazo (por ejemplo, equilibrar costo vs. calidad).
Mantenimiento de Política con Estado: La capacidad de mantener una atención persistente en entidades críticas y revisar las consecuencias retardadas para alinear las llamadas locales a herramientas con los resultados comerciales a largo plazo.

Los autores concluyen que, antes de que los agentes de LLM puedan operar de manera fiable en entornos complejos de largo horizonte, deben superar estos cuellos de botella específicos en la adquisición de evidencia, la profundidad del razonamiento y la consistencia de la política.