🤖 AI

World of Workflows: A Benchmark for Bringing World Models to Enterprise Systems

Este artículo presenta **World of Workflows (WoW)**, un nuevo entorno y banco de pruebas basado en ServiceNow diseñado para evaluar la capacidad de los modelos de lenguaje para comprender y predecir los efectos secundarios y flujos de trabajo ocultos en sistemas empresariales complejos.

Autores originales: Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

Publicado 2026-02-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El "Efecto Dominó" en las Empresas

Imagina que trabajas en un hotel gigante y muy moderno. Tienes un sistema digital para todo: reservar habitaciones, asignar llaves, pedir comida al restaurante y gestionar el inventario.

Si tú, como empleado, usas la computadora para asignar una habitación de lujo a un cliente, el sistema te dice: "¡Listo! Habitación asignada". Parece que todo salió bien, ¿verdad? Pero, sin que tú lo veas, ese pequeño clic activó una serie de reglas invisibles:

Como la habitación es de lujo, el sistema automáticamente le bajó el nivel de "puntos de fidelidad" al cliente.
Al bajarle los puntos, el sistema decidió que ya no tiene derecho a desayunos gratis.
Al quitarle el desayuno, el sistema canceló automáticamente el pedido de comida que el cliente había hecho para mañana.

Tú crees que hiciste una tarea simple, pero sin querer, acabas de arruinarle la mañana al cliente con una reacción en cadena que no viste venir.

Esto es exactamente lo que pasa en las grandes empresas (como las que usan sistemas llamados ServiceNow). Los sistemas no son solo listas de datos; son redes de reglas invisibles. Si una Inteligencia Artificial (IA) intenta ayudar en una empresa, puede cometer errores catastróficos porque solo ve lo que hace, pero no ve las consecuencias ocultas.

¿Qué es "World of Workflows" (WoW)?

Los investigadores crearon un "campo de entrenamiento" llamado WoW. Imaginalo como un simulador de vuelo ultra realista para IAs, pero en lugar de aviones, lo que simulan es el caos de una oficina real.

En este simulador, la IA no solo tiene que "hacer cosas" (como crear un usuario o mover un archivo), sino que tiene que enfrentarse a:

Reglas ocultas: Como el ejemplo del hotel.
Efectos dominó: Una acción en la tabla A cambia algo en la tabla B, que a su vez rompe una regla en la tabla C.
Ceguera de información: La IA solo recibe un mensaje de "Tarea completada", pero no le dicen qué más cambió en el sistema por debajo.

El Gran Descubrimiento: Las IAs son "Ciegas al Futuro"

Los científicos pusieron a prueba a las IAs más inteligentes del mundo (como las de OpenAI o Google) y los resultados fueron una advertencia:

La IA es una "ejecutora miope": Las IAs son muy buenas siguiendo instrucciones directas, pero son pésimas prediciendo el futuro. Si les pides algo, lo hacen, pero no se detienen a pensar: "Espera, si hago esto, voy a romper otra regla cinco pasos después".
Confusión de identidad: A veces la IA se confunde con los nombres. Es como si en el hotel le pidieras que busque al "Sr. García" y la IA se confundiera entre el "Sr. García" (el cliente) y "García" (el apellido del recepcionista), porque no entiende la estructura real de la información.
El problema de la "visión de túnel": Sin un "mapa" de lo que está pasando en todo el sistema, las IAs fallan constantemente en cumplir las normas de la empresa.

¿Cuál es la solución? (El nuevo paradigma)

El artículo dice que no basta con que la IA sea "más lista" o tenga "más memoria". Necesitamos que la IA desarrolle un "Modelo de Mundo".

En lugar de que la IA sea como un empleado que solo sigue órdenes sin pensar, queremos que sea como un ajedrecista experto. Un ajedrecista no solo mueve una pieza; en su mente, simula cómo se moverán todas las demás piezas y cómo cambiará el tablero después de su movimiento.

En resumen: Para que las IAs puedan trabajar en oficinas, bancos o hospitales sin causar desastres, no solo deben aprender a usar herramientas; deben aprender a "imaginar" las consecuencias invisibles de sus actos.

Resumen Técnico: World of Workflows (WoW)

1. El Problema: La "Ceguera de Dinámicas" en Sistemas Empresariales

Los modelos de lenguaje de gran escala (LLMs) han demostrado capacidades notables como agentes autónomos en entornos de consumo general. Sin embargo, el artículo identifica que fallan críticamente en sistemas empresariales complejos (como ServiceNow).

El problema central no es solo la navegación por la interfaz o el uso de herramientas, sino la falta de observabilidad y la complejidad de los flujos de trabajo ocultos. En una empresa, una acción aparentemente simple (ej. asignar un activo a un usuario) puede disparar una cadena de "reglas de negocio" y "workflows" automáticos que modifican otras tablas de la base de datos de forma invisible. Esto crea un efecto cascada que puede violar restricciones de seguridad o cumplimiento sin que el agente reciba un error inmediato, lo que se denomina "violaciones silenciosas".

2. Metodología: El Entorno WoW y el Benchmark WoW-bench

Para abordar este problema, los autores proponen dos componentes principales:

A. El Entorno WoW (World of Workflows)

Es un entorno de alta fidelidad basado en una instancia de desarrollador de ServiceNow. A diferencia de otros entornos, WoW es un sistema dinámico que contiene:

+4,000 reglas de negocio y 55 flujos de trabajo (workflows) activos.
Un espacio de estados masivo y parcialmente observable (representado como un proceso de decisión de Markov parcialmente observable o POMDP).
Dos modos de observación:
1. Observación Estándar (Tool Response): El agente solo ve la respuesta directa de la API (éxito/error).
2. Observación Oráculo (Table Audits): El agente recibe un registro detallado de todos los cambios en la base de datos (logs de auditoría) tras una acción, permitiéndole ver los efectos secundarios ocultos.

B. WoW-bench

Un benchmark compuesto por 234 tareas diseñadas para evaluar no solo la ejecución de tareas, sino la capacidad del LLM para actuar como un "Modelo de Mundo" (World Model). Las tareas se dividen en cuatro categorías:

Comprensión de Restricciones: Identificar si una acción causará una violación de reglas ocultas.
Cumplimiento de Tareas Agénticas: Completar objetivos de largo horizonte que requieren razonamiento multi-paso.
Predicción de Acciones (Dinámica Inversa): Inferir qué acción causó un cambio específico en el estado.
Predicción de Auditorías (Dinámica hacia adelante): Predecir qué cambios ocurrirán en la base de datos tras ejecutar una acción.

3. Contribuciones Clave

Introducción de un nuevo paradigma de evaluación: Se pasa de evaluar la "capacidad de seguir instrucciones" a evaluar la "capacidad de modelar la dinámica del sistema".
Detección de la brecha de observabilidad: Demostrar que la fiabilidad de los agentes depende de su capacidad para "simular mentalmente" los cambios de estado.
Dataset y Herramientas: Liberación de un entorno realista y un método de muestreo basado en grafos de dependencia de herramientas para generar trayectorias de datos realistas.

4. Resultados Principales

Los experimentos con modelos de frontera (GPT-5.1, Gemini-3-Pro, Claude-Sonnet-4.5) revelaron hallazgos alarmantes:

Colapso de la fiabilidad bajo restricciones: Aunque los modelos tienen tasas de éxito aceptables en completar tareas (TSR), su tasa de éxito cumpliendo restricciones (TSRUC) cae casi a cero cuando solo usan la respuesta de la herramienta. La visibilidad de los logs de auditoría mejora esto, pero no lo soluciona por completo.
Fallo en el Modelado de Mundo: Los modelos tienen una precisión muy baja (<30%) en predecir efectos secundarios (auditorías) y acciones, lo que indica que no están "simulando" el entorno, sino simplemente alucinando respuestas basadas en probabilidades lingüísticas.
Tres brechas fundamentales identificadas:
1. Brecha de Representación: Los modelos confunden nombres humanos con identificadores únicos (IDs), fallando en el anclaje simbólico.
2. Brecha de Dinámicas: Incapacidad para predecir la transición de un estado $A$ a un estado $B$ debido a reglas de negocio invisibles.
3. Brecha Causal: Fallo en el razonamiento de múltiples pasos; los agentes son "planificadores codiciosos" que optimizan la acción inmediata pero ignoran las consecuencias a largo plazo.

5. Significado e Implicaciones

El estudio concluye que para que los agentes sean útiles en la empresa, no basta con aumentar la ventana de contexto o la capacidad de seguir instrucciones. Se requiere un cambio de paradigma hacia Agentes Conscientes de la Dinámica (Dynamics-Aware Agents).

Esto implica que los futuros agentes deben:

Mantener abstracciones de estado estructuradas (no solo texto).
Utilizar enfoques de Aprendizaje por Refuerzo Basado en Modelos (Model-Based RL) para aprender las reglas de los flujos de trabajo.
Adoptar estrategias epistémicas activas, es decir, realizar acciones de "sondeo" para probar hipótesis sobre cómo funciona el sistema antes de ejecutar acciones críticas.