World of Workflows: A Benchmark for Bringing World Models to Enterprise Systems

Resumo Técnico: World of Workflows (WoW)

1. O Problema: A "Cegueira de Dinâmica" em Sistemas Corporativos

Atualmente, os Grandes Modelos de Linguagem (LLMs) demonstram autonomia impressionante em tarefas de consumo geral, mas falham severamente em ambientes corporativos complexos. O artigo identifica que os benchmarks existentes focam em tarefas de "superfície" (como navegação em UI ou chamadas de API simples), ignorando a natureza real dos sistemas empresariais, que possuem:

• Observabilidade Limitada: As respostas das ferramentas (APIs) geralmente mostram apenas o status da execução, ocultando mudanças de estado em segundo plano.
• Workflows Ocultos e Efeitos Cascata: Uma única ação pode disparar regras de negócio e fluxos de trabalho (workflows) que alteram múltiplas tabelas de forma invisível ao agente.
• Dependências de Dados Multicamadas: Ações que parecem válidas localmente podem violar restrições de segurança ou conformidade de forma silenciosa devido a efeitos colaterais em cascata.

2. Metodologia: O Ambiente WoW e o Benchmark WoW-bench

Para endereçar essas lacunas, os autores introduzem o WoW, um ambiente de alta fidelidade baseado no ServiceNow, e o WoW-bench, um benchmark projetado para avaliar LLMs tanto como agentes quanto como "modelos de mundo" (world models).

O Ambiente (WoW):

• Utiliza uma instância real do ServiceNow com mais de 4.000 regras de negócio e 55 workflows ativos.
• O sistema é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP), onde o estado real do banco de dados é vasto e intratável, forçando o agente a inferir o estado a partir de observações parciais.
• Dois modos de observação são testados:
  1. Standard (Tool Response): Apenas o feedback direto da ferramenta (ex: "Sucesso").
  2. Oracle (Table Audits): Logs de auditoria que mostram exatamente quais campos e tabelas foram alterados (usado para estudo de ablação).

O Benchmark (WoW-bench):
Composto por 234 tarefas divididas em quatro categorias:

1. Constraint Understanding (Compreensão de Restrições): Identificar se uma ação causará uma violação silenciosa de regra.
2. Agentic Task Completion (Conclusão de Tarefas Agênticas): Executar tarefas de longo horizonte que exigem raciocínio multi-salto.
3. Action Prediction (Predição de Ação - Dinâmica Inversa): Dado um estado, prever qual ferramenta e parâmetros foram usados.
4. Audit Prediction (Predição de Auditoria - Dinâmica Direta): Dado um estado e uma ação, prever as mudanças no banco de dados.

3. Principais Contribuições

• Novo Paradigma de Avaliação: Move o foco da simples "execução de tarefas" para a "compreensão de dinâmica de sistemas".
• Ambiente de Alta Fidelidade: Um ecossistema corporativo realista que simula a complexidade de fluxos de dados e dependências relacionais.
• Diagnóstico de Falhas de Modelagem de Mundo: Identificação de que os LLMs falham não por falta de instrução, mas por falta de um modelo mental do "físico" do sistema (as regras de negócio).

4. Resultados Principais

Os experimentos com modelos de fronteira (GPT-5.1, Gemini-3-Pro, Claude-Sonnet-4.5) revelaram:

• Colapso na Confiabilidade sob Restrições: Embora os modelos tenham taxas de sucesso razoáveis em completar tarefas (TSR), a taxa de sucesso sob restrições (TSRUC) cai para níveis próximos de zero quando operam apenas com respostas de ferramentas padrão. Isso prova que os agentes violam regras silenciosamente por não preverem o efeito cascata.
• O "Gap de Dinâmica": A visibilidade de auditoria (Oracle) aumenta drasticamente o desempenho, mas mesmo com informações perfeitas, os modelos ainda lutam para rastrear estados simbólicos e prever mudanças complexas.
• Falhas de Representação e Causalidade:
  • Gap de Representação: Modelos confundem nomes legíveis (ex: "Usuário X") com IDs únicos (UUIDs/sys_id).
  • Gap de Dinâmica: Modelos não conseguem simular o "próximo passo" do sistema, agindo de forma puramente reativa.
  • Gap Causal: Modelos são "planejadores gananciosos" (greedy planners); eles otimizam a ação imediata, mas ignoram as consequências de longo prazo.

5. Significância e Implicações

O artigo conclui que escalar o tamanho dos modelos ou o contexto não resolverá o problema da confiabilidade empresarial. É necessária uma mudança de paradigma para Agentes Conscientes de Dinâmica (Dynamics-Aware Agents), que incluam:

1. Abstrações de Estado Estruturadas: Manter um modelo mental simbólico e relacional, em vez de apenas processar texto.
2. Aprendizado Baseado em Modelo (Model-Based RL): Aprender a prever os workflows ocultos através da interação.
3. Estratégias Epistêmicas Ativas: Em vez de assumir que o mundo é estático, o agente deve realizar "ações de sonda" (probes) para testar e aprender as regras do ambiente.