Resumo Técnico: Sistemas Empresariais Precisam de Modelos de Mundo Aprendidos?

Declaração do Problema

Sistemas empresariais diferem fundamentalmente de ambientes tradicionais (por exemplo, robótica ou videogames) porque suas dinâmicas de transição não são fixas, mas são definidas por artefatos de configuração específicos do inquilino (regras de negócios, fluxos de trabalho, políticas de aprovação) que variam entre implantações e evoluem ao longo do tempo. Em tais cenários, a mesma ação $a_t$ aplicada a um estado $s_t$ pode produzir resultados diferentes $s_{t+1}$, dependendo da configuração de instância ativa $c$.

O artigo aborda uma questão crítica na literatura de modelos de mundo: Quando as regras que governam o ambiente são legíveis e acessíveis no momento da inferência, um agente ainda precisa aprendê-las internamente?

Abordagens existentes dependem de modelos de mundo aprendidos que internalizam dinâmicas a partir de dados históricos de transição. No entanto, os autores argumentam que modelos treinados exclusivamente em transições históricas tornam-se frágeis sob mudanças de implantação (alterações na configuração ou lógica do inquilino). Se as regras estão explicitamente disponíveis na configuração do sistema, confiar em uma representação estática e internalizada pode introduzir erros de aproximação desnecessários e reduzir a robustez.

Metodologia

1. Formalização: Modelos de Transição Contextual

Os autores formalizam as dinâmicas empresariais como um modelo de transição contextual:
$$s_{t+1} \sim P(s_{t+1} | s_t, a_t, c)$$
onde $c$ é a configuração explícita e legível da instância específica. Ao contrário dos modelos de mundo padrão, onde $c$ é fixo e desconhecido, o $c$ empresarial é mutável e inspecionável. O artigo distingue três níveis de complexidade de transição:

• Nível 1 (Determinístico por Esquema): Efeitos determinados por padrões e restrições do dicionário de dados.
• Nível 2 (Componível por Regras): Efeitos determinados por cadeias de regras de negócios (cascata).
• Nível 3 (Inferido por Execução): Efeitos dependentes de comportamentos internos do motor (por exemplo, ordem de execução, condições de corrida) não totalmente expostos em artefatos estáticos.

2. Benchmark: CascadeBench

Para avaliar agentes sob mudanças controladas de configuração e implantação, os autores introduzem o CascadeBench.

• Construção: Baseado em esquemas sintéticos (para evitar a memorização de estruturas de tabelas do mundo real) gerados a partir de um catálogo de 1.596 padrões de regras de negócios em 6 indústrias.
• Verdade Terrena: Os dados são coletados executando ações em instâncias ao vivo do ServiceNow (não simuladas), capturando logs de auditoria reais ($sys\_audit$) para registrar diferenças de estado e caminhos de cascata.
• Avaliação: Os modelos devem prever mudanças de estado em nível de campo ($s_{t+1}$) dado um estado atual ($s_t$) e uma ação ($a_t$). O benchmark isola o raciocínio da memorização paramétrica fornecendo contexto (esquemas, regras) ou retendo-o.

3. Abordagem Proposta: Agentes de Descoberta Empresarial

O artigo propõe Agentes de Descoberta Empresarial, que não tentam internalizar dinâmicas durante o treinamento. Em vez disso, eles:

1. Recuperam: No momento da inferência, consultam a configuração da instância ao vivo $c$ (por exemplo, regras de negócios, estados atuais de registros, definições de SLA) para recuperar a lógica de transição relevante.
2. Raciocinam: Usam um modelo de linguagem congelado para raciocinar sobre o subconjunto recuperado $\tilde{c}$ para prever o próximo estado.
3. Iteram: Para execuções de múltiplos passos, o agente reconsulta o sistema a cada passo para fundamentar as previsões no estado atual, mitigando o acúmulo de erros.

4. Baselines Comparativas

O estudo compara três abordagens:

• Baseline com Prompt: LLMs congelados prevendo transições a partir de contexto estático (com ou sem regras de negócios fornecidas).
• Modelo de Mundo Empresarial Aprendido: Modelos ajustados finamente (via LoRA) em tuplas históricas $(s_t, a_t, s_{t+1})$ para internalizar dinâmicas.
• Agente de Descoberta: A abordagem baseada em recuperação descrita acima.

Principais Resultados

1. Internalização vs. Recuperação

• Desempenho In-Distribution: Modelos de mundo ajustados finamente performam excepcionalmente bem em dados extraídos da mesma distribuição que seu conjunto de treinamento (por exemplo, 91,6% de IoU para Gemma-4-31B in-distribution).
• Degradação Out-of-Distribution: Sob mudança de implantação (esquemas sintéticos e configurações não vistas), modelos ajustados finamente degradam-se significativamente, caindo para níveis de desempenho comparáveis às baselines com prompt (~40% de IoU).
• Robustez da Descoberta: Agentes de descoberta, que recuperam regras em tempo de execução, mantêm desempenho robusto através de mudanças. Eles consistentemente superam as baselines com prompt e igualam o desempenho de modelos "Oráculo" (que recebem todas as regras no prompt) em transições de Nível 1 e Nível 2.

2. Impacto das Regras de Negócios

• Dependência de Regras: Remover regras de negócios do prompt causa um colapso uniforme no desempenho em todas as classes de modelos (de ~40% de IoU para ~10% de IoU). Isso confirma que as dinâmicas empresariais são impulsionadas por regras, não por conhecimento pré-treinado.
• Recuperação vs. Memorização: Para modelos de fronteira, a recuperação em tempo de execução recupera uma grande fração do sinal "Oráculo" (atingindo IoU na faixa dos vinte e poucos a trinta e poucos sem treinamento na instância alvo), enquanto a internalização pura falha em generalizar.

3. Previsão de Múltiplos Passos

• Acúmulo de Erros: Em execuções de múltiplos passos (horizontes $k=1$ a $5$), o desempenho degrada para todos os métodos à medida que a profundidade aumenta.
• Vantagem de Fundamentação: Agentes de descoberta consistentemente superam as baselines com prompt em todos os horizontes. A capacidade de reconsultar a instância ao vivo a cada passo atualiza a visão do modelo sobre a configuração, reduzindo o acúmulo de erros em comparação com confiar apenas em estados previstos anteriores.

4. Análise Estratificada por Nível

• Nível 1 e 2: Agentes de descoberta alcançam desempenho próximo ao do Oráculo, recuperando efetivamente regras e cascatas ocultas.
• Nível 3: Uma lacuna de desempenho permanece para o Nível 3 (dinâmicas inferidas por execução), onde os resultados dependem de comportamentos internos do motor não totalmente expostos na configuração. Isso sugere um limite estrutural para o que pode ser recuperado apenas da configuração.

Significado e Alegações

O artigo argumenta que a modelagem de mundo empresarial não deve depender exclusivamente de dinâmicas fixas e internalizadas. Em vez disso, em ambientes configuráveis onde a lógica de transição é legível, os agentes devem incorporar mecanismos para descoberta em tempo de execução.

• Complementaridade: Agentes de descoberta não são um substituto para modelos de mundo aprendidos, mas um complemento necessário. Os autores sugerem um futuro híbrido onde agentes combinam priors aprendidos (para eficiência e reconhecimento de padrões) com recuperação em tempo de execução (para robustez contra mudanças de configuração).
• Mudança de Paradigma: O trabalho desafia a suposição de que as dinâmicas do ambiente devem ser "aprendidas" no sentido tradicional. Em ambientes empresariais, o "modelo de mundo" pode ser parcialmente externalizado, com o agente atuando como um raciocinador dinâmico sobre configurações de sistemas ao vivo, em vez de um simulador estático.
• Limitações: Os autores observam que a descoberta depende da inspecionabilidade das regras (controles de acesso podem degradar o desempenho até a baseline com prompt) e das capacidades de uso de ferramentas do modelo subjacente. Além disso, as dinâmicas do Nível 3 permanecem um desafio, indicando que alguns aspectos do comportamento empresarial não são totalmente recuperáveis a partir de artefatos de configuração estáticos.

Em conclusão, o artigo demonstra que, para sistemas empresariais, fundamentar previsões na instância do sistema ativa por meio de descoberta em tempo de execução é mais robusto a mudanças de implantação do que confiar em modelos de mundo internalizados treinados offline.