Resumo Técnico: STOCKTAKE – Medindo o Hiato entre Percepção e Ação em Agentes de LLM

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) são cada vez mais avaliados em tarefas de decisão de longo horizonte, como a gestão de cadeias de suprimentos, onde o desempenho depende da inferência de estados ocultos (ex: mudanças na demanda, falhas de fornecedores) a partir de observações ruidosas ao longo do tempo. Uma limitação crítica nas avaliações atuais é a incapacidade de distinguir entre dois modos de falha distintos:

1. Falha de Percepção: O agente falha em inferir corretamente o estado oculto (erro de estimativa de estado).
2. Falha de Ação: O agente infere corretamente o estado, mas falha em agir apropriadamente (erro de controle), um fenômeno conhecido como o "hiato entre saber e fazer" (knowing-doing gap).

Os benchmarks existentes frequentemente dependem de políticas de referência (oráculos) que possuem informações privilegiadas (verdade fundamental) indisponíveis para o agente. Essa confluência torna impossível atribuir o custo a um modo de falha específico; uma deficiência pode ser devida ao fato de o agente não conhecer a verdade ou de conhecê-la, mas falhar ao agir. Além disso, muitos benchmarks carecem de mecanismos para graduar as crenças declaradas pelo agente juntamente com suas ações.

2. Metodologia: O Benchmark STOCKTAKE

Os autores introduzem o STOCKTAKE, um benchmark de reposição de cadeia de suprimentos de 26 semanas projetado para isolar e medir esses modos de falha separadamente.

2.1 Design do Ambiente

• Tarefa: O agente atua como um gerente de reposição de uma importadora de eletrônicos, tomando decisões semanais de pedido com base em um painel de sintomas ruidosos.
• Estado Oculto (Fatorado POMDP): O ambiente é um Processo de Decisão de Markov Parcialmente Observável (POMDP) com seis processos de fatores ocultos independentes: regime de demanda, saúde do fornecedor, mercado de frete, congestionamento portuário, qualidade de lote e status do canal.
• Observações: O agente recebe sintomas semanais ruidosos (ex: tempos de espera em berços, relatórios de defeitos), mas nunca vê o estado oculto diretamente.
• Independência de Ação: Crucialmente, a dinâmica do estado oculto é independente da ação. A "fita de eventos" (a sequência de mudanças nos estados ocultos e ruído) é gerada a partir de uma semente fixa antes do agente agir. Isso garante que qualquer política executada em uma semente enfrente exatamente os mesmos choques, permitindo uma comparação justa.
• Perfis de Estresse: O benchmark utiliza 50 sementes curadas categorizadas em três perfis de estresse:
  • ISOLATED (ISOLADO): Choques de fator único, curtos e não sobrepostos.
  • PERSISTENT (PERSISTENTE): Sobreposições de várias semanas (ex: congestionamento portuário coincidindo com o aumento da demanda).
  • COMPOUND (COMPOSTO): Acúmulos de três ou mais episódios de fatores simultâneos.

2.2 O Oráculo Justo (Fair Oracle)

Para separar percepção de ação, o STOCKTAKE emprega um Oráculo Bayes Justo:

• Condicionamento: Diferente de oráculos privilegiados, esta política de referência é condicionada à idêntica corrente de observação que o agente de LLM recebe. Ele nunca vê o estado oculto.
• Mecanismo: Utiliza um filtro Bayes exato para cada um dos seis fatores para manter uma crença posterior sobre o estado oculto. Em seguida, conduz uma política de simulação (rollout) amostrando futuros e selecionando a ação que minimiza o custo.
• Assimetria: A única assimetria revelada é que o oráculo utiliza os parâmetros gerativos reais (probabilidades de transição, médias de regime), enquanto o LLM recebe apenas uma descrição qualitativa. Assim, o oráculo representa a política Bayes-ótima dado o modelo real, não uma onisciente.

2.3 Métricas

O benchmark introduz um conjunto de métricas para desacoplar a estimativa de estado do controle:

1. Pontuação de Habilidade (Skill Score): Uma pontuação normalizada variando de 0 a 1 (e potencialmente além).
   • 0 (Piso): Uma política de estoque base cega a sintomas que ignora todas as observações.
   • 1 (Oráculo): O custo médio do Oráculo Bayes Justo.
   • Interpretação: Uma pontuação > 0 indica que o agente melhorou em relação a ignorar os sintomas; uma pontuação < 0 indica que o agente performou pior do que uma regra cega.
2. Atraso de Detecção (Detection Lag): O número de semanas entre o início de um regime de estresse oculto e a primeira vez que o agente menciona esse fator em sua justificativa escrita.
3. Taxa de Saber-Fazer (Knowing-Doing Rate): A probabilidade de ocorrer uma ruptura de estoque (stockout) em uma semana na qual o agente diagnosticou corretamente um fator de estresse. Isso mede a falha em agir sobre crenças corretas.

2.4 Configuração Experimental

• Modelos: Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro e Grok 4.5.
• Protocolo: Cada modelo executa em todas as 50 sementes (200 episódios no total) sob um prompt de "apenas regras", sem manuais de estratégia ou exemplos.
• Graduação de Crença: Um LLM auxiliar gradua as justificativas semanais escritas do agente para determinar se fatores específicos foram identificados corretamente.

3. Resultados Principais

A avaliação de 200 episódios através de quatro modelos de fronteira produz várias descobertas contraintuitivas:

3.1 Percepção Uniforme, Ação Divergente

• Estimativa de Estado: Todos os quatro modelos demonstraram capacidades de estimativa de estado quase idênticas. Eles detectaram 84–88% dos episódios de estresse oculto, tipicamente dentro de 0,32–0,42 semanas do início.
• Falha de Controle: Apesar da detecção uniforme, as pontuações de habilidade variaram drasticamente, indo de 0,62 (GPT-5.4) a −0,23 (DeepSeek-V4-Pro).
• O Paradoxo do Piso: Dois modelos (DeepSeek-V4-Pro e Grok 4.5) terminaram com pontuações de habilidade negativas. Em aproximadamente metade de suas sementes, uma regra de estoque base cega a sintomas teria sido mais barata do que agir com base em seus diagnósticos amplamente corretos.

3.2 As Duas Faces do Hiato

O artigo identifica que o "hiato entre saber e fazer" se manifesta em duas direções opostas:

1. Sub-Resposta (Rupturas de Estoque): Mesmo com diagnóstico correto, os modelos falham em prevenir rupturas de estoque. Em sementes PERSISTENTES, 34–43% das semanas de estresse diagnosticadas corretamente ainda resultaram em falta de estoque.
2. Sobre-Resposta (Custo Excessivo): Os modelos podem agir sobre diagnósticos corretos, mas com custo excessivo. Os modelos com pontuações de habilidade negativas (DeepSeek, Grok) tiveram as menores taxas de ruptura de estoque nas semanas diagnosticadas, mas os maiores custos totais. Eles "superdosaram" na proteção (ex: travar tarifas de frete, envio aéreo) de formas que excederam o valor dos sintomas.

3.3 Sensibilidade ao Perfil de Estresse

• GPT-5.4 teve o melhor desempenho em estresse COMPOSTO (Habilidade 0,86), mas teve dificuldades com estresse ISOLADO.
• Claude Sonnet 5 teve o melhor desempenho em estresse PERSISTENTE (Habilidade 0,70), mas o pior em COMPOSTO.
• Os modelos que performaram pior no geral (DeepSeek, Grok) mostraram os menores atrasos de detecção, confirmando que a falha não estava na visão, mas na política derivada dessa visão.

4. Contribuições

1. Benchmark de Oráculo Justo: Introdução de um POMDP de cadeia de suprimentos de seis fatores onde o limite superior de referência é um filtro Bayes justo e computável, condicionado à exata corrente de observação do agente. Isso permite a atribuição de custo especificamente à fase de "agir" em vez da fase de "saber".
2. Eixo de Estresse Controlado: Uma metodologia para gerar sementes com perfis de estresse oculto fixos (ISOLADO, PERSISTENTE, COMPOSTO) como variáveis independentes, mantendo o modelo do mundo constante.
3. Métricas Desacopladas: Um framework que mede separadamente a estimativa de estado (atraso de detecção) e o controle (pontuação de habilidade, taxa de saber-fazer), revelando que os agentes de fronteira atuais falham primariamente em controle, não em percepção.

5. Significância e Alegações

O artigo alega que o STOCKTAKE fornece a primeira evidência rigorosa de que a degradação de desempenho de agentes de LLM em tarefas de longo horizonte está concentrada no controle (eliciação de política) e não na estimativa de estado (inferência).

• O Gargalo: O principal gargalo para os agentes atuais reside entre uma crença declarada correta e a ação custosa que ela exige.
• Limitações das Avaliações Atuais: Os autores argumentam que benchmarks que utilizam oráculos privilegiados confundem "não saber" com "saber mas não agir", obscurecendo a natureza específica das falhas dos agentes.
• Escopo Modesto: Os autores reconhecem que o benchmark cobre um único domínio (reposição de importação), um único SKU e quatro modelos. Eles afirmam explicitamente que os resultados não se generalizam para todas as tarefas de agentes, mas destacam um modo de falha específico em tomada de decisão sequencial sob observabilidade parcial.
• Direções Futuras: O artigo sugere que corrigir esses agentes requer intervenções diferentes: o andaime (scaffolding) de inferência não é a solução (já que a percepção já é forte); em vez disso, o foco deve mudar para uma melhor eliciação de política e seleção de ação sensível ao custo.

O artigo conclui que, embora os agentes estejam cada vez mais capazes de "ver" o mundo oculto, eles permanecem inconsistentes em "fazer" o que essa visão exige, frequentemente oscilando entre a sub-reação (levando a rupturas de estoque) e a sobre-reação (levando a custos proibitivos).