Resumo Técnico: SIMMER - Avaliando Falhas Latentes em Planejamento Executável de LLMs

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como planejadores para agentes autônomos em ambientes domésticos. No entanto, os paradigmas de avaliação existentes sofrem de um ponto cego crítico: eles falham em detectar falhas latentes.

Os benchmarks atuais tipicamente se dividem em duas categorias:

1. Ambientes Virtuais (ex: TextWorld, ALFWorld, VirtualHome): Estes dependem de rastreamento de estado formal, mas são frequentemente excessivamente simplificados, carecendo da complexidade necessária para modelar mudanças de estado implícitas, como contaminação, propagação de temperatura ou transformações químicas. Eles detectam primariamente violações imediatas de precondições.
2. Métricas de Similaridade Semântica: Estas avaliam planos com base na similaridade superficial com textos de referência. Elas não conseguem detectar erros onde ações individuais parecem razoáveis isoladamente, mas violam dependências de estado implícitas (ex: contaminação cruzada) que só se manifestam posteriormente.

O artigo argumenta que as falhas latentes — erros que satisfazem todas as precondições explícitas, mas propagam-se silenciosamente através de mudanças de estado implícitas — representam riscos significativos, particularmente quando levam a consequências irreversíveis (ex: contaminação bacteriana que não pode ser desfeita). Diferente das falhas imediatas, estas não interrompem a execução, tornando-as invisíveis para loops convencionais de "planejar-executar-replanejar".

Metodologia: SIMMER

Para abordar essa lacuna, os autores introduzem o SIMMER, um benchmark projetado para avaliar o planejamento de LLMs através da execução contra um modelo de mundo simbólico. O SIMMER consiste em três componentes integrados:

1. Modelo de Mundo Simbólico

Baseado no domínio de cozinha, este modelo é derivado de roteiros de culinária do mundo real coletados do wikiHow e Instructables.

• Escala: Define 77 ações e 262 objetos únicos, suportando aproximadamente 46.800 interações semanticamente realistas.
• Estrutura: Seguindo o paradigma PDDL, as ações são definidas como tuplas de <argumentos, precondições, efeitos>, e os objetos como <propriedades, estados, localização>.
• Riqueza: Ao contrário de ambientes anteriores (ex: VirtualHome com ~2.100 interações), o SIMMER modela dependências de estado refinadas, como como um estado "sujo" se propaga de uma carne crua para uma tábua de corte e, em seguida, para vegetais.

2. Taxonomia de Falhas

O benchmark categoriza as falhas de planejamento em três tipos distintos:

• Falhas Imediatas: Violações de precondições explícitas que bloqueiam a execução (ex: tentar picar algo sem segurar uma faca).
• Falhas Latentes: Erros que não violam precondições, mas comprometem o objetivo posteriormente (ex: esquecer de adicionar fermento em pó).
• Falhas Latentes Irreversíveis: Um subconjunto crítico de falhas latentes onde a consequência não pode ser desfeita por ações subsequentes (ex: contaminação cruzada de alimentos).

3. Executor de Plano de Máquina de Estados

Um executor customizado simula a execução do plano passo a passo para detectar falhas invisíveis às métricas convencionais.

• Fase 1 (Execução): Verifica precondições e aplica transições de estado, incluindo a propagação de mudanças de estado latentes (ex: propagação de contaminação).
• Fase 2 (Auditoria Pós-Execução): Escaneia o estado final em busca de problemas não resolvidos (ex: comida deixada sem cozinhar, eletrodomésticos ligados) que não foram sinalizados durante os passos individuais.

Principais Contribuições

1. Benchmark SIMMER: O primeiro benchmark que avalia explicitamente falhas latentes e irreversíveis no planejamento de LLMs utilizando um modelo de mundo simbólico de grande escala e curadoria humana no domínio de cozinha.
2. Análise Sistemática: Uma avaliação abrangente de seis LLMs (incluindo modelos proprietários de fronteira como GPT-5.4 e modelos de pesos abertos como Llama 3.3) revelando falhas de planejamento generalizadas.
3. Estratégia de Mitigação: A proposta e avaliação da Simulação de Previsão Contrafactual, uma estratégia de prompting que força o raciocínio de estado explícito antes de cada ação.

Resultados Experimentais

Os autores avaliaram seis LLMs em 100 tarefas de culinária abrangendo 12 técnicas.

• Altas Taxas de Falha: Mesmo os modelos de fronteira com melhor desempenho produziram planos livres de erros em menos de 17% das tarefas (média de todos os modelos foi de ~7,2%).
• Falhas Latentes: Até 56% dos planos continham falhas latentes. Crucialmente, uma parte significativa (20–45% dos planos) continha falhas irreversíveis.
• Modos de Falha:
  • Falhas Latentes foram causadas principalmente pela Propagação de Estado (incapacidade de rastrear como estados como contaminação se transferem entre objetos) e Ignorância de Precondição Implícita (omissão de etapas críticas de segurança não declaradas explicitamente nas instruções).
  • Falhas Imediatas foram dominadas pela Deficiência de Ancoragem Corporal (ignorar restrições físicas como capacidade de carga) e Erros de Rastreamento de Estado.
• Eficácia da Mitigação:
  • Self-Refine (um pipeline de crítica pós-hoc) reduziu o total de falhas em mais de 40% para modelos de fronteira, mas ofereceu benefícios marginais ou negativos para modelos mais fracos.
  • Simulação de Previsão Contrafactual (previsão de estado passo a passo durante a geração) provou ser a mais eficaz. Reduziu as falhas latentes em até 72% e as falhas irreversíveis em até 75% nos modelos de fronteira. Isso sugere que a externalização do rastreamento de estado via raciocínio explícito melhora significativamente a confiabilidade do planejamento.

Significância e Alegações

O artigo alega que as avaliações atuais superestimam substancialmente as capacidades de planejamento de LLMs ao focar na correção superficial enquanto ignoram erros que se propagam silenciosamente através dos estados do mundo.

A significância do SIMMER reside em sua capacidade de:

1. Expor Lacunas Críticas: Demonstrar que mesmo modelos de última geração lutam com dependências de estado implícitas, levando a violações de segurança que são frequentemente irreversíveis.
2. Fornecer uma Ferramenta de Diagnóstico: Oferecer uma taxonomia estruturada e um executor para distinguir entre falhas imediatas, latentes e irreversíveis, permitendo melhorias mais direcionadas.
3. Guiar Pesquisas Futuras: Sugerir que o raciocínio de estado explícito (via previsão contrafactual) é uma direção promissora para construir planejadores de LLM mais robustos, particularmente para domínios de alto risco onde falhas silenciosas podem causar danos irreversíveis.

Os autores concluem que, embora os LLMs mostrem potencial, seu uso em ambientes domésticos de segurança crítica requer uma avaliação rigorosa contra modelos de mundo simbólicos que considerem toda a complexidade da propagação de estado e das consequências irreversíveis.