Resumo Técnico: NeSyFS – Um Framework de Pensamento Rápido-Lento Neuro-Simbólico para Agentes de LLM sob Observabilidade Parcial

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como agentes autônomos em ambientes complexos, tais como autorreflexão, geração aumentada por recuperação e descoberta científica. No entanto, um desafio fundamental surge da observabilidade parcial: ao contrário de cenários supervisionados com contextos de entrada completos, os ambientes de agentes tipicamente revelam apenas observações locais e imediatas, enquanto o verdadeiro estado subjacente permanece latente.

Esta observabilidade parcial introduz três desafios críticos para agentes de LLM:

1. Inferência de Estado de Crença: Os agentes devem inferir uma crença sobre o estado oculto a partir de históricos de interação incompletos e potencialmente ruidosos, que são frequentemente longos demais para serem comprimidos efetivamente dentro de janelas de contexto limitadas.
2. Desalinhamento de Objetivo da Tarefa: A incerteza e a informação de estado ausente podem fazer com que os agentes produzam ações que se desviam do objetivo global da tarefa.
3. Planejamento sob Incerteza: A incapacidade de acessar o estado real complica a previsão de situações futuras durante o planejamento.

Abordagens anteriores tipicamente condicionam ações em históricos de ação-observação completos ou resumidos. Esses métodos frequentemente dependem de memória não estruturada, onde informações redundantes e irrelevantes podem induzir ao erro na tomada de decisão.

Metodologia: O Framework NeSyFS

Os autores propõem o NeSyFS, um novo framework de pensamento neuro-simbólico rápido-lento projetado para abordar esses desafios de maneira unificada. O framework integra um sistema de memória estruturada com uma arquitetura cognitiva de processo duplo inspirada na cognição humana (Kahneman 2011).

1. Memória Neuro-Simbólica (Grafo de Conhecimento)

Em vez de usar históricos de interação não estruturados, o NeSyFS emprega um Grafo de Conhecimento (KG) para representar o estado latente do ambiente.

• Representação: O estado do ambiente é codificado como tripletos estruturados (ex: (entidade, relação, entidade), (entidade, atributo, valor), (entidade, verbo_no_passado, entidade)).
• Atualização Dinâmica: À medida que o agente interage com o ambiente, novas observações e ações são transformadas em tripletos e incorporadas ao KG. Tripletos obsoletos são podados para garantir uma representação consistente e dinamicamente atualizada.
• Recuperação: Cada módulo dentro do NeSyFS recupera tripletos relevantes para a tarefa do KG para servir como contexto estruturado, aproximando o estado subjacente do Processo de Decisão de Markov Parcialmente Observável (POMDP).

2. Módulo de Pensamento Rápido (Ação Reativa)

O módulo de pensamento rápido gera ações reativas de forma eficiente.

• Processo: Ele recupera tripletos relevantes do KG atual com base na descrição da tarefa e na observação atual.
• Decisão: Usando raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT), o LLM é instruído a selecionar a próxima ação com base neste contexto estruturado.
• Papel: Este módulo lida com ações rotineiras e localmente plausíveis sem o overhead computacional de um planejamento profundo.

3. Módulo de Reflexão (Verificação de Alinhamento)

Para mitigar o desalinhamento do objetivo da tarefa, um módulo de reflexão avalia a consistência das ações do pensamento rápido com o objetivo da tarefa.

• Mecanismo: Ao contrário dos métodos de autorreflexão que introspecionam o próprio comportamento, este módulo adota uma perspectiva de terceira pessoa. Ele utiliza os tripletos recuperados pelo KG como contexto para verificar se uma ação candidata se alinha com o objetivo da tarefa.
• Autoconsistência: Para reduzir a aleatoriedade do LLM, o módulo extrai múltiplas amostras (ex: $n=5$) e só aprova uma ação se um alto limiar (ex: 80%) de amostras concordar.
• Gatilho: Se uma ação é aprovada ("Sim"), ela é executada. Se rejeitada ("Não"), o pensamento de reflexão é enviado de volta ao módulo de pensamento rápido para gerar uma nova ação. Se a rejeição ocorrer repetidamente (ex: $K=3$ vezes), o sistema escala para o módulo de pensamento lento.

4. Módulo de Pensamento Lento (Planejamento Consciente de Incerteza)

Quando o pensamento rápido é pouco confiável, o agente transita para um planejamento deliberativo usando um novo algoritmo de Monte Carlo Sequencial Torcido (TSMC) Neuro-Simbólico.

• Representação de Partículas: O algoritmo mantém um conjunto de partículas ponderadas, onde cada partícula representa uma possível trajetória futura consistindo de observações previstas, estados latentes (KGs) e ações.
• Propagação: Para cada partícula, o LLM prevê a próxima ação, a observação resultante e atualiza o estado latente (KG) adequadamente.
• Atualização de Peso: Os pesos das partículas são atualizados com base em uma avaliação binária do LLM sobre se a transição de estado faz progresso em direção à tarefa. A representação concisa do KG ajuda a reduzir alucinações nesta avaliação.
• Reamostragem: Partículas que mostram pouco progresso na tarefa são descartadas, enquanto as promissoras são preservadas. Este mecanismo torna o planejamento robusto a erros temporários de avaliação do LLM.
• Execução: Após planejar sobre um horizonte $H$, uma partícula é amostrada, e sua primeira ação é executada no ambiente real.

Principais Contribuições

1. Framework Unificado: Um framework de pensamento rápido-lento neuro-simbólico que aborda simultaneamente a inferência de estado latente, o desalinhamento de tarefa e o planejamento sob incerteza.
2. Planejamento Estilo TSMC: A introdução de um algoritmo de planejamento estilo TSMC dentro do módulo de pensamento lento, especificamente adaptado para agentes de LLM usando tripletos recuperados por KG para lidar com a incerteza sob observabilidade parcial.
3. Reflexão Aumentada por KG: Um módulo de reflexão que utiliza tripletos recuperados pelo KG para permitir uma reflexão eficiente e passo a passo (ao contrário da reflexão de nível de trajetória), melhorando significativamente o alinhamento com os objetivos da tarefa.
4. Contexto Estruturado: Demonstração de que o uso de tripletos recuperados por KG como contexto supera as abordagens de histórico completo ou de crença resumida em tomada de decisão, reflexão e modelagem de mundo.

Resultados Experimentais

O framework foi avaliado em três benchmarks representativos: ALFWorld (tarefas domésticas incorporadas), WebShop (tomada de decisão de compras online) e ScienceWorld (raciocínio procedimental e científico).

• Desempenho Geral: O NeSyFS superou consistentemente e significativamente as baselines de estado da arte, incluindo ReAct, Reflexion, ABBEL, RAFA e SwiftSage.
  • No GPT-5, o NeSyFS alcançou uma taxa de sucesso média de 93,6% no ALFWorld, 63,3% no WebShop e 69,4% no ScienceWorld, superando a melhor baseline (SwiftSage) por uma margem significativa.
  • Melhorias semelhantes foram observadas com GPT-5-mini e Llama-3.3-70B.
• Eficácia da Reflexão: Experimentos isolando o módulo de reflexão mostraram que o uso de contexto fornecido pelo KG reduziu significamente os Erros Totais de Detecção (TDE) e aumentou a Confiabilidade Efetiva (ER) em comparação ao uso de histórico de interação completo ou estados de crença resumidos por LLM.
• Comparação de Contexto: Em cenários de pensamento rápido sem reflexão, os tripletos recuperados pelo KG produziram taxas de sucesso mais altas do que históricos completos ou resumos de crença, validando a superioridade da memória simbólica estruturada sobre o texto não estruturado.

Significância e Alegações

O artigo afirma que o NeSyFS representa um avanço significativo na arquitetura de agentes de LLM para observabilidade parcial. Ao se afastar de históricos de interação não estruturados e redundantes em direção a um Grafo de Conhecimento simbólico e estruturado, o framework fornece uma representação mais robusta e eficiente do estado latente.

Os autores destacam que são os primeiros a desenvolver um método de planejamento estilo TSMC para agentes de LLM, aproveitando o mecanismo de reamostragem para equilibrar exploração e explotação, permanecendo robustos a erros de avaliação de LLM. Além disso, a integração de um módulo de reflexão aumentado por KG aborda a questão crítica do desalinhamento de tarefa de forma mais eficaz do que a reflexão convencional de nível de trajetória. Os resultados sugerem que a sinergia entre memória estruturada (KG), pensamento rápido reativo e pensamento lento deliberativo é essencial para agentes autônomos de alto desempenho em ambientes complexos e parcialmente observáveis.