PABU: Progress-Aware Belief Update for Efficient LLM Agents

Resumo Técnico: PABU (Progress-Aware Belief Update)

1. O Problema: Ineficiência e Ruído no Histórico de Interações

Atualmente, agentes baseados em Grandes Modelos de Linguagem (LLMs) operam em ambientes de Observabilidade Parcial (POMDP). Para compensar a falta de acesso ao estado real do ambiente, esses agentes costumam condicionar suas ações ao histórico completo de ações e observações (full action-observation histories).

Os autores identificam três problemas críticos nessa abordagem:

• Informação Irrelevante: O histórico completo contém detalhes espúrios e ações redundantes que não contribuem para o objetivo final.
• Custo Computacional: O crescimento linear do contexto aumenta o custo de inferência e a latência.
• Degradação de Performance: O excesso de ruído pode levar ao "colapso da representação", onde o modelo tem dificuldade em distinguir sinais relevantes para a tarefa de detalhes irrelevantes, resultando em ações subótimas.

2. Metodologia: O Framework PABU

O PABU propõe uma mudança de paradigma: em vez de usar o histórico bruto, o agente mantém um Estado de Crença (Belief State) compacto e estruturado. Este estado é construído em torno de dois pilares:

A. Progresso como Eixo Central (Progress-Awareness):
Em vez de tentar modelar o estado latente complexo do ambiente (o que é difícil em tarefas heterogêneas), o PABU estima o progresso da tarefa. O progresso é uma abstração textual que descreve o avanço em direção ao objetivo (ex: "localizar o objeto" $\rightarrow$ "manipular o objeto").

• O progresso é tratado como um sinal quase-Markoviano, reduzindo a dependência de sequências longas de ações.
• Se uma ação não altera o estágio da tarefa, o progresso permanece constante, permitindo que o agente foque no que falta para mudar de fase.

B. Mecanismo de Retenção Seletiva (Selective Retention):
Para evitar a perda de informações críticas, o PABU não resume o histórico (o que pode causar perda de detalhes), mas sim seleciona o que manter através de uma política aprendida:

1. Regras Fixas: Mantém a consulta do usuário e a observação mais recente.
2. Memória de Ações Condicionada ao Progresso ($A_{att}$): Registra quais ações foram tentadas dentro do mesmo estágio de progresso para evitar repetições redundantes.
3. Retenção de Observações Aprendida ($O_{saved}$): Uma política decide se uma nova observação é importante o suficiente para ser armazenada no contexto de longo prazo.

C. Objetivo de Treinamento (Progress-Aware Learning):
O modelo é treinado via fine-tuning supervisionado usando trajetórias de sucesso. O objetivo de perda ($L_{PABU}$) é desenhado para:

• Prever o próximo progresso.
• Decidir quais observações reter.
• Aumentar a eficiência: O modelo é treinado para prever não apenas a ação real, mas a "próxima ação consistente com o progresso" ($\tilde{a}_i$), incentivando o agente a saltar etapas desnecessárias e ir direto ao que importa.

3. Principais Contribuições

1. Formalização de um novo framework de estado de crença para agentes LLM que elimina a necessidade de resumos de longa duração.
2. Introdução de uma política de retenção aprendida que combina progresso semântico com memória de ações e observações selecionadas.
3. Um novo objetivo de treinamento que utiliza o sinal de progresso para filtrar ações e aumentar a eficiência da trajetória durante o aprendizado.

4. Resultados Experimentais

Os testes foram realizados no benchmark AgentGym (oito ambientes distintos). Os resultados comparados com o estado da arte (SoTA) foram:

• Taxa de Conclusão de Tarefas (Success Rate): O PABU atingiu 81,0%, superando os modelos anteriores em 23,9%.
• Eficiência de Interação: O número médio de passos para completar uma tarefa caiu de 13,0 para 9,5, uma redução de 26,9%.
• Robustez: Estudos de ablação mostraram que o modelo funciona bem em diferentes escalas (de 1B a 70B parâmetros) e famílias de modelos (Llama e Qwen), provando que o design do estado de crença é agnóstico à arquitetura.

5. Significância

O trabalho é significativo porque demonstra que a eficiência de um agente não vem apenas de modelos maiores, mas de uma representação de estado mais inteligente. Ao tratar o progresso da tarefa como o principal guia para a memória, o PABU resolve o dilema entre "ter contexto suficiente para decidir" e "ter contexto limpo o suficiente para não se confundir", pavimentando o caminho para agentes de longo horizonte mais econômicos e precisos.