Resumo Técnico: LedgerAgent: Estado Estruturado para Agentes de Chamada de Ferramentas com Adesão a Políticas

Declaração do Problema

Em domínios de atendimento ao cliente, agentes de linguagem devem manter estados de tarefa ao longo de múltiplos turnos enquanto interagem com usuários, recuperam registros e executam ferramentas. Esses agentes são obrigados a aderir a políticas de domínio estritas (ex: elegibilidade de reembolso, janelas de cancelamento) que dependem do estado atual da interação.

Agentes de chamada de ferramentas padrão baseiam-se em um design de apenas prompt, onde observações, retornos de ferramentas e instruções de política são intercalados em um histórico de conversa crescente. Esse design cria dois modos primários de falha:

1. Fundamentação Implícita de Estado: Os agentes devem reconstruir fatos relevantes a partir do histórico bruto a cada vez que decidem sobre uma ação. Isso leva a decisões baseadas em informações obsoletas, ausentes ou incorretamente reconstruídas, mesmo que os registros corretos tenham sido recuperados anteriormente.
2. Violações de Fronteira de Política: Os agentes podem gerar chamadas de ferramentas sintaticamente válidas que violam políticas de domínio porque a verificação de política não está desacoplada do estado atual. Por exemplo, um agente pode tentar cancelar uma reserva fora da janela permitida porque falhou em cruzar a data atual com a data da reserva armazenada no histórico.

Soluções existentes frequentemente focam em melhorar o próprio modelo (via ajuste fino ou aprendizado por reforço) ou adicionar andaimes de inferência (planejamento/reflexão). No entanto, essas abordagens preservam amplamente a natureza implícita da representação de estado dentro do prompt, deixando o agente para recuperar o estado a partir de um histórico não estruturado.

Metodologia: LedgerAgent

Os autores introduzem o LedgerAgent, um método de tempo de inferência que desacopla o gerenciamento de estado do histórico bruto do prompt. Ele introduz dois componentes determinísticos que operam sem modificar os pesos do modelo ou exigir chamadas adicionais de LLM para a construção do estado:

1. Livro-Razão Ancorado em Esquema (Schema-Anchored Ledger)

O agente mantém um dicionário tipado separado (o livro-razão ou ledger) que armazena estados de tarefas observados.

• Mecanismo: Quando um retorno de ferramenta de leitura é bem-sucedido, o valor de retorno é analisado e projetado no livro-razão com base em um mapa de caminhos de ferramenta pré-definido e específico do domínio (ex: orders.1234, reservations.UX789).
• Propriedades: O livro-razão é uma representação compacta e tipada de fatos observados, identificadores e condições. Não é um resumo ou memória de longo prazo, mas uma visão estruturada do estado do sistema externo conforme observado pelo agente.
• Regra de Atualização: O livro-razão atualiza-se apenas a partir de retornos bem-sucedidos de ferramentas de leitura. Retornos de ferramentas de escrita não atualizam o livro-razão; o agente deve emitir uma chamada de leitura subsequente para observar o novo estado, garantindo que o livro-razão permaneça fundamentado no sistema externo.
• Integração: Antes de cada geração do modelo, o livro-razão completo é renderizado deterministicamente e injetado no prompt. Isso permite que o modelo consulte o estado atual via caminhos estáveis em vez de pesquisar no histórico do histórico.

2. Portão de Política (Policy Gate)

Um portão de política opera imediatamente antes de qualquer chamada de ferramenta que altere o ambiente (ex: reembolsos, cancelamentos, atualizações) ser executada.

• Função: O portão avalia a chamada de ferramenta proposta contra um conjunto de predicados executáveis ($\Pi$) definidos sobre os campos do livro-razão atual.
• Resultados:
  • ALLOW (Permitir): A chamada é consistente com o livro-razão e a política; ela prossegue sem alterações.
  • REVISE (Revisar): A chamada viola uma política (ex: evidência ausente). A chamada é removida e o modelo recebe um feedback identificando o predicado violado.
  • BLOCK (Bloquear): A chamada é explicitamente proibida (ex: tentativa de ação que viola a política). A ação é recusada e o agente é impedido de alterar o ambiente.
• Implementação: As políticas são codificadas como predicados de código sobre os campos do livro-razão (ex: verificar se a data de um voo está dentro de 24 horas do horário atual), em vez de depender de raciocínio de linguagem natural dentro do prompt.

Ciclo do Agente

O método envolve o ciclo padrão do agente. Ele absorve os retornos das ferramentas no livro-razão, renderiza o livro-razão no prompt, gera uma resposta e filtra as chamadas que alteram o ambiente através do portão de política. Crucialmente, isso adiciona zero chamadas de LLM adicionais ao processo de inferência; o overhead é limitado à formatação de strings determinística e avaliação de predicados.

Contribuições Principentes

1. Identificação da Fundamentação de Estado como Modo de Falha: O artigo identifica que os agentes frequentemente falham não porque não conseguem recuperar registros, mas porque agem sobre um estado obsoleto ou incorretamente reconstruído quando esse estado permanece implícito no prompt.
2. Framework LedgerAgent: Um método de tempo de inferência inovador que separa a representação de estado (via um livro-razão tipado) da execução de ações (via um portão de política), garantindo que políticas dependentes de estado sejam verificadas contra evidências observadas antes de mudanças no ambiente.
3. Validação Empírica: Demonstração de que o LedgerAgent melhora as métricas de consistência ($pass^k$) através de diversos domínios de atendimento ao cliente e modelos de base sem alterar os pesos do modelo.

Resultados Experimentais

Os autores avaliaram o LedgerAgent em quatro domínios (Companhia Aérea, Varejo, Telecomunicações, Telemedicina) usando uma mistura de modelos de pesos abertos e fechados (incluindo GPT-4.1, GPT-5.2, Kimi K2.5, GLM-5, MiniMax M2.5 e Qwen3).

• Ganhos de Desempenho: O LedgerAgent melhorou consistentemente as pontuações médias de $pass^1$ e $pass^4$ sobre as linhas de base de chamada de função padrão.
  • Em modelos de base não-GPT (ex: Kimi-K2.5), o $pass^1$ médio melhorou 3,4 pontos e o $pass^4$ em 5,6 pontos.
  • Em modelos de base GPT, as melhorias foram ainda mais pronunciadas, com ganhos médios de $pass^1$ de 12,2 (GPT-4.1) e 15,5 (GPT-5.2) pontos.
• Consistência: Os maiores ganhos foram observados no $pass^4$ (consistência através de quatro tentativas independentes), indicando que o LedgerAgent reduz significativamente a variância no comportamento do agente.
• Tarefas de Mudança de Ambiente: O método mostrou força particular em tarefas que exigem ações de escrita (ex: cancelamentos, reembolsos), onde prevenir violações de política é crítico. No domínio de Telecomunicações (configuração de controle duplo), o LedgerAgent aumentou substancialmente a confiabilidade ao nível da ação.
• Eficiência: Ao contrário dos métodos de engenharia de contexto como o IRMA (que usam agentes auxiliares e incorrem em >50% de overhead de tokens), o LedgerAgent alcançou maior desempenho com 0,0% de overhead de tokens em relação à linha de base, pois não adiciona chamadas extras de LLM.

Análise de Erros

A análise de trajetórias falhas revelou que os erros restantes no LedgerAgent são primariamente:

• Ações Necessárias Perdidas (70,3%): O agente completa as buscas iniciais, mas falha em executar etapas necessárias subsequentes (ex: transferir para suporte humano prematuramente em vez de tentar um cumprimento parcial válido).
• Argumentos de Ação Errados (20,4%): Erros na extração ou formatação de argumentos, particularmente em domínios com esquemas complexos como Telemedicina.
• Especificidade de Domínio: As falhas variam por domínio (ex: falhas de Telecomunicações são quase exclusivamente ações perdidas; Telemedicina tem taxas mais altas de erro de argumento), sugerindo que, embora o livro-razão resolva a fundamentação de estado, o planejamento específico do domínio e a consciência do esquema permanecem desafios.

Significância e Alegações

O artigo alega que o LedgerAgent aborda uma lacuna arquitetural fundamental nos agentes de chamada de ferramentas: a dependência de um estado implícito dentro de um prompt crescente. Ao tornar o estado observado explícito e verificar as ações contra um livro-razão estruturado antes da execução, o método:

• Desloca a fronteira de falha da correção post-hoc (corrigir erros após eles acontecerem) para a prevenção (bloquear violações de política antes que ocorram).
• Fornece um mecanismo de nível de sistema para adesão à política que complementa as capacidades de raciocínio do modelo sem exigir retreinamento ou orquestração complexa de múltiplos agentes.
• Demonstra que a representação de estado é tão crítica quanto a capacidade do modelo para o uso confiável de ferramentas em ambientes dinâmicos e restritos por políticas.

Os autores concluem que, embora o LedgerAgent não substitua a necessidade de planejamento ou construção robusta de argumentos, ele elimina efetivamente uma grande fonte de não confiabilidade: agir sobre um estado obsoleto ou não fundamentado. A abordagem é mais eficaz em domínios de uso de ferramentas estruturados, onde o estado pode ser mapeado para um esquema e as políticas podem ser codificadas como predicados executáveis.