💬 NLP

PolicyBank: Evolving Policy Understanding for LLM Agents

O artigo apresenta o PolicyBank, um mecanismo de memória que permite a agentes de LLM refinar autonomamente sua compreensão de políticas organizacionais ambíguas através de feedback iterativo, superando as limitações de abordagens existentes que tratam as políticas como verdades imutáveis e fechando até 82% da lacuna em relação a um oráculo humano.

Autores originais: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

Publicado 2026-04-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você contratou um assistente virtual superinteligente para trabalhar no balcão de uma companhia aérea ou de uma loja. Ele é muito bom em usar ferramentas: pode cancelar voos, emitir reembolsos e trocar produtos. Mas há um problema: ele segue as regras escritas em um manual de instruções que foi escrito por humanos.

E, como sabemos, manuais escritos por humanos têm falhas. Eles podem ser confusos, esquecer exceções importantes ou ter regras que não fazem sentido na vida real.

O artigo "PolicyBank" (Banco de Políticas) trata exatamente disso: como fazer com que esse assistente aprenda a corrigir o manual de instruções enquanto trabalha, em vez de apenas seguir cegamente regras erradas.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Manual de Instruções" Imperfeito

Imagine que o manual diz: "Se o passageiro reclamar de um voo atrasado E quiser mudar o voo, ofereça um voucher de $50."

Um assistente humano inteligente saberia que, se o passageiro só quer o voucher porque o voo atrasou (e não quer mudar o voo), ele ainda deveria receber o dinheiro. Mas o assistente de IA, seguindo o manual à risca, diria: "Desculpe, você não quer mudar o voo, então não pode ter o voucher."

Isso é o que os autores chamam de "Gap de Política" (uma lacuna entre o que está escrito e o que realmente deveria acontecer). O assistente está "compliant" (seguindo as regras), mas está errado na prática.

2. A Solução: O "Banco de Memória" (PolicyBank)

A maioria dos assistentes de IA atuais tem uma memória que diz: "O manual é a verdade absoluta. Nunca mude nada." Se o manual estiver errado, o assistente continua errando.

O PolicyBank é diferente. Ele funciona como um caderno de anotações inteligente que o assistente atualiza sozinho.

Como funciona:
1. O assistente tenta resolver um problema.
2. Ele erra porque o manual estava confuso.
3. Um supervisor (um humano ou um sistema de teste) diz: "Ei, você errou. Na verdade, você deveria ter dado o voucher mesmo sem a mudança de voo."
4. Em vez de apenas memorizar "não erre mais", o PolicyBank reescreve a regra no caderno dele. Ele transforma a frase confusa do manual em uma regra clara e lógica: "Ofereça o voucher se o voo atrasar, independentemente de o passageiro querer mudar o voo ou não."

3. A Analogia do "Cantor de Ópera"

Pense no assistente como um cantor de ópera aprendendo uma peça nova.

O Manual é a partitura escrita pelo compositor.
O PolicyBank é o maestro que, durante os ensaios, percebe que uma nota na partitura está errada.
Em vez de o cantor continuar cantando a nota errada porque "está na partitura", o maestro diz: "A partitura diz X, mas a música soa melhor com Y. Vamos anotar que, nesta cena, a regra é Y."
Da próxima vez, o cantor não olha apenas para a partitura antiga; ele olha para a versão corrigida que foi aprendida durante os ensaios.

4. O Que Eles Criaram (O "Campo de Treinamento")

Para provar que isso funciona, os pesquisadores criaram um "campo de treinamento" (uma extensão de um benchmark chamado $\tau$ -Bench).

Eles pegaram tarefas reais (como cancelar voos) e injetaram erros propositalmente no manual de instruções.
Eles criaram "irmãos gêmeos" das tarefas: se o assistente aprendeu a regra correta em uma tarefa simples, eles testavam se ele conseguia aplicar essa mesma regra em uma tarefa mais complexa ou com um cliente diferente.

5. Os Resultados: O Assistente que Aprende

Os testes mostraram algo impressionante:

Assistentes comuns: Quando o manual tinha um erro, eles falhavam quase 100% das vezes nas tarefas novas. Eles eram "cegos" para a falha do manual.
Com o PolicyBank: O assistente conseguiu corrigir 82% dos erros. Ele aprendeu a distinguir entre "não sei fazer a tarefa" (falta de habilidade) e "o manual está errado" (falta de alinhamento).

Resumo em uma Frase

O PolicyBank é um sistema que permite que assistentes de IA não apenas sigam regras, mas evoluam a compreensão dessas regras através de feedback, transformando instruções confusas e falhas em lógica precisa e humana, sem que um programador precise ficar reescrevendo o código manualmente.

É como dar ao assistente a capacidade de dizer: "O manual diz uma coisa, mas a experiência e o bom senso dizem outra. Vou seguir o bom senso a partir de agora."

1. O Problema: Lacunas entre Especificação e Requisito

O artigo identifica um desafio crítico na implementação de agentes de IA (LLM) em ambientes corporativos: a divergência entre políticas escritas e requisitos reais.

Contexto: Agentes LLM operam sob políticas de autorização especificadas em linguagem natural (NL) por especialistas de domínio.
A Falha Fundamental: Especificações em linguagem natural são inerentemente ambíguas, incompletas e contêm contradições lógicas. Isso cria um "gap de política" onde a política escrita ( $\pi_{spec}$ ) não reflete com precisão o requisito verdadeiro ( $\pi_{req}$ ).
Tipos de Falha:
- Falha de Execução (Tipo I): O agente não consegue seguir as regras escritas devido a limitações de raciocínio ou planejamento.
- Falha de Alinhamento (Tipo II): O agente segue fielmente a política escrita, mas o resultado viola o requisito real porque a própria política está errada.
Limitação Atual: Mecanismos de memória existentes tratam a política escrita como "verdade absoluta" (ground truth). Eles aprendem a executar tarefas melhor, mas reforçam comportamentos "compliant mas errados" (compliant mas incorretos), incapazes de questionar ou corrigir a especificação defeituosa.

2. Metodologia: PolicyBank

Os autores propõem o PolicyBank, um mecanismo de memória projetado para permitir que o agente evolua sua compreensão da política através de interação e feedback corretivo, sem reescrita manual das regras.

Arquitetura do Sistema

Memória Estruturada (PolicyBank):
- Diferente de memórias que armazenam trajetórias brutas, o PolicyBank mantém insights de política em nível de ferramenta.
- Cada entrada na memória é uma tupla estruturada contendo:
  - TRIGGER: Quando a capacidade se aplica.
  - PRECONDITIONS: Passos de verificação necessários.
  - ELIGIBILITY: Condições para permitir a ação.
  - ACTION: Procedimento a seguir.
  - KEY INSIGHT: O "delta" aprendido entre a interpretação antiga e a nova compreensão correta.
Agente de Política (Policy Agent):
- Um componente dedicado (offline) que analisa as trajetórias de tarefas e o feedback do desenvolvedor.
- Sua função é distinguir falhas de execução de falhas de alinhamento e atualizar a memória estruturada para corrigir a lógica de autorização.
Recuperação Dinâmica (Retrieval):
- O agente de tarefa invoca uma ferramenta retrieve_policy() durante a conversa para buscar regras relevantes no contexto atual, em vez de injetar toda a política no prompt inicial. Isso permite escalabilidade e precisão.

Fluxo de Trabalho

Pré-implantação/Feedback: Um desenvolvedor ou QA executa testes e fornece feedback corretivo (ex: "compensação deve ser oferecida mesmo sem alteração de voo").
Atualização: O Policy Agent analisa esse feedback, identifica a lacuna na especificação e refina a entrada na memória (adicionando, revisando ou omitindo entradas).
Evolução: O agente utiliza a memória refinada para tarefas subsequentes, fechando progressivamente o gap entre $\pi_{spec}$ e $\pi_{req}$ .

3. Contribuições Principais

Definição do Problema de "Compreensão de Política Evolutiva":
- Formalizam o problema de atualizar a interpretação de políticas imperfeitas através de interação, distinguindo claramente entre falhas de capacidade e falhas de especificação.
- Identificam três classes estruturais de lacunas de política:
  - Escopo Ambíguo: Quantificadores imprecisos ou listas exemplares interpretadas como exaustivas.
  - Exceções Não Especificadas: Proibições gerais que omitem exceções válidas.
  - Contradição Lógica: Dependências falsas entre variáveis independentes.
Método PolicyBank:
- Propõem um mecanismo de memória granular e auditável que traduz especificações ambíguas em lógica de autorização precisa, refinada iterativamente.
Benchmarks e Avaliação Rigorosa:
- Estendem o $\tau$ -Bench (um benchmark popular de chamadas de ferramentas) criando um conjunto de dados controlado com "lacunas de política".
- Introduzem tarefas "irmãs" (sister tasks) para testar a generalização da atualização da política (versões simplificadas, diferentes instâncias e variantes complexas).

4. Resultados Experimentais

Os experimentos foram conduzidos nos domínios de Aviação e Varejo utilizando modelos de ponta (Gemini-3.0-Pro e Claude-4.5-Opus).

Desempenho em Tarefas Originais vs. Tarefas Irmãs:
- Agentes padrão (sem memória ou com memória tradicional) apresentaram desempenho quase nulo (próximo a 0%) nas tarefas "irmãs" que exploram lacunas de política, indicando que eles falham em corrigir o alinhamento.
- O PolicyBank demonstrou capacidade robusta de adaptação.
Métricas de Sucesso:
- O PolicyBank conseguiu fechar até 82% da lacuna em direção a um oráculo humano (a solução perfeita).
- No domínio de Aviação (Gemini-3-Pro), o PolicyBank alcançou uma taxa de sucesso ( $pass^1$ ) de 0.74 em tarefas irmãs, comparado a 0.01 do baseline sem memória.
- No domínio de Varejo, alcançou 0.83 contra 0.31 do baseline.
Consistência:
- O PolicyBank melhorou significativamente as métricas de consistência ( $pass^k$ ), garantindo que o agente não apenas acerte uma vez, mas aplique a política corrigida de forma estável em múltiplas tentativas.
Impacto do Feedback:
- O uso de feedback binário (apenas sucesso/fracasso) mostrou-se insuficiente para corrigir lacunas complexas. O feedback com explicação em linguagem natural foi crucial para que o Policy Agent deduzisse qual cláusula da política estava errada.

5. Significado e Impacto

Mudança de Paradigma: O trabalho desafia a suposição de que políticas escritas são imutáveis e corretas. Em vez de apenas impor "guardrails" que seguem regras cegas, o PolicyBank permite que o agente aprenda e refine as regras através da experiência.
Escalabilidade na Conformidade: Resolve o gargalo de manutenção de políticas. Em vez de especialistas humanos reescreverem documentos de política para cada nova exceção ou ambiguidade descoberta, o agente pode aprender a interpretar corretamente as nuances dinamicamente.
Complementaridade: O PolicyBank não substitui camadas de verificação de segurança (guardrails), mas atua em conjunto com elas: o PolicyBank refina a interpretação da intenção, enquanto as camadas de verificação garantem a execução segura.
Aplicabilidade Prática: Oferece uma solução viável para cenários de produção onde políticas corporativas e regulatórias são complexas, fluidas e frequentemente mal especificadas, permitindo que agentes de IA operem com maior autonomia e precisão.

Em resumo, o PolicyBank representa um avanço significativo na capacidade de agentes LLM de lidar com a complexidade e ambiguidade do mundo real, transformando a "compliance" de um processo estático e frágil em um processo dinâmico e evolutivo.