🤖 AI

Learning on the Job: Continual Learning from Deployment Feedback for Frozen-Weights Agents

Este artigo demonstra que agentes de IA de pesos congelados podem alcançar melhorias significativas de aprendizagem contínua ao parear seus modelos estáticos com um sistema de memória externa que destila o feedback de implantação em regras de linguagem natural recuperáveis, permitindo assim que resolvam tarefas anteriormente intratáveis sem o retreinamento do modelo.

Autores originais: Valentin Tablan, Scott Taylor, Kristoffer Bernhem

Publicado 2026-07-27

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Valentin Tablan, Scott Taylor, Kristoffer Bernhem

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde, toda vez que você tentasse resolver um quebra-cabeça, esquecesse as regras no momento em que o cronômetro parasse. Se você resolvesse um problema matemático difícil hoje, começaria do zero amanhã, mesmo que o problema fosse exatamente o mesmo. Esta é a realidade atual para muitos agentes de inteligência artificial (IA). Eles são construídos sobre "cérebros congelados" — modelos poderosos que são definidos em pedra quando são lançados. Eles não podem aprender com seus erros em tempo real porque alterar a fiação do seu cérebro é caro, arriscado e lento. No entanto, no mundo real, esses agentes estão constantemente recebendo feedback. Um cliente pode dizer: "Isso funcionou!" ou um humano pode corrigir um erro e dizer: "Aqui está o jeito certo". A grande questão que os cientistas estão fazendo é: Podemos ensinar esses agentes de cérebro congelado a ficarem mais espertos apenas lendo uma "folha de dicas" de suas próprias experiências passadas, sem nunca realmente mudar seu cérebro?

Este artigo, intitulado "Learning on the Job" (Aprendendo no Trabalho), explora um contorno inteligente. Em vez de tentar refazer a fiação do cérebro da IA, os pesquisadores deram ao agente um caderno externo — um sistema de memória. Quando o agente termina uma tarefa, ele observa o resultado (ganhou ou perdeu?) e escreve uma regra curta, em linguagem natural, neste caderno. Por exemplo, "Se o cliente pedir um reembolso, verifique a data primeiro". Mais tarde, quando o agente enfrenta uma situação semelhante, ele consulta seu caderno antes de agir. O estudo testou isso em uma simulação bancária onde a IA tinha que navegar por regras complexas para ajudar clientes. Eles descobriram que, simplesmente lendo suas próprias notas, os agentes melhoraram significamente em seus trabalhos. Um agente que aprendeu apenas com um sinal de "vitória/derrota" melhorou sua taxa de sucesso em 1,6 vezes, enquanto um que aprendeu com correções detalhadas melhorou 2,6 vezes. Mais legal ainda, as notas escritas por um tipo de IA foram úteis para um tipo completamente diferente de IA, provando que essa "experiência" poderia ser compartilhada como um livro de biblioteca.

O Problema: A Amnésia da IA

Pense nos agentes de IA mais avançados de hoje como estagiários incrivelmente talentosos, mas incrivelmente esquecidos. Você os contrata, eles recebem uma enorme biblioteca de livros de políticas (cerca de 700 documentos neste estudo) para consultar, e eles tentam ajudar um cliente. Se eles resolverem um problema difícil, ótimo! Mas no momento em que a conversa termina, sua memória de curto prazo é apagada. Se esse mesmo cliente difícil ligar de volta amanhã, o agente não terá ideia do que aconteceu ontem. Ele tem que começar do zero.

A razão para essa amnésia é arquitetônica. Esses agentes rodam em modelos com "pesos congelados". Imagine o cérebro do modelo como uma escultura gigante e intrincada feita de argila. Uma vez que a escultura é cozida e endurecida (implantada), você não pode remover pedaços ou adicionar nova argila sem derreter tudo e começar de novo. Derretê-la é perigoso (ela pode esquecer tudo o que já sabia antes) e caro. Portanto, no mundo real, esses agentes permanecem congelados. Eles são tão capazes no seu último dia de trabalho quanto foram no primeiro.

A Solução: O Caderno Externo

Os pesquisadores perguntaram: E se o agente não precisasse mudar seu cérebro para aprender? E se ele precisasse apenas de um caderno?

Eles parearam a IA congelada com um sistema chamado Spark. Pense no Spark como uma biblioteca compartilhada e mágica onde o agente pode escrever e ler notas. Quando um agente termina uma tarefa, ele não joga a experiência fora. Em vez disso, ele reflete sobre o que aconteceu e escreve uma "regra" na biblioteca.

O "Modo de Experiência": O agente recebe um simples polegar para cima ou para baixo (um veredito de um bit). Ele tem que descobrir a lição por conta própria. "Eu tentei fazer X e falhei. Devo evitar X na próxima vez."
O "Modo de Instrução": O agente recebe o polegar para baixo mais a resposta corre-ta. "Eu tentei X e falhei. O jeito certo é Y."

O agente escreve essas lições como regras simples, em linguagem natural, como "Quando um cliente pedir uma transferência, sempre verifique o limite diário primeiro". Essas regras são armazenadas na biblioteca Spark. A próxima vez que o agente enfrenta um cliente, ele pesquisa na biblioteca por regras relevantes antes de agir.

O Experimento: Apostando na Memória

Para testar isso, a equipe usou um benchmark bancário difícil chamado τ-bench. Imagine um videogame onde a IA joga como um caixa de banco. Os "clientes" são simulados por outras IAs, e eles têm objetivos ocultos e pedidos complicados. O agente tem que descobrir as regras do banco pesquisando através de uma enorme pilha de documentos de política. É difícil; até os melhores modelos de IA resolvem apenas cerca de 25% dessas tarefas na primeira tentativa.

Os pesquisadores realizaram o experimento com dois modelos de IA diferentes:

Mistral Large: Um modelo poderoso e de código aberto que as empresas podem rodar em seus próprios servidores.
Claude Sonnet 5: Um modelo de fronteira de alto nível.

Eles testaram três cenários para cada modelo:

A Linha de Base (Baseline): O agente tem a biblioteca de políticas, mas não tem memória. Ele esquece tudo entre as tentativas.
Experiência: O agente tem a biblioteca e um caderno de memória, mas aprende apenas com um sinal de "vitória/derrota".
Instrução: O agente tem a biblioteca, um caderno de memória e aprende com o sinal de "vitória/derrota" mais a solução correta após uma falha.

Os Resultados: De Zero a Herói

Os resultados foram impressionantes. Os agentes que usaram o caderno de memória tornaram-se muito melhores em seus trabalhos, e fizeram isso sem mudar um único neurônio em seus cérebros congelados.

O Poder das Correções: Para o modelo Mistral Large, o grupo "Instrução" (aprendendo com correções) resolveu 2,6 vezes mais tarefas na primeira tentativa em comparação com a linha de base. Eles conseguiram resolver 22 de 84 tarefas que o agente da linha de base nunca resolveu, não importa quantas vezes tentasse.
O Poder da Experiência: Mesmo aprender com um simples sinal de "vitória/derrota" ajudou. O grupo "Experiência" melhorou 1,6 vezes em relação à linha de base.
A Curva de Aprendizado: No início, todos os agentes eram igualmente ruins porque os cadernos estavam vazios. Mas conforme as tentativas avançavam, os agentes com cadernos tornaram-se mais espertos. O agente da linha de base permaneceu estável, enquanto os agentes de aprendizado subiam de nível a cada tentativa.
Magia entre Modelos: Os pesquisadores fizeram algo muito legal. Eles pegaram o caderno construído pelo modelo Mistral Large e o entregaram ao modelo Claude Sonnet 5 para ler (e vice-versa). Embora fossem modelos diferentes, as notas foram úteis! O modelo Mistral, ao ler as notas do Claude, melhorou significamente sua taxa de sucesso. Isso prova que o conhecimento armazenado no caderno não era apenas o "estilo do Mistral"; era um conhecimento geral e útil que qualquer agente poderia usar.

Por Que Isso Importa

Este artigo sugere uma nova maneira de tornar a IA mais inteligente sem o enorme custo e risco de retreinamento. Em vez de tentar derreter e remodelar o cérebro da IA, podemos apenas dar a ela uma maneira melhor de lembrar.

O estudo também descartou algumas ideias. Por exemplo, eles verificaram se os agentes estavam apenas "cacheando" respostas (memorizando a solução exata para um quebra-cabeça específico). Eles descobriram que não era o caso. Os agentes estavam aprendendo regras (como "verificar a data") que os ajudavam a resolver novas variações do problema. Eles também mostraram que esse aprendizado não tornou os agentes piores naquilo que já eram bons; eles mantiveram suas habilidades antigas enquanto ganhavam novas.

Em suma, esta pesquisa mostra que, para agentes de IA congelados, o feedback que eles recebem todos os dias — seja um simples "bom trabalho" ou uma correção detalhada — é suficiente para transformá-los em aprendizes vitalícios, desde que tenham um lugar para anotar o que aprenderam. Isso transforma a experiência de um único agente em um ativo organizacional compartilhado, tornando todo o sistema mais inteligente, uma nota de cada vez.

Resumo Técnico: Aprendizado no Trabalho para Agentes de Pesos Congelados

Declaração do Problema

As implantações atuais de agentes de IA dependem de modelos de fundação com pesos congelados, o que significa que os agentes descartam quase todas as oportunidades de aprendizado após cada episódio. Quando uma solicitação difícil recorre, o agente começa do zero. Embora as atualizações de pesos ofereçam uma rota clássica para o aprendizado contínuo, elas incorrem em custos proibitivos de infraestrutura, risco de esquecimento catastrófico e a necessidade de novas avaliações de segurança. Consequentemente, os agentes implantados muitas vezes permanecem tão capazes em seu último dia quanto no primeiro.

Implantações no mundo real tipicamente geram sinais de supervisão — como vereditos de resultados (sucesso/falha) ou correções post-hoc (resoluções verificadas) — contudo, esses sinais raramente são utilizados para o aprendizado. Este artigo investiga se esses sinais de feedback comuns são suficientes para permitir o aprendizado contínuo sem modificar os pesos do modelo, ao parear o agente congelado com um sistema de memória externa.

Metodologia

O Sistema de Memória Spark

O estudo utiliza o Spark, um serviço de memória compartilhada para agentes de IA.

Unidade de Conhecimento: Os insights são armazenados como declarações de linguagem natural compactas (regras, procedimentos, avisos) com um título, conteúdo e uma consulta de recuperação formulada como uma pergunta que um agente futuro faria.
Ciclo de Vida: As contribuições passam por um pipeline de curadoria autônomo envolvendo filtragem de segurança, portões de qualidade e deduplicação. O sistema suporta a poda contínua e a síntese de novos insights a partir de clusters de informações relacionadas.
Interação: Os agentes interagem via quatro chamadas: search, create_memory, enrich_memory e share_feedback. O sistema opera em um ciclo de leitura-contribuição-feedback, onde o feedback atualiza estimativas de confiança para influenciar o ranking de recuperação.

Configuração Experimental

Os experimentos são conduzidos no domínio $\tau$ -Banking do $\tau$ -bench, um benchmark intensivo em conhecimento envolvendo conversas de múltiplos turnos com clientes simulados.

Dificuldade da Tarefa: Os agentes devem descobrir regras de negócio e ferramentas pesquisando em um corpus de aproximadamente 700 documentos de política usando recuperação BM25 esparsa. O benchmark é determinístico, com o sucesso definido pelo estado final do banco de dados correspondendo a uma verdade fundamental (ground truth).
Modelos: Dois modelos abrangem o espectro de implantação: Mistral Large (pesos abertos, auto-hospedável) e Claude Sonnet 5 (modelo de fronteira).
Protocolo: Cada tarefa executa $k=4$ tentativas independentes. O repositório de memória começa vazio e permanece ativo através das tentativas para uma única tarefa, permitindo que lições do teste $t$ influenciem o teste $t+1$ .

Condições

Três condições são comparadas:

Baseline Sem Memória: Um controle RAG estático que recupera sobre o corpus completo de políticas sem memória entre os testes.
Experiência (Experience): O agente aprende a partir de um veredito de resultado de um único bit (sucesso/falha). Em caso de falha, ele deve destilar suas próprias lições (regras de evitamento) sem acesso à solução correta.
Instrução (Instruction): O agente aprende a partir do veredito mais uma sequência de ações verificada (correção) entregue após um episódio de falha. Isso permite que o agente escreva a regra correta na memória.

Métricas

$pass^k$ : A métrica padrão do benchmark que exige que uma tarefa seja resolvida em todos os $k$ testes.
Taxa de sucesso por teste: A taxa de sucesso agregada como uma função do índice do teste.
Taxa de retenção (Hold rate): A probabilidade de que uma tarefa que passou no teste $t$ seja passada novamente no $t+1$ , medindo a retenção do conhecimento.
Conversão: A taxa na qual tarefas no "estrato do piso" (tarefas que o baseline nunca resolve) são resolvidas pelas condições de aprendizado.

Principais Resultados

Desempenho de Aprendizado Contínuo

Mistral Large:
- A condição Instruction elevou o sucesso de teste único ( $pass^1$ ) para 0,170, o que é 2,6 $\times$ o baseline (0,064) e 1,6 $\times$ a condição Experience (0,103).
- Apenas a Experience elevou o $pass^1$ para 0,103 (1,6 $\times$ o baseline).
- Conversão: A condição Instruction converteu 22 das 84 tarefas que o baseline nunca resolveu. A Experience converteu 5.
- Retenção: A Experience manteve as soluções armazenadas a uma taxa de 0,88, enquanto a Instruction manteve a 0,65.
Claude Sonnet 5:
- Replicou a tendência em um modelo mais forte. A condição Instruction elevou o $pass^1$ de 0,248 (baseline) para 0,397.
- Converteu 28 das 57 tarefas que o baseline nunca resolveu.
- A curva de aprendizado mostrou um aumento monotônico nas taxas de sucesso ao longo dos testes para as condições de aprendizado, enquanto o baseline permaneceu plano.

Transferência entre Modelos

O estudo testou se a memória construída por um modelo poderia beneficiar outro ao congelar os repositórios e fazer com que o outro modelo os lesse (apenas leitura).

Mistral Large lendo o repositório construído pelo Claude Sonnet 5 melhorou o $pass^1$ de 0,064 para 0,289 (+0,224).
Claude Sonnet 5 lendo o repositório construído pelo Mistral Large melhorou o $pass^1$ de 0,248 para 0,314 (+0,066).
Significância: A transferência foi eficaz em ambas as direções, incluindo a transferência "ascendente" (uphill), onde as regras do modelo mais fraco ajudaram o modelo mais forte. Condicionado a uma tarefa ser transferível (não resolvida pelo consumidor, mas resolvida pelo produtor), as taxas de conversão foram de aproximadamente 31% em ambas as direções.

Significância e Alegações

O artigo reivindica três contribuições primárias:

Suficiência do Feedback Pós-Episódio: O estudo demonstra que o feedback comum de implantação (vereditos de resultado e correções) é um sinal suficiente para o aprendizado contínuo. Um agente pode elevar significativamente seu desempenho (até 2,6 $\times$ ) sem atualizações de peso, desde que seja pareado com uma memória externa que destila episódios em regras recuperáveis.
Transferibilidade da Memória Acumulada: Os repositórios de memória acumulada são portáteis entre diferentes modelos. Um repositório congelado construído por um modelo pode melhorar o desempenho de um modelo diferente, transformando a experiência individual do agente em conhecimento organizacional agnóstico a modelos.
Protocolo de Medição Reutilizável: O artigo introduz um protocolo para medir o aprendizado contínuo em agentes de pesos congelados, distinguindo entre sucesso de tarefa, confiabilidade entre testes e retenção de conhecimento (taxa de retenção), lançado junto com o harness e os dados.

Os autores enfatizam que os resultados abordam o regime específico onde o conhecimento que o modelo carece é decisivo. O efeito de aprendizado ocorre entre os testes, impulsionado exclusivamente pelo repositório de memória, e o conhecimento acumulado transfere-se efetivamente, sugerindo que a memória externa pode servir como uma alternativa viável às atualizações de peso para muitas implantações empresariais. O artigo observa explicitamente que a generalização para tipos de tarefas não vistas não foi medida; o foco é em situações recorrentes em implantação.