Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

Este artigo apresenta uma pesquisa abrangente sobre a adaptação de agentes de IA pós-treinamento, organizando o campo fragmentado em um framework de quatro paradigmas que engloba a adaptação do agente e das ferramentas, analisando métodos de pós-treinamento, arquiteturas de memória adaptativa e habilidades de agentes, além de discutir suas compensações, práticas de avaliação e desafios futuros.

O essencial

Imagine que você tem um assistente pessoal superinteligente (um "Agente de IA") que pode fazer tarefas complexas para você, como pesquisar na internet, escrever código, organizar sua agenda ou até descobrir novos remédios.

No início, esse assistente era como um aluno brilhante, mas inexperiente. Ele sabia muita coisa teórica (treinado em livros e dados), mas quando precisava fazer algo prático, ele tropeçava. Ele não sabia bem como usar as ferramentas certas, como lembrar de coisas que aconteceu ontem, ou como aprender com os erros.

Esta pesquisa é um mapa gigante que organiza todas as formas modernas de "treinar" esse assistente para que ele se torne um profissional de elite. Os autores chamam esse processo de Adaptação.

Eles dividem o treinamento em 4 estratégias principais, usando uma analogia simples: O Assistente (o cérebro) e as Ferramentas (as mãos e os olhos).

Aqui está a explicação simples, dividida por estratégias:

---

1. O Cérebro Aprende (Adaptação do Agente)

Nesta abordagem, nós mudamos o "cérebro" do assistente (o modelo de IA em si) para que ele fique mais esperto.

• A1: Aprendendo com o "Resultado da Ferramenta" (O Treinador Rigoroso)

  • A Analogia: Imagine um jogador de videogame que joga contra um computador. Se ele erra o tiro, o jogo diz "Tente de novo" imediatamente. Se ele acerta, ganha pontos.
  • Como funciona: O assistente usa uma ferramenta (como um compilador de código ou um buscador). Se a ferramenta diz "Isso funciona!" ou "Isso falhou", o assistente usa essa resposta imediata para se corrigir na hora.
  • Onde é bom: Em tarefas onde a resposta é clara e verificável, como "esse código funciona?" ou "essa fórmula matemática está correta?". É um treino de precisão.

• A2: Aprendendo com o "Resultado Final" (O Chefe Exigente)

  • A Analogia: Imagine um chef que prepara um prato inteiro. Ele só recebe a nota do cliente quando o prato é servido. O cliente não diz "a cebola estava crua", ele diz apenas "o prato estava ruim". O chef precisa descobrir sozinho onde errou.
  • Como funciona: O assistente usa ferramentas, mas só recebe feedback no final da tarefa. "Você resolveu o problema do usuário?" Se sim, ótimo. Se não, ele tenta de novo.
  • Onde é bom: Em tarefas complexas onde não há uma resposta única certa, mas sim uma "boa solução", como escrever um romance ou planejar uma viagem inteira. É um treino de estratégia.

---

2. As Ferramentas Aprendem (Adaptação das Ferramentas)

Aqui, a ideia é: "Por que mudar o cérebro se podemos melhorar as ferramentas que ele usa?" O assistente (o cérebro) fica congelado (não mudamos ele), mas nós treinamos as ferramentas para serem melhores para ele.

• T1: Ferramentas "Prontas para Uso" (O Kit de Ferramentas Universal)

  • A Analogia: É como comprar uma furadeira profissional de uma loja. Ela já vem pronta, é ótima para qualquer pessoa usá-la, e você não precisa saber como ela foi feita.
  • Como funciona: Usamos ferramentas que já foram treinadas por especialistas e que qualquer assistente pode usar. Exemplo: Um buscador de documentos super rápido que qualquer IA pode chamar.
  • Vantagem: É barato e flexível. Você pode trocar a furadeira por uma serra sem precisar reeducar o carpinteiro.

• T2: Ferramentas "Personalizadas" (O Assistente Pessoal da Ferramenta)

  • A Analogia: Imagine que você tem um chefe muito específico. Em vez de comprar uma furadeira genérica, você contrata um mecânico que estuda exatamente como seu chefe pensa e cria uma furadeira que se encaixa perfeitamente na mão dele.
  • Como funciona: O assistente (que é fixo e não muda) "ensina" uma ferramenta menor (um sub-agente) a funcionar melhor para ele. A ferramenta aprende a entregar exatamente o que o assistente precisa para pensar melhor.
  • Vantagem: É super eficiente! Você não precisa treinar o cérebro gigante de novo; apenas treina a "mão" pequena para ser perfeita para aquele cérebro específico. É como dar óculos personalizados para alguém que já é inteligente.

---

3. A Memória e as Habilidades (O "Gancho" da Adaptação)

O papel também fala sobre Memória e Habilidades.

• Memória: Em vez de o assistente tentar lembrar de tudo na cabeça (o que é difícil e caro), ele usa um "caderno externo" (memória) que é atualizado automaticamente. Se o caderno é atualizado pelo próprio assistente, é como a estratégia T2.
• Habilidades: São como "atalhos" que o assistente aprendeu. Se ele aprendeu a fazer um tipo de código, ele salva esse código como uma "habilidade" para usar de novo. Isso pode ser uma ferramenta pronta (T1) ou algo que ele aprendeu e guardou (T2).

---

Resumo da Ópera: Qual estratégia usar?

Os autores criaram um guia para ajudar a escolher:

1. Se você quer precisão cirúrgica em tarefas lógicas (como código ou matemática): Use A1. O assistente aprende com o erro imediato da ferramenta.
2. Se você quer criatividade e estratégia em tarefas abertas: Use A2. O assistente aprende com o resultado final.
3. Se você quer economizar dinheiro e tempo: Use T1 ou T2. Em vez de treinar o cérebro gigante (que é caro), você apenas melhora as ferramentas.
   • T2 é especialmente interessante porque é muito mais eficiente: você treina um "pequeno ajudante" para servir o "grande chefe", e isso funciona muito bem com poucos dados.

Conclusão Criativa

Pense no futuro da IA não como um único robô superpoderoso que sabe tudo, mas como um orquestra.

• O Maestro é o Agente (o cérebro).
• Os Instrumentos são as Ferramentas.

O segredo não é apenas treinar o Maestro para ser mais talentoso (o que é caro e difícil), mas sim afinar os instrumentos para que toquem perfeitamente juntos. Às vezes, você troca o violino por um melhor (T1), às vezes você ensina o violino a tocar exatamente no estilo do Maestro (T2), e às vezes você treina o Maestro para ouvir melhor (A1/A2).

Este artigo é o manual de instruções para saber quando afinar o instrumento e quando treinar o maestro, garantindo que a orquestra toque a música perfeita para resolver os problemas do mundo real.

Resumo técnico

Resumo Técnico: Adaptação de IA Agêntica

1. O Problema

Os sistemas de IA agêntica, baseados em Grandes Modelos de Linguagem (LLMs), evoluíram de assistentes passivos para agentes autônomos capazes de planejar, usar ferramentas e gerenciar memória. No entanto, o campo atual de pesquisa está fragmentado, com abordagens desconexas para pós-treinamento, memória e habilidades (skills).

Os sistemas existentes enfrentam limitações críticas:

• Uso de ferramentas pouco confiável.
• Planejamento de longo horizonte superficial.
• Lacunas no raciocínio específico de domínio.
• Baixa generalização em ambientes sem experiência prévia.
• A necessidade de adaptação contínua para cenários de implantação específicos, que o pré-treinamento padrão não resolve.

O artigo identifica a falta de um quadro unificado para entender como adaptar agentes (o modelo central) e suas ferramentas (retrievers, planners, memória) de forma eficiente, segura e escalável.

2. Metodologia e Quadro Conceitual

Os autores propõem uma taxonomia unificada de quatro paradigmas de adaptação, organizada em duas dimensões principais:

1. O que é adaptado: O Agente (modelo central) ou a Ferramenta (componentes externos).
2. Como o sinal de adaptação é obtido: Feedback da execução da ferramenta ou avaliação da saída do agente.

Isso resulta em quatro paradigmas distintos (ilustrados na Figura 1 do artigo):

A. Adaptação do Agente (Agent Adaptation)

Foca em modificar os parâmetros internos do modelo de linguagem.

• A1: Adaptação do Agente Sinalizada pela Execução da Ferramenta (Tool Execution Signaled).
  • Mecanismo: O agente é otimizado com base em resultados verificáveis gerados por ferramentas externas (ex: sucesso de execução de código, pontuação de recuperação de documentos, verificação de provas formais).
  • Exemplos: DeepRetrieval, DeepSeek-R1 (para código), AlphaProof.
  • Vantagem: Sinais densos, causais e verificáveis.
  • Desvantagem: Foca na mecânica da ferramenta, podendo perder a estratégia global; requer ambientes de execução seguros.
• A2: Adaptação do Agente Sinalizada pela Saída do Agente (Agent Output Signaled).
  • Mecanismo: O agente é otimizado com base na qualidade de sua resposta final ou cadeia de raciocínio, independentemente de como as ferramentas foram usadas.
  • Exemplos: Search-R1, ReSearch, DeepSeek-R1 (para raciocínio geral).
  • Vantagem: Otimiza a estratégia global e a coordenação de ferramentas.
  • Desvantagem: Sinais esparsos (apenas no final do episódio), dificultando a atribuição de crédito (credit assignment) e exigindo mais dados.

B. Adaptação da Ferramenta (Tool Adaptation)

Foca em adaptar componentes externos enquanto o agente principal permanece congelado (frozen).

• T1: Adaptação de Ferramenta Agnóstica ao Agente (Agent-Agnostic).
  • Mecanismo: Ferramentas são treinadas independentemente de qualquer agente específico e servem como módulos plug-and-play.
  • Exemplos: Retrieveres densos pré-treinados (ex: DPR, ColBERT), modelos de visão (ex: SAM), ou agentes especializados que foram "graduados" (treinados via A1/A2 e depois congelados para uso como ferramenta).
  • Vantagem: Alta reutilização e modularidade.
• T2: Adaptação de Ferramenta Supervisionada pelo Agente (Agent-Supervised).
  • Mecanismo: Ferramentas são adaptadas usando sinais derivados das saídas de um agente congelado. O agente atua como supervisor, e a ferramenta aprende a servir melhor às necessidades desse agente específico.
  • Exemplos: s3 (subagente de busca treinado via feedback de um LLM congelado), Mem-α (gestão de memória), AgentFlow (planejador).
  • Vantagem: Alta eficiência de dados (treina apenas módulos pequenos) e evita esquecimento catastrófico no agente principal.

3. Principais Contribuições

1. Quadro Unificado 2x2: A decomposição da adaptação agêntica nos quatro paradigmas (A1, A2, T1, T2), fornecendo uma linguagem comum para comparar métodos que antes eram estudados isoladamente.
2. Síntese Empírica e Trade-offs: Uma análise comparativa detalhada que revela que:
   • Métodos T2 podem alcançar desempenho comparável ao A2 com ordens de magnitude menos dados (ex: s3 vs. Search-R1), pois aprendem apenas habilidades procedimentais, enquanto o agente congelado já possui o conhecimento de domínio.
   • Métodos A1 são superiores em domínios com feedback determinístico denso (código, provas), enquanto A2 é necessário para tarefas holísticas complexas.
3. Memória e Habilidades como Adaptação: A reclassificação de sistemas de memória (buffers episódicos, bancos de dados reflexivos) e bibliotecas de habilidades (skills) como mecanismos de adaptação, majoritariamente enquadrados no paradigma T2.
4. Framework de Avaliação Multidimensional: Proposta de ir além de métricas de precisão estática, incluindo:
   • Sinais de adaptação (executável vs. holístico).
   • Dinâmicas de adaptação (eficiência de amostra, estabilidade, esquecimento).
   • Requisitos sistêmicos (custo, segurança, alinhamento).
5. Mapeamento de Domínios: Análise de como diferentes áreas (Pesquisa Profunda, Desenvolvimento de Software, Uso de Computador, Descoberta de Medicamentos) favorecem paradigmas específicos baseados na disponibilidade de feedback verificável.

4. Resultados e Descobertas Chave

• Eficiência de Dados: A adaptação de ferramentas supervisionada pelo agente (T2) é significativamente mais eficiente em termos de dados do que o ajuste fino completo do agente (A2). Em tarefas de recuperação de informação, o T2 alcançou desempenho similar com ~70x menos exemplos de treinamento.
• Ciclo de "Graduação" (Graduation Lifecycle): Agentes treinados via A1 ou A2 podem ser congelados e reutilizados como ferramentas T1 (subagentes), enriquecendo o ecossistema de ferramentas sem necessidade de re-treinamento do agente principal.
• Densidade do Sinal: A eficácia do paradigma depende criticamente da densidade do sinal de recompensa. Domínios com feedback denso (execução de código, provas formais) favorecem A1; domínios com feedback esparsos favorecem A2 ou T2.
• Riscos de Segurança: A adaptação on-policy (A1) e a otimização de ferramentas (T2) introduzem novos riscos, como exploração insegura (unsafe exploration) e "gaming" de recompensas (reward hacking), onde o agente ou a ferramenta aprende a maximizar a métrica sem resolver a tarefa real.
• Avaliação Atual: A maioria dos benchmarks atuais é enviesada para o paradigma A2 (avaliação de saída final), negligenciando a avaliação de componentes individuais (T1/T2) e as dinâmicas de adaptação contínua.

5. Significado e Impacto

Este trabalho estabelece uma base teórica e prática fundamental para o futuro da IA Agêntica:

• Mudança de Paradigma: Sugere uma transição de modelos monolíticos (tudo adaptado no agente) para arquiteturas modulares e federadas, onde um "cérebro" congelado (LLM base) é orquestrado por um ecossistema de ferramentas adaptáveis e especializadas (T1/T2).
• Direcionamento de Pesquisa: Identifica lacunas críticas, como a necessidade de co-adaptação (otimização conjunta de agente e ferramenta), aprendizado contínuo (para evitar esquecimento em distribuições não estacionárias) e adaptação segura.
• Guia Prático: Oferece diretrizes para pesquisadores e engenheiros escolherem a estratégia de adaptação correta com base no custo computacional, na disponibilidade de dados, na natureza do feedback (verificável vs. subjetivo) e nos requisitos de modularidade.

Em resumo, o artigo argumenta que o futuro da IA Agêntica robusta e eficiente não reside apenas em modelos maiores, mas na orquestração inteligente de um núcleo de raciocínio estável com um ecossistema periférico de ferramentas e memórias em constante evolução.