Resumo Técnico: Degradação e Preservação de Capacidades na Adaptação de Agentes LLM ao Longo da Vida

Definição do Problema: Erosão de Capacidades em Agentes Autoevolutivos

Frameworks recentes permitiram que agentes de Modelos de Linguagem de Grande Escala (LLM) refinem autonomamente seus fluxos de raciocínio, acumulem habilidades reutilizáveis, atualizem parâmetros subjacentes do modelo e mantenham memória persistente. Embora esses sistemas prometam um futuro de agentes que expandem continuamente sua competência, este artigo identifica uma falha fundamental: erosão de capacidades sob autoevolução.

Os autores demonstram que a autoevolução é frequentemente não monotônica. Quando um agente se adapta a uma nova distribuição de tarefas ($Y$), o processo de otimização para $Y$ frequentemente degrada capacidades previamente adquiridas em distribuições de tarefas anteriores ($X$). Esse fenômeno manifesta-se estruturalmente em três dimensões:

1. Decaimento Retrospectivo de Capacidades: O desempenho em tarefas anteriormente dominadas cai após o ajuste fino ou atualização para novas tarefas.
2. Deriva de Política Comportamental: Os fluxos de trabalho tornam-se desnecessariamente complexos e inchados, introduzindo ruído e etapas de execução que não estavam presentes em comportamentos anteriores bem-sucedidos.
3. Erosão da Generalização: A adaptação estreita o espaço de raciocínio efetivo, interferindo em habilidades previamente adquiridas ou em padrões de recuperação de memória.

O artigo argumenta que isso não é meramente uma falha de algoritmos específicos, mas uma consequência estrutural da auto-modificação contínua e desrestrita. Seja o repositório mutável um grafo de fluxo de trabalho, um banco de habilidades, parâmetros do modelo ou um armazenamento de memória, otimizar exclusivamente para a distribuição de tarefas atual introduz interferência destrutiva, sobrescrevendo ou degradando as estruturas que sustentavam comportamentos bem-sucedidos em tarefas anteriores.

Metodologia: Evolução com Preservação de Capacidades (CPE)

Para abordar isso, os autores propõem a Evolução com Preservação de Capacidades (CPE), um princípio geral de estabilização. A CPE modifica o objetivo padrão de autoevolução para incluir um regularizador explícito de retenção.

Framework Teórico

Os autores modelam a autoevolução como um processo sequencial onde um agente atualiza um estado de capacidade $R_t$ para minimizar a perda em uma nova distribuição $D_t$. A evolução ingênua minimiza apenas a perda atual $L_t(R)$. A CPE, em vez disso, resolve:
$$R^{CPE}_t \in \arg \min_{R \in \mathcal{R}} L_t(R) + \lambda \Omega_t(R, R_{t-1})$$
onde $\Omega_t$ mede o desvio das estruturas que suportam capacidades anteriores, e $\lambda$ controla o trade-off estabilidade-plasticidade.

A análise local (Proposições 1 e 2) mostra que atualizações ingênuas aumentam o risco retido sempre que a direção da atualização se sobrepõe a direções de alta curvatura (sensibilidade) para tarefas anteriores. A CPE suprime isso penalizando atualizações ao longo dessas direções sensíveis, efetivamente restringindo o agente a mover-se em direção à nova distribuição sem destruir o "suporte de capacidade" exigido pelas tarefas antigas.

Instanciações Específicas por Dimensão

O artigo implementa a CPE em quatro canais de evolução distintos, cada um com um regularizador adaptado:

1. Evolução de Fluxo de Trabalho:
   • Repositório: Grafos de fluxo de trabalho executáveis/programas de prompt.
   • Mecanismo: O regularizador $\Omega_{wf}$ desencoraja desvios de "assinaturas comportamentais de referência" extraídas de um fluxo de trabalho inicial. Ele previne o acúmulo de etapas de validação excessivamente complexas e desvios estruturais que degradam o desempenho em tarefas simples.
2. Evolução de Habilidades/Ferramentas:
   • Repositório: Um banco de habilidades de capacidade limitada com modelos procedimentais.
   • Mecanismo: O regularizador $\Omega_{sk}$ previne a expulsão de habilidades úteis devido a limites de capacidade. Ele emprega consolidação com preservação de capacidades, mesclando habilidades semanticamente relacionadas e protegendo entradas históricas de alta utilidade da exclusão direta quando novas habilidades são admitidas.
3. Evolução de Modelo:
   • Repositório: Parâmetros do modelo treináveis (por exemplo, adaptadores LoRA).
   • Mecanismo: O regularizador $\Omega_{md}$ utiliza uma penalidade no estilo de Consolidação de Pesos Elásticos (EWC). Ele estima a importância dos parâmetros (via informação de Fisher) para domínios anteriores e penaliza movimentos ao longo dessas direções, permitindo adaptação apenas em direções de baixa importância.
4. Evolução de Memória:
   • Repositório: Bancos de memória externa persistentes.
   • Mecanismo: O regularizador $\Omega_{mem}$ utiliza preservação baseada em evidências. Memórias que acumulam suporte auto-verificado repetido são tratadas como estáveis e protegidas contra expulsão ou reescrita destrutiva, enquanto entradas de baixa evidência permanecem adaptáveis.

Resultados Principais

Os autores avaliam a CPE contra a autoevolução desrestrita ("Vanilla") em quatro benchmarks principais e múltiplos backbones de modelo (incluindo GPT-5.1, GPT-5 nano, GPT-4o mini, Qwen3-0.6B e Llama3.2-3B).

• Evolução de Fluxo de Trabalho (EvoAgentX em $\tau^2$-Bench):
  • A evolução Vanilla levou a fluxos de trabalho inchados e a uma queda no desempenho de tarefas simples (por exemplo, de 57,1% para 41,8% em tarefas de Companhia Aérea com GPT-5.1).
  • A CPE preservou uma estrutura de execução mais compacta, melhorando o desempenho retido em tarefas simples para 52,8%, enquanto mantinha ou melhorava a adaptação a tarefas complexas.
• Evolução de Habilidades (MemSkill em MATH):
  • A evolução Vanilla sobrescreu progressivamente habilidades anteriores (por exemplo, Geometria) à medida que a distribuição mudava para Teoria dos Números, causando degradação contínua nos conjuntos de avaliação de Álgebra e Geometria.
  • A CPE manteve uma utilização estável de habilidades anteriores, resultando em maior precisão retida em todos os domínios sequenciais (por exemplo, a precisão em Geometria melhorou de 58,9% para 59,3% com GPT-5 nano).
• Evolução de Modelo (STaR em MedMCQA):
  • O auto-treinamento Vanilla exibiu esquecimento catastrófico em domínios médicos anteriores (Anatomia, Bioquímica) à medida que o modelo se adaptava a novos.
  • A CPE melhorou consistentemente a precisão retida em todos os domínios e tamanhos de modelo (por exemplo, a precisão em Anatomia no Qwen3-0.6B subiu de 29,4% para 30,5%).
• Evolução de Memória (Lista de Truques Dinâmica):
  • Atualizações de memória desrestritas degradaram a retenção de tarefas antigas em uma média de 2,3%.
  • A CPE reduziu essa lacuna de retenção para 0,7%, estabilizando padrões de recuperação para domínios previamente aprendidos sem impedir a adaptação a novas tarefas.

Significado e Alegações

O artigo alega ser o primeiro a identificar sistematicamente a erosão de capacidades como um modo de falha estrutural em todas as principais dimensões de agentes autoevolutivos (fluxo de trabalho, habilidade, modelo e memória).

• Perspectiva Unificada: Os autores fornecem uma perspectiva unificada de interferência, mostrando que, apesar de implementações heterogêneas, todas as quatro dimensões sofrem do mesmo mecanismo: a otimização para novas tarefas sobrescreve estruturas que sustentam tarefas antigas.
• Princípio de Estabilização: O artigo postula que a autoevolução de longo prazo estável requer não apenas a aquisição de novas capacidades, mas a preservação explícita das anteriormente aprendidas. A CPE é apresentada como um princípio de design geral para alcançar isso.
• Escopo Moderado: Os autores reconhecem que seus mecanismos de preservação atuais são leves e específicos de domínio. Eles enquadram o trabalho como uma verificação do fenômeno de erosão e uma demonstração de que a regularização explícita pode mitigá-lo, em vez de uma solução completa para todos os desafios futuros de agentes autônomos. Eles observam que agentes do mundo real podem enfrentar trajetórias mais complexas e abertas do que as mudanças sequenciais controladas testadas aqui.

Em conclusão, o artigo argumenta que, sem restrições explícitas de preservação, agentes autoevolutivos inevitavelmente se afastarão de comportamentos confiáveis, e que a Evolução com Preservação de Capacidades é um componente necessário para construir agentes capazes de aprendizado genuíno ao longo da vida.