Resumo Técnico: PATH-Bench: Avaliação de Dependência de Caminho para Agentes de Aprendizado Contínuo

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) de aprendizado contínuo (lifelong) visam acumular e preservar experiências úteis ao longo do tempo, tipicamente mantendo um estado de aprendizado externo (memórias ou habilidades) enquanto mantêm o modelo principal congelado para evitar o esquecimento catastrófico e altos custos computacionais. No entanto, os benchmarks existentes para aprendizado contínuo negligenciam amplamente a dependência de caminho (path dependence): o fenômeno onde a sequência específica e o histórico de tarefas anteriores moldam o que um agente transfere e retém.

As avaliações atuais frequentemente dependem de sequências de tarefas fixas ou aleatórias, falhando em controlar como a experiência acumulada — seja ela útil, enganosa ou conflitante — interage com tarefas subsequentes. Estudos preliminares no LifelongAgentBench indicam que diferentes caminhos de tarefas sobre o mesmo conjunto de tarefas podem alterar o ranking relativo dos agentes. Além disso, as métricas padrão de aprendizado contínuo (transferência direta, transferência reversa, esquecimento) são computacionalmente caras para aplicar em escala a agentes de LLM, que exigem raciocínio de múltiplos passos e interação com o ambiente. Há uma necessidade crítica de um framework que rastreie eficientemente como a dependência do caminho da tarefa molda o desempenho contínuo dos agentes, distinguindo entre a utilidade da representação da experiência e a estrutura do caminho de aprendizado.

Metodologia: PATH-Bench

Os autores introduzem o PATH-Bench, um benchmark projetado para avaliar agentes de aprendizado contínuo sob histórias controladas e dependentes de caminho. O framework opera através de quatro etapas principais:

1. Construção do Pool de Tarefas

O benchmark utiliza dois conjuntos de dados distintos para cobrir diferentes estruturas de interação:

• BigCodeBench: Um benchmark de geração de código de turno único (single-turn).
• WildToolBench: Um benchmark de uso de ferramentas de múltiplos turnos baseado em comportamento real de usuários.
  As tarefas são filtradas com base no "espaço de manobra" (headroom) — garantindo que não sejam nem muito fáceis nem muito difíceis para o LLM base — para garantir um potencial de melhoria mensurável.

2. Estimativa de Transferência em Contexto

Para evitar o custo computacional de simular a evolução completa do agente para cada par de tarefas, o PATH-Bench estima relações direcionadas de tarefas usando aprendizado em contexto (ICL) de múltiplos modelos.

• Para cada par ordenado de tarefas $(t_i, t_j)$, um LLM congelado é instruído com $t_i$ como uma demonstração de um único passo (one-shot) para resolver $t_j$.
• O ganho de transferência $M_{i,j}$ é calculado como a diferença de desempenho entre a performance condicionada pela demonstração e a performance zero-shot.
• Três modelos (DeepSeek-V4-Flash, GPT-5.4-mini, GLM-5.0) votam no sinal do ganho (Positivo, Neutro, Negativo). Um consenso (pelo menos dois modelos) determina a matriz de relação final $V$, excluindo pares com votos mistos.

3. Amostragem de Sequência Centrada em Sonda

Em vez de avaliar conjuntos completos de tarefas repetidamente, o PATH-Bench constrói sequências centradas em uma tarefa de sonda específica ($T_{probe}$).

• Construção do Histórico: O amostrador seleciona uma tarefa de sonda e constrói um histórico interveniente de tarefas baseado na matriz de transferência $V$. Os históricos são configurados como dominantes positivos (majoritariamente tarefas úteis) ou dominantes negativos (majoritariamente tarefas de interferência).
• Protocolo: A sequência começa com uma sonda de inicialização a frio (cold-start), seguida por um bloco de aquecimento (warm-up), e então tarefas intervenientes intercaladas com a reaparição da sonda em intervalos fixos. Apenas as tarefas intervenientes atualizam o estado externo do agente; as reaparições da sonda servem exclusivamente como pontos de avaliação.

4. Métricas de Avaliação

O framework quantifica o desempenho usando quatro métricas derivadas da trajetória da sonda:

• Desempenho Médio (AP): Capacidade geral de resolução de tarefas ao longo de toda a sequência.
• Transferência Direta (FWT): Melhoria das ocorrências posteriores da sonda em relação à linha de base de inicialização a frio.
• Transferência Reversa (BWT): O efeito retroativo benéfico da experiência posterior na sonda (o quanto as sondas subsequentes sobem acima da referência de aquecimento).
• Esquecimento (FGT): A degradação da capacidade da sonda em relação à referência pós-aquecimento.

Principais Contribuições

1. O Framework PATH-Bench

O PATH-Bench é apresentado como o primeiro benchmark a rastrear transferência e retenção em agentes de LLM sob histórias controladas. Ele substitui a enumeração exaustiva de históricos por amostragem guiada por relações e substitui a reavaliação de conjuntos completos pelo rastreamento longitudinal de sondas.

2. Estudo Empírico de Oito Agentes

Os autores avaliaram oito agentes representativos em três categorias:

• Agentes RAG: BGE-M3 RAG, HippoRAG-v2.
• Agentes de Memória Agêntica: Clin, AWM, SimpleMem, MemRL.
• Agentes de Habilidade (Skill Agents): AutoSkill, SkillClaw.

Principais Descobertas:

• A Utilidade da Experiência é Dependente de Contexto: O acúmulo de experiência não melhora o desempenho universalmente. Sua utilidade depende de se a representação da experiência corresponde à estrutura de interação da tarefa. Para tarefas de código de turno único, a experiência concreta e específica da tarefa (ex: AutoSkill) teve o melhor desempenho. Para tarefas de ferramentas de múltiplos turnos, abstrações compactas (ex: Clin) superaram traços concretos.
• Dissociação de Transferência e Retenção: Uma forte transferência direta não garante retenção. Agentes podem exibir alta FWT enquanto sofrem simultaneamente de esquecimento significativo (FGT), particularmente quando a representação da experiência é incompatível com a estrutura da tarefa.
• Dinâmicas Dependentes de Caminho: A experiência posterior pode remodelar os ganhos adquiridos anteriormente. Mesmo em históricos dominantes positivos, o desempenho frequentemente erode ao longo do tempo. Os agentes são altamente suscetíveis a efeitos de recência, onde o intervalo de histórico mais recente domina o estado do agente, muitas vezes sobrepondo-se ao histórico cumulativo.

3. Uso Seletivo de Experiência (SEU)

Guiados pela descoberta de que a injeção indiscriminada de experiência recuperada causa interferência, os autores propõem o Uso Seletivo de Experiência (SEU).

• Mecanismo: O SEU atua como um controle entre o módulo de recuperação e o modelo de inferência. Ele avalia os itens recuperados contra a tarefa atual e decide:
  1. Preservar: Admitir como detalhe concreto se for diretamente reutilizável.
  2. Abstrair: Admitir como orientação compacta se apenas o padrão de alto nível for transferível.
  3. Ignorar: Filtrar potenciais interferências.
• Resultados: O SEU foi avaliado em um subconjunto de 20 sequências extraídas das 50 sequências usadas nos experimentos principais. Ele consistentemente reduziu o esquecimento em todos os agentes, conjuntos de dados e históricos de transferência. Também melhorou a transferência direta na maioria das configurações, demonstrando que regular a influência da experiência acumulada pelo caminho é mais crítico do que simplesmente acumular mais dados.

Significância e Alegações

O artigo afirma que o PATH-Bench fornece um framework de avaliação controlado que revela as limitações nos designs atuais de agentes de aprendizado contínuo, especificamente a falta de seletividade no uso da experiência. Os autores argumentam que o gargalo para agentes de aprendizado contínuo não é a capacidade de armazenar experiência, mas a habilidade de julgar sua utilidade para a tarefa atual.

Ao demonstrar que a utilidade da experiência depende conjuntamente da representação e da estrutura da tarefa, e que a experiência posterior pode remodelar ganhos anteriores, o trabalho oferece orientações acionáveis para o design de agentes mais robustos. O controle SEU proposto serve como uma prova de conceito de que filtrar a experiência no tempo de inferência pode desacoplar a transferência do esquecimento, levando a um aprendizado contínuo mais estável.

Os autores reconhecem limitações, observando que o benchmark atual cobre apenas dois domínios de tarefas (geração de código e uso de ferramentas) e utiliza um único modelo de backbone, identificando a extensão para domínios mais amplos e modelos diversos como uma direção para trabalhos futuros.