Resumo Técnico: Evolução de Contexto Unificada para Agentes de LLM

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) destacam-se na resolução de tarefas interativas de múltiplas etapas ao intercalar o raciocínio com o feedback do ambiente. No entanto, uma limitação crítica persiste: cada episódio de tarefa geralmente começa com um contexto fixo (instruções do sistema, demonstrações de poucos disparos/few-shot), tornando quaisquer estratégias ou insights descobertos durante um episódio específico efêmeros. Assim que a tarefa é concluída, essas descobertas são perdidas.

As abordagens existentes para este problema de "esquecimento" dividem-se em duas categorias, ambas com desvantagens significativas:

1. Aprendizagem por Reforço (RL): Métodos que atualizam os pesos do modelo via gradiente descendente. Embora eficazes, exigem acesso aos parâmetros do modelo e infraestrutura computacional substancial, tornando-os inaplicáveis a LLMs de código fechado.
2. Adaptação Intra-Tarefa: Métodos como autocrítica verbal (Reflexion) ou refinamento iterativo (Self-Refine) que melhoram o desempenho durante uma única tarefa, mas descartam as melhorias assim que a tarefa termina.
3. Bibliotecas de Conhecimento Trans-Tarefa: Sistemas que acumulam conhecimento através de tarefas, mas que frequentemente armazenam o conhecimento em pools não tipados (misturando todos os insights) ou focam em apenas uma forma de conhecimento (por exemplo, apenas habilidades ou apenas fluxos de trabalho). Além disso, esses sistemas costumam depender de uma avaliação de disparo único (one-shot) para julgar a qualidade do conhecimento, em vez de rastrear a utilidade através do uso repetido.

O desafio central abordado é como manter uma biblioteca de conhecimento persistente e evolutiva que distinga entre diferentes tipos funcionais de conhecimento, rastreie a qualidade através do uso e aloque dinamicamente os recursos de geração para as áreas mais fracas da biblioteca, tudo isso sem atualizar os pesos do LLM subjacente.

Metodologia: Evolução de Contexto Unificada (UCE)

Os autores propõem a Evolução de Contexto Unificada (UCE), um framework livre de gradiente onde o próprio contexto do agente torna-se o locus do aprendizado. A UCE externaliza a experiência do agente em uma biblioteca evolutiva de Unidades de Contexto Evoluíveis (ECUs).

1. Unidades de Contexto Evoluíveis (ECUs)

A biblioteca decompõe a experiência em quatro entradas de conhecimento funcionalmente complementares e tipadas:

• Memória (Memory): Afirmações fatuais sobre mecanismos do ambiente descobertos via tentativa e erro dentro de uma única instância de tarefa (ex: "Uma pia pode limpar itens sem alternar uma torneira").
• Estratégia (Strategy): Regras de decisão condicional (SE-ENTÃO) para pontos de ramificação dentro de um tipo de tarefa específico (ex: "Se 'colocar' falhar, abra o receptáculo e tente novamente").
• Fluxo de Trabalho (Workflow): Sequências de execução canônicas generalizadas para um tipo de tarefa específico (ex: "Encontrar alvo $\to$ Transformar $\to$ Colocar no receptáculo").
• Habilidade (Skill): Suboperações reutilizáveis de múltiplas etapas aplicáveis a diferentes tipos de tarefas (ex: "Procurar receptáculos, abrir recipientes, pegar alvo").

Cada ECU é uma tupla $(z_e, \tau_e, w_e, c_e, f_e)$, onde $z_e$ é o tipo, $\tau_e$ é o tipo de tarefa aplicável, $w_e$ é uma condição de recuperação, $c_e$ é o conteúdo injetado e $f_e$ é uma pontuação de aptidão (fitness score).

2. Ciclo de Vida e Recuperação

O framework opera em ciclos de evolução, cada um consistindo em cinco fases:

• Avaliar (Evaluate): O agente executa em um conjunto de avaliação mantido fora (held-out) usando a biblioteca atual. As taxas de sucesso são registradas, mas nenhuma pontuação de aptidão é atualizada para evitar vazamento de dados.
• Coletar (Collect): O agente executa em um conjunto de coleta disjunto. As trajetórias são armazenadas e as pontuações de aptidão são atualizadas com base nos resultados.
• Agendar (Schedule - Knowledge Yield Scheduling - KYS): Um módulo analisa o estado da biblioteca (lacunas de cobertura, distribuições de aptidão) para alocar um orçamento de geração ($B$) entre os quatro tipos de ECU. Ele prioriza os tipos onde a biblioteca é mais fraca (ex: tipos de tarefas não cobertos ou baixa aptidão média).
• Gerar (Generate): Geradores específicos de tipo destilam ECUs candidatas a partir das trajetórias coletadas. Crucialmente, os geradores usam um teste de embaralhamento (reshuffle test) para filtrar observações específicas de instâncias (ex: "Batata está na Bancada 1") em favor de mecanismos generalizáveis (ex: "Geladeira funciona quando fechada"). Eles também utilizam o feedback de qualidade de ECUs de alta e baixa aptidão para guiar a geração.
• Limpeza (Cleanup): ECUs de baixo valor ou redundantes são podadas. Uma pontuação de aptidão com suavização de Laplace ($f_e = \frac{s_e + 1}{u_e + 2}$) rastreia a contribuição empírica, onde $s_e$ é o crédito de resultado cumulativo e $u_e$ é a contagem de uso.

A Recuperação (Retrieval) ocorre no momento da decisão. Um recuperador pontua as ECUs com base na similaridade semântica com a descrição da tarefa, um aumento por correspondência de tipo de tarefa e a pontuação de aptidão da ECU. Os $K$ melhores ECUs por tipo são injetados em seções dedicadas do prompt do sistema do agente.

Principais Contribuições

1. Representação de Conhecimento Tipado: A introdução de ECUs, que decompõem a experiência do agente em quatro tipos funcionalmente complementares (Memória, Estratégia, Fluxo de Trabalho, Habilidade), cada um com condições de geração e limites de recuperação independentes.
2. Framework de Evolução de Contexto Unificada: Um sistema completo de gestão de ciclo de vida apresentando o Agendamento de Rendimento de Conhecimento (KYS) para alocar dinamicamente recursos de geração e uma pontuação de aptidão baseada no uso para rastrear a qualidade através da aplicação repetida, em vez de uma extração de disparo único.
3. Validação Empírica: Demonstração de que a UCE melhora significativamente o desempenho do agente em benchmarks interativos e que a biblioteca de conhecimento acumulada é transferível entre diferentes backbones de raciocínio (ex: ReAct, Plan-and-Act, NoThinking) sem retreinar os modelos.

Resultados Experimentais

O framework foi avaliado em dois benchmarks interativos baseados em texto: ALFWorld (tarefas domésticas) e WebShop (compras online).

• Ganhos de Desempenho:
  • ALFWorld: A UCE aumentou a taxa de sucesso geral de 75,4% (baseline ReAct) para 96,3% em seu pico. Melhorias significativas foram observadas em tipos de tarefas mais fracos, como "Olhar" (50,0% $\to$ 100,0%).
  • WebShop: A UCE melhorou a pontuação média da tarefa de 45,1% para 61,3% e a taxa de sucesso de compra de 30,0% para 42,0%.
• Transferibilidade: A biblioteca de ECUs gerada pela UCE transferiu-se com sucesso para backbones de atores alternativos. Por exemplo, aplicar a biblioteca UCE ao backbone "Plan-and-Act" elevou sua taxa de sucesso de 73,1% para 97,8%.
• Estudos de Ablação:
  • No ALFWorld, as ECUs de Fluxo de Trabalho (Workflow) sozinhas foram responsáveis pela maioria dos ganhos, sugerindo que esqueletos procedimentais são altamente eficazes para este domínio.
  • No WebShop, nenhum tipo de ECU sozinho igualou o desempenho da biblioteca completa. A tarefa de compras exigiu uma combinação de Fluxo de Trabalho (orientação procedimental), Estratégia (recuperação de armadilhas de navegação) e Memória (fatos sobre mecanismos de página), destacando a necessidade da abordagem de múltiplos tipos.
• Significância Estatística: As melhorias sobre o baseline ReAct foram estatisticamente significativas ($p < 0,05$) em ambos os benchmarks.

Significância e Alegações

O artigo afirma que a UCE oferece uma alternativa prática e livre de gradiente ao aprendizado por reforço para melhorar agentes de LLM, particularmente para modelos de código fechado onde atualizações de peso são impossíveis. Ao tratar o contexto como uma entidade aprendível e evolutiva, a UCE preenche a lacuna entre a execução de tarefas isoladas e o aprendizado persistente.

Os autores enfatizam que a capacidade do framework de distinguir tipos de conhecimento e rastrear a qualidade através do uso aborda limitações específicas de sistemas de conhecimento trans-tarefa anteriores, que frequentemente tratam todos os insights como iguais ou falham em adaptar recursos de geração com base na maturidade da biblioteca. Os resultados sugerem que, para tarefas interativas, o "o que saber" (contexto recuperado) é tão crítico quanto o "como agir" (backbone de raciocínio), e que uma biblioteca estruturada e evolutiva pode efetivamente capturar e reutilizar o "como saber" derivado da experiência.

O artigo permanece modesto quanto às implicações futuras, observando que os atuais tipos de ECU são desenhados à mão e que a escalabilidade do framework para conjuntos de tarefas maiores ou espaços de ação contínuos (ex: AndroidWorld) permanece uma questão em aberto. Também reconhece que a avaliação atual depende de pares de modelos específicos e espaços de ação discretos, deixando o desmembramento do design do framework versus a capacidade do gerador como um assunto para investigações futuras.