Resumo Técnico: AGORA – Retenção de Observação-Ação Fundamentada em Adaptador para Compressão de Prompt sem Inferência em Agentes LLM

1. Definição do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) acumulam longas trajetórias de ações e observações à medida que interagem com ambientes. À medida que os horizontes de tarefas se estendem (por exemplo, excedendo 100 mil tokens no passo 30 no WebShop), comprimir esse contexto torna-se uma necessidade prática. No entanto, o artigo argumenta que as técnicas padrão de compressão de prompt, projetadas para Modelos de Linguagem (LMs) gerais de turno único, são estruturalmente inadequadas para agentes LLM.

A questão central identificada é a destruição da gramática de ação. Em trajetórias de agentes, tokens que carregam semântica crítica de ação (identificadores, colchetes, verbos de ação como search[...] ou click[...]) são frequentemente altamente previsíveis a partir do contexto de linguagem natural circundante. Consequentemente, compressores extrativos em nível de token — que ranqueiam tokens por autoinformação ou perplexidade e removem os de menor pontuação — deletam sistematicamente esses tokens semânticos. O prompt "comprimido" resultante contém inglês gramatical, mas comandos de agente agramaticais, fazendo com que o ambiente rejeite a ação e o agente falhe.

Os autores demonstram que, em 17 células experimentais abrangendo duas famílias independentes de métodos em nível de token (Seleção de Contexto e LLMLINGUA-2), cada configuração colapsa para uma recompensa média ($m_r$) de $\leq 0.05$, apesar de alcançar compressão de 1,3 a 13,3 vezes.

2. Metodologia: AGORA

Para abordar isso, os autores propõem o AGORA (Arquitetura de Retenção de Observação-Ação Fundamentada em Adaptador), um compressor em nível de passo sem inferência. Diferentemente dos métodos em nível de token, o AGORA opera na granularidade de pares completos (ação, observação), garantindo que a sintaxe da ação permaneça intacta.

O AGORA consiste em três componentes principais:

1. Analizador de Prompt Estrutural:

   • Segmenta a trajetória do agente em blocos tipados por função (Sistema, Tarefa, Passos Anteriores, Observação Atual, Resposta Pendente).
   • Agrupa interações passadas em pares de passos discretos $(a_i, o_i)$.
   • Essa análise é determinística e agnóstica à tarefa, dependendo de marcadores de função (por exemplo, [ASSISTANT], [USER]).

2. Piso de Manutenção Obrigatória (Piso de Qualidade Determinístico):

   • Retém incondicionalmente conteúdo crítico específico para preservar o formato e a recência:
     • Mensagem do sistema ($c_{sys}$) e instrução da tarefa ($c_{task}$).
     • Observação atual ($c_{now}$) e qualquer resposta pendente ($c_{pend}$).
     • Os $K_{recent}=2$ passos mais recentes.
   • Esta camada garante que o "invariante" necessário para o agente funcionar (por exemplo, conhecer o estado atual e a história recente) nunca seja perdido.

3. Classificador de Relevância de Passo Aprendido:

   • Um classificador RoBERTa-base com 125 milhões de parâmetros treinado para pontuar a relevância dos passos passados restantes em relação à observação atual.
   • Sinal de Treinamento: O modelo é treinado com rótulos de mudança de próxima ação contrafactual. Para cada passo passado $s_i$ e observação atual $c_{now}$, a espinha dorsal do agente é consultada $K=8$ vezes (metade com $s_i$, metade sem). O rótulo é a fração de vezes que a próxima ação canonicada muda. Isso cria um rótulo suave $y_i \in [0, 1]$ indicando a criticidade do passo.
   • Inferência: O classificador executa uma única passagem direta ($\sim 2$ms/passos) sem chamadas de API. Ele produz uma probabilidade $p_i$ de que a remoção do passo $s_i$ alteraria a próxima ação.

4. Preenchimento Ganancioso de Orçamento:

   • Dado um orçamento de caracteres alvo (por exemplo, 25% do comprimento original), o sistema preenche o espaço restante após o "Piso de Manutenção Obrigatória" selecionando gananciosamente passos não-piso em ordem decrescente de suas pontuações de relevância $p_i$.
   • Passos descartados são substituídos por um único marcador de elisão (por exemplo, [... N passo(s) omitido(s) ...]).

3. Contribuições Principais

O artigo faz três contribuições principais:

1. Identificação da Destruição da Gramática de Ação: Os autores diagnosticam e nomeiam formalmente o modo de falha estrutural onde compressores em nível de token falham em agentes. Eles fornecem evidências sistemáticas (17 células) mostrando que esses métodos colapsam o desempenho do agente porque removem tokens de baixa autoinformação que são essenciais para a sintaxe da ação.
2. Arquitetura AGORA: Um compressor inovador em nível de passo, sem inferência, que combina um analisador estrutural, um piso determinístico de "manutenção obrigatória" e um classificador de relevância aprendido treinado com rótulos contrafactuais. Ele alcança compressão adaptativa (1,0–11,5 vezes) com zero sobrecarga de LLM por passo.
3. Atribuição de Componentes: Através de estudos de ablação, o artigo isola o valor específico de cada escolha de design:
   • O Piso de Manutenção Obrigatória é a alavanca dominante para a retenção de qualidade (removê-lo reduz significativamente o desempenho).
   • O Classificador Aprendido é o principal motor do intervalo de compressão adaptativa, permitindo que o sistema varie as taxas de compressão com base na complexidade da trajetória, mantendo uma taxa de retenção fixa.

4. Resultados Experimentais

Os autores avaliaram o AGORA em 9 células (3 ambientes: ALFWorld, ScienceWorld, WebShop; 3 espinhas dorsais: qwen3.5-flash, gpt-4o-mini, gpt-5-mini) contra 10 baselines (incluindo métodos extrativos em nível de token e compressores abstrativos baseados em LLM).

• Retenção de Qualidade: O AGORA é o único método sem inferência a reter $\geq 75\%$ do desempenho não comprimido em 8 de 9 células (a exceção sendo o ScienceWorld com gpt-5-mini em 73%).
  • Recompensa média ($m_r$) média com AGORA: 0,387 (92% de retenção vs. Sem Compressão).
  • Em contraste, métodos em nível de token (Seleção de Contexto, LLMLINGUA-2) colapsaram para $m_r \leq 0.05$.
• Eficiência de Compressão: O AGORA alcança um intervalo de compressão ponta a ponta adaptativo de 1,0–11,5 vezes usando uma única configuração fixa ($\rho=0.25$), adaptando-se ao regime específico de trajetória sem ajuste por célula.
• Custo: O AGORA incorre em zero custos adicionais de tokens de LLM por passo (sem inferência). Embora compressores baseados em LLM (HiAgent, AgentDiet, ACON) frequentemente alcancem custos menores por tarefa em cenários de trajetória longa devido à compressão agressiva, eles pagam 8–126 mil tokens extras por tarefa para suas próprias chamadas de compressor. O AGORA é superior em cenários onde a sobrecarga de LLM por passo é proibitiva ou onde a retenção é a restrição limitante.
• Ablação: Remover o "Piso de Manutenção Obrigatória" causou a maior queda de desempenho ($\Delta m_r \approx -0.088$). Remover o classificador reduziu o desempenho apenas ligeiramente ($\Delta m_r \approx -0.031$), mas eliminou o intervalo de compressão adaptativa, confirmando que o piso lida com a qualidade enquanto o classificador lida com o volume de compressão.

5. Significado e Alegações

O artigo alega que o AGORA representa uma mudança necessária na forma como abordamos a compressão de prompt para agentes. Os autores argumentam que o paradigma "ranquear e deletar" da compressão em nível de token está estruturalmente mal especificado para agentes porque otimiza para densidade de informação em vez de integridade estrutural de comandos de ação.

Significado:

• Mudança de Paradigma: Move o espaço de design da compressão em nível de token para nível de passo, preservando a integridade sintática dos comandos do agente.
• Viabilidade sem Inferência: Demonstra que a compressão de alta qualidade para agentes não requer chamadas de LLM caras e por passo, tornando-a viável para implantação com espinhas dorsais congeladas e de caixa-preta.
• Robustez: Ao priorizar a preservação estrutural (o "piso") em vez do resumo semântico, o AGORA evita os modos de falha catastrófica vistos em compressores de propósito geral.

Os autores permanecem modestos, observando que o AGORA não é um vencedor universal de custos (métodos baseados em LLM frequentemente vencem em $/tarefa puro em configurações de trajetória longa) e que sua avaliação depende de estimativas pontuais devido a amplos intervalos de confiança ($n=30$). No entanto, eles afirmam que o AGORA fornece a única solução viável sem inferência que mantém alto desempenho em configurações diversas de agentes sem quebrar a gramática de ação.