Resumo Técnico: PANDO – Agentes de IA Multimodais Eficientes via Destilação Online de Habilidades

Declaração do Problema

Os avanços recentes em agentes web multimodais têm dependido amplamente de uma "economia de tokens", onde o desempenho aprimorado é adquirido mediante o aumento dos custos de inferência. Isso inclui estratégias como a expansão de buscas de rolagem (por exemplo, Best-of-N), adição de passes de verificação, descoberta de ferramentas offline ou empilhamento de modelos especialistas. Embora eficazes para pontuações em benchmarks, essa abordagem cria uma relação linear ou superlinear entre o gasto de tokens e o sucesso, resultando em alta latência, consumo de energia e custos ocultos associados à descoberta de pré-avaliação.

Os autores identificam três ineficiências mecânicas específicas nas trajetórias atuais de agentes no benchmark VisualWebArena (VWA):

1. Loops de ação repetida: Os agentes frequentemente ficam presos em loops de ações repetidas (34–42% das falhas anotadas por imagem).
2. Custos ocultos de descoberta: Sistemas como o WALT incorrem em custos significativos de exploração offline que são frequentemente excluídos das métricas por tarefa relatadas.
3. Ineficiência da arquitetura de prompt: Métodos de texto/legenda exibem baixa utilização de cache de prompt (<11%), falhando em aproveitar prefixos estáveis à medida que o agente acumula experiência.

A questão central levantada é se um agente pode se tornar mais eficiente à medida que acumula experiência, em vez de pagar um "imposto de raciocínio" fixo em cada tarefa.

Metodologia: O Framework PANDO

O PANDO (nomeado em referência ao bosque de álamos Pando, um único sistema radicular que sustenta muitos troncos) é um framework de destilação online de habilidades de rolagem única. Ele opera em um loop Planejar → Agir → Refletir → Aprender, projetado para fazer crescer uma Biblioteca de Habilidades estruturada durante a avaliação, sem exigir um orçamento de descoberta pré-avaliação.

Componentes Principais

1. Biblioteca de Habilidades Estruturada ($S_t$):

   • A biblioteca é uma união disjunta de Regras (guardrails determinísticos, acionados por padrões) e Rotinas (habilidades executáveis parametrizadas, program-as-action).
   • Recuperação: Diferentemente da recuperação baseada em embeddings, o PANDO utiliza contenção literal de palavras-chave para recuperação determinística, auditável e amigável a cache.
   • Gerenciamento de Ciclo de Vida: A biblioteca não é estática; ela cresce online. Subtrajetórias bem-sucedidas são induzidas em rotinas, enquanto as falhas são rastreadas.

2. Aprendizado e Destilação:

   • Indução: Após uma trajetória bem-sucedida, um Módulo de Aprendizado extrai habilidades candidatas se elas possuírem um modelo de subobjetivo reutilizável e padrões de seleção verificados.
   • Mesclagem de Pares de Polaridade: Para evitar o inchaço da biblioteca, rotinas que diferem apenas por direção (por exemplo, "mais barato" vs. "mais caro") são mescladas em uma única rotina parametrizada $f_{\pm}(x, d)$.
   • Rebaixamento Baseado em Confiança: As habilidades mantêm estimativas de confiança em execução ($c_s = \alpha_s / (\alpha_s + \beta_s)$). Se uma habilidade falhar repetidamente, ela é movida para uma lista negra de rebaixamento, impedindo que o agente redescubra e falhe novamente com rotinas frágeis.

3. Economia de Execução:

   • Roteamento Hierárquico: Um modelo forte (Planejador) é usado esparsamente para decomposição e reflexão. Um modelo mais barato (Ator) lida com a ancoragem de alta frequência.
   • Compressão Visual: Reduz a carga de tokens do termo dominante do Ator, comprimindo as entradas visuais.
   • Prompting Consciente de Cache: O layout do prompt é estruturado para colocar instruções estáveis e resumos de habilidades antes das observações voláteis, maximizando a utilização do cache KV à medida que a biblioteca cresce.

4. Decomposição de Custos:
   O artigo formaliza o custo do agente em quatro termos aditivos:
   $$C(\pi; B) = \frac{C_{pre}}{|B|} + N_{rollout} C_{exec} + C_{verify} + C_{induce}$$
   O PANDO visa $C_{pre}=0$ (sem descoberta offline), $N_{rollout}=1$ (rolagem única) e um pequeno $C_{induce}$ pago estritamente dentro do fluxo de tarefas, enquanto minimiza $C_{exec}$ através da reutilização de habilidades.

Contribuições Principais

1. Enquadramento da Economia de Tokens: Os autores formalizam uma identidade de custo que separa a descoberta de pré-avaliação, a escala de rolagem, a verificação e a indução online, argumentando que os benchmarks atuais frequentemente obscurecem essas moedas de custo distintas.
2. Framework de Aprendizado de Habilidades Estruturado: O PANDO integra regras indexadas por padrões, rotinas parametrizadas, destilação online, mesclagem de pares de polaridade, rebaixamento baseado em confiança e prompting consciente de cache em um único agente.
3. Métricas de Eficiência Intrínseca: Além da Taxa de Sucesso (SR), o artigo introduz a Taxa de Repetição de Ações (ARR), a Razão de Sobrecarga de Etapas (SOR) e a Utilização do Cache de Prompt para diagnosticar ineficiências ao nível da trajetória.
4. Resultados de Estado da Arte: O PANDO alcança uma nova fronteira de Pareto no VWA, entregando taxas de sucesso mais altas com significativamente menos tokens do que todas as linhas de base avaliadas.

Resultados Experimentais

Avaliado em todas as 910 tarefas do benchmark VisualWebArena:

• Taxa de Sucesso (SR): O PANDO alcança 58,3%, superando o SGV (54,0%) e uma reprodução do WALT (45,2%).
• Eficiência de Tokens: O PANDO usa 115K tokens por tarefa em média. Isso é 58% menos que o SGV (275K) e 61% menos que o WALT (294K).
• Métricas Intrínsecas:
  • ARR: 9,1% (o mais baixo entre métodos automatizados), indicando evitação eficaz de loops.
  • SOR: 1,8× (o mais baixo), mostrando que tarefas falhas não incorrem em penalidades excessivas de etapas.
  • Utilização de Cache: 72,4% (a mais alta), demonstrando a eficácia de prefixos de prompt estáveis.
• Estudos de Ablação (VWA-300):
  • Componentes de Habilidades: Regras, rotinas e destilação online forneceram a maior parte do aumento na SR (de 38,6% para 57,3%).
  • Componentes de Eficiência: Roteamento hierárquico, compressão visual e prompting consciente de cache contribuíram minimamente para a SR, mas foram responsáveis pela maior parte da redução de tokens (de 147K para 117K) e pelo aumento da utilização de cache.
• Dinâmicas de Aprendizado: O sistema exibe uma fase de "início frio" com altos contagens de etapas (~30 etapas/tarefa) que se estabiliza para ~8,5 etapas/tarefa à medida que a biblioteca amadurece. A biblioteca de habilidades cresceu de 12 rotinas semente para 47 rotinas induzidas (32 ativas após o rebaixamento) ao longo do fluxo.

Significado e Alegações

O artigo afirma que o PANDO demonstra que o progresso em agentes web não precisa ser adquirido apenas através de rolagens aumentadas, orçamentos de descoberta ocultos ou empilhamento de especialistas por etapa.

• Reutilizabilidade como Capital: A ideia central é que o gasto passado de tokens deve se tornar capital reutilizável. Ao destilar a experiência em uma biblioteca estruturada e auditável, o agente reduz sua carga de inferência marginal ao longo do tempo.
• Transparência: Diferentemente de armazenamentos vetoriais de caixa preta ou fases de descoberta offline, a biblioteca de habilidades do PANDO é inspecionável, determinística e estável sob o cache de prompt.
• Relatório de Benchmarks: Os autores argumentam que os benchmarks de uso de computador devem relatar a SR juntamente com tokens brutos, participação de tokens em cache, gasto de descoberta oculto e latência para fornecer uma imagem completa da eficiência do agente.

O artigo conclui que o PANDO alcança um novo ponto ótimo de Pareto: maior precisão com menor custo marginal, sugerindo que "a eficiência não é obtida fazendo menos, mas garantindo que o que é feito tenha para onde ir".