Resumo Técnico: Hera – Aprendizado de Coordenação de Longo Alcance para Agentes LLM Colaborativos Dispositivo–Nuvem

1. Declaração do Problema

Agentes de Modelos de Linguagem Grande (LLM) demonstraram a capacidade de resolver tarefas complexas de longo alcance através da interação autônoma com ambientes. No entanto, sua implantação no mundo real enfrenta um dilema fundamental dispositivo–nuvem:

• Restrições do lado do dispositivo: Modelos no dispositivo (tipicamente <10B parâmetros) são eficientes e de baixa latência, mas frequentemente carecem da profundidade de raciocínio necessária para planejamento complexo de múltiplos passos, levando à degradação de desempenho e trajetórias incoerentes.
• Limitações do lado da nuvem: Modelos poderosos na nuvem oferecem raciocínio superior, mas introduzem latência de rede significativa, altos custos computacionais e preocupações de privacidade, tornando-os impraticáveis para aplicações em tempo real, como robótica ou navegação em GUI interativa.

Métodos existentes de roteamento dispositivo–nuvem tipicamente tomam decisões grosseiras, ao nível da tarefa, atribuindo uma consulta inteira ao dispositivo ou à nuvem com base na dificuldade estimada ou confiança. Essa abordagem "tudo ou nada" é inadequada para tarefas de agente de longo alcance, onde a execução se desenrola como uma sequência de passos interdependentes com dificuldade variável. O artigo postula que uma estratégia de coordenação em nível de passo, mais granular, é necessária para equilibrar efetivamente o sucesso da tarefa e o custo de inferência.

2. Metodologia: O Framework Hera

Os autores propõem o Hera, um coordenador dispositivo–nuvem leve em nível de passo, projetado para otimizar o compromisso entre sucesso da tarefa e uso da nuvem. Hera é um Transformer decodificador-only de 500M parâmetros com uma cabeça de classificação binária que decide, em cada passo de interação $t$, se deve rotear o estado para a política local do dispositivo ($\pi_{\theta_d}$) ou para a política da nuvem ($\pi_{\theta_c}$).

Hera emprega um novo paradigma de treinamento em duas etapas:

Etapa 1: Inicialização Fria via Aprendizado por Imitação (IL)

Para inicializar a política de roteamento sem sinais de reforço diretos, os autores usam aprendizado por imitação:

1. Coleta de Trajetórias: Tanto os agentes do dispositivo quanto da nuvem são executados para gerar trajetórias para um conjunto de tarefas.
2. Filtragem: Tarefas onde a nuvem supera significativamente o dispositivo (excedendo uma margem $\delta$) são selecionadas para definir um regime onde a assistência da nuvem é necessária.
3. Supervisão: O agente do dispositivo é "reproduzido" nos estados de trajetória bem-sucedidos da nuvem. Um rótulo de consistência em nível de passo $y_t$ é gerado:
   • $y_t = 1$ (Rotear para a Nuvem): Se a ação do dispositivo $a^d_t$ discordar da ação da nuvem $a^c_t$.
   • $y_t = 0$ (Rotear para o Dispositivo): Se as ações concordarem.
4. Treinamento: O roteador é treinado como um classificador binário usando a perda de Entropia Cruzada Binária (BCE) neste conjunto de dados, alinhando seu espaço latente com a diferença de desempenho entre os dois modelos.

Etapa 2: Aprendizado por Reforço (RL) Consciente de Custos com Agrupamento de Estados

A etapa IL fornece um prior, mas não otimiza diretamente o objetivo conjunto de maximizar o retorno enquanto minimiza as chamadas à nuvem. Hera é refinado usando RL:

1. Execuções (Rollouts): Múltiplas trajetórias ($N$) são coletadas para cada tarefa usando o roteador atual, com estocasticidade introduzida via uma distribuição de Bernoulli escalada por temperatura para encorajar a exploração.
2. Agrupamento de Estados: Estados idênticos encontrados em diferentes execuções são agrupados. Para cada estado único $s$, o sistema estima:
   • $\hat{R}(d; s)$: O retorno esperado da trajetória se a decisão $d$ (dispositivo ou nuvem) for tomada.
   • $\hat{C}(d; s)$: As chamadas futuras esperadas à nuvem (incluindo o passo atual) se a decisão $d$ for tomada.
3. Rotulagem de Preferência: Um rótulo de preferência $y(s)$ é derivado selecionando a decisão com o maior retorno estimado. Se os retornos forem comparáveis (dentro de uma margem $\epsilon$), a decisão com menor uso futuro esperado de nuvem é preferida.
4. Otimização: O roteador é atualizado minimizando a perda BCE nestes rótulos de preferência, com um termo de regularização $L_2$ para evitar desvio excessivo dos parâmetros inicializados pelo IL.

3. Contribuições Principais

O artigo reivindica três contribuições primárias:

1. Primeiro Coordenador em Nível de Passo: Hera é apresentado como o primeiro coordenador de agente dispositivo–nuvem operando em nível de passo para tarefas de longo alcance, abordando o compromisso desempenho–custo de forma mais granular que roteadores anteriores baseados em tarefas.
2. Framework de Treinamento em Duas Etapas: Os autores desenvolvem um pipeline de treinamento específico combinando aprendizado por imitação (para inicialização fria baseada em consistência de ação) e aprendizado por reforço com agrupamento de estados (para otimização conjunta do retorno da trajetória e custo da nuvem).
3. Superioridade Empírica: Experimentos extensivos demonstram que Hera supera as linhas de base mais avançadas, alcançando uma fronteira de Pareto mais forte entre sucesso da tarefa e uso da nuvem.

4. Resultados Experimentais

Hera foi avaliado em três benchmarks desafiadores de longo alcance: ALFWorld (tarefas domésticas corporificadas), WebShop (navegação em comércio eletrônico) e AppWorld (tarefas de codificação multi-aplicativo). O modelo do dispositivo foi o Qwen2.5-7B-Instruct, e o modelo da nuvem foi o Qwen-Max.

Principais Descobertas:

• Compromisso Desempenho–Custo: Hera alcançou 92,5% da taxa de sucesso apenas da nuvem, enquanto usou a nuvem para apenas 46,3% dos passos.
• Comparação com Linhas de Base:
  • No ALFWorld, Hera alcançou uma taxa de sucesso de 86,1% com um custo de $4,0 \times 10^{-3}$, superando significativamente a linha de base apenas da nuvem (90,9% de sucesso, custo de $11,7 \times 10^{-3}$) e todas as outras linhas de base de roteamento (ex: RouteLLM, FrugalGPT).
  • No WebShop, Hera atingiu 34,1% de sucesso com um custo de $8,1 \times 10^{-3}$, comparado aos 35,6% de sucesso apenas da nuvem a $14,7 \times 10^{-3}$.
  • No AppWorld, Hera alcançou 19,7% de sucesso com um custo de $31,3 \times 10^{-3}$, comparado aos 22,6% de sucesso apenas da nuvem a $43,8 \times 10^{-3}$.
• Latência: Ao reduzir as invocações à nuvem, Hera reduziu significativamente a latência de ponta a ponta (ex: 105,5s vs. 174,1s no ALFWorld) enquanto mantinha altas taxas de sucesso.
• Estudos de Ablação: Remover a etapa de RL resultou em taxas de sucesso mais baixas e maior uso da nuvem. Remover a etapa de IL levou a treinamento instável e desempenho inferior, confirmando a necessidade do pipeline de duas etapas.
• Micro-benchmarks: A análise mostrou que Hera identifica efetivamente "passos críticos" que exigem rastreamento profundo de contexto ou composição complexa de restrições, roteando-os para a nuvem, enquanto lida com passos rotineiros localmente.

5. Significado e Reivindicações

O artigo argumenta que Hera representa uma mudança pivotal do roteamento grosseiro, ao nível da tarefa, para colaboração dinâmica e granular. Seu significado reside em:

• Democratização de Agentes Avançados: Ao demonstrar que apenas uma pequena fração de passos críticos requer intervenção da nuvem, Hera reduz as barreiras computacionais e financeiras para implantar agentes sofisticados em dispositivos de usuários.
• Habilitação de Aplicações em Tempo Real: O framework torna aplicações sensíveis à latência (ex: controle robótico, assistentes interativos) viáveis em hardware de dispositivo sem custos ou atrasos proibitivos.
• Escalabilidade: Hera estabelece uma forte fronteira de Pareto desempenho–custo, sugerindo um caminho viável para agentes autônomos escaláveis, sustentáveis e ubíquos em ambientes do mundo real onde as restrições de recursos são primordiais.

Os autores notam limitações, incluindo a suposição de conectividade síncrona e confiável e a falta de mecanismos integrados de preservação de privacidade para dados descarregados, identificando estes como áreas para pesquisa futura.