Resumo Técnico: Roteamento Dinâmico de Precisão Mista para Interação Eficiente com LLMs em Múltiplos Passos

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades robustas em tarefas de tomada de decisão de longo horizonte, como aquelas encontradas em ambientes agênticos que exigem uso de ferramentas e interação com o ambiente. No entanto, implantar LLMs de precisão total para essas tarefas complexas e multi-etapa incorre em custos de inferência proibitivos. Embora a quantização ofereça uma via promissora para eficiência, estudos recentes indicam que a aplicação ingênua de quantização de baixa precisão durante toda a execução de um agente leva a degradações significativas de desempenho em tarefas agênticas do mundo real. Essa degradação não é uniforme; modelos quantizados frequentemente performam adequadamente em etapas de raciocínio padrão, mas falham em "etapas críticas" específicas (por exemplo, colocação precisa ou seleção complexa de ferramentas), levando a falhas irreversíveis no nível da trajetória. Métodos de roteamento existentes são tipicamente projetados para consultas estáticas de turno único ou operam em nível de questão grosseiro, tornando-os inadequados para a tomada de decisão fina e em nível de etapa requerida em interações agênticas de longo horizonte.

Metodologia: Roteamento Dinâmico de Precisão Mista (DMR)

Os autores propõem o Roteamento Dinâmico de Precisão Mista (DMR), um framework leve que seleciona adaptativamente entre LLMs de alta precisão (por exemplo, BF16) e de baixa precisão (por exemplo, Int4) em cada etapa de decisão da trajetória de um agente. A ideia central é que as etapas de interação exibem sensibilidades diversas à quantização; um roteador pode identificar etapas críticas que exigem alta precisão, permitindo que etapas não críticas utilizem inferência mais barata e de baixa precisão.

1. Arquitetura do Roteador

O DMR emprega um roteador Transformer leve (desacoplado da geração de ações) que recebe entradas em nível de trajetória (descrição da tarefa, histórico de ações/observações) e produz uma escolha de precisão ($r_t \in \{1, \dots, K\}$) para a etapa atual. O roteador é parametrizado por $\theta$ e é significativamente menor que os LLMs roteados (aproximadamente 2–3% de seus parâmetros).

2. Pipeline de Treinamento em Duas Etapas

O roteador é treinado por meio de um processo de duas etapas:

• Etapa 1: Aprendizado Supervisionado Baseado em Divergência KL (KL-ST)

  • Motivação: Modelos de baixa precisão geralmente correspondem ao comportamento de alta precisão, mas exibem grandes desvios em etapas críticas.
  • Processo: Os autores coletam trajetórias usando expansões (rollouts) de alta precisão. Em cada etapa, calculam a divergência de Kullback-Leibler (KL) entre as distribuições de ação do modelo de baixa precisão e a referência de alta precisão.
  • Rotulagem: A distribuição KL é observada como bimodal (região densa de baixa divergência versus cauda esparsa de alta divergência). Um limiar $\tau$ é aplicado para converter valores contínuos de KL em rótulos binários ($y_t=1$ para alta precisão necessária, $0$ caso contrário).
  • Treinamento: O roteador é ajustado (fine-tuned) usando entropia cruzada ponderada por classe para prever esses rótulos, servindo como um ponto de partida (warm start).
  • Calibração: Para abordar deslocamentos de distribuição entre o treinamento (histórico de alta precisão) e a implantação (histórico de precisão mista), um limiar baseado em quantis é computado em um pool de calibração retido para atender a restrições específicas de orçamento de alta precisão ($\rho$).

• Etapa 2: Otimização de Política Relativa a Grupos (GRPO)

  • Motivação: O KL-ST otimiza para sensibilidade local de etapa, mas o objetivo final é o sucesso da tarefa em nível de trajetória sob um orçamento de latência.
  • Processo: Começando com o roteador KL-ST, a política é refinada usando GRPO. Este método amostra grupos de trajetórias e otimiza uma função de recompensa que equilibra o sucesso da tarefa com o custo de execução.
  • Função de Recompensa: $R(\tau) = \mathbb{I}[\text{sucesso}] - \lambda \cdot C(\tau)$, onde $C(\tau)$ é o tempo total de execução calculado com base no número de etapas, tokens gerados por modelos de alta/baixa precisão e sobrecarga do roteador. O GRPO não requer o aprendizado de uma função de valor separada, tornando-o adequado para recompensas esparsas e de longo horizonte.

Contribuições Principais

1. Framework de Precisão Mista Dinâmica: Uma abordagem inovadora que reduz substancialmente os custos de inferência para tarefas agênticas de longo horizonte, mantendo as taxas de sucesso da tarefa, abordando o descompasso entre quantização estática e requisitos agênticos dinâmicos.
2. Roteador Leve: Introdução de um roteador com apenas ~2–3% dos parâmetros do LLM roteado, suficiente para identificar etapas críticas de precisão e aprender uma política de roteamento eficaz.
3. Otimização Baseada em RL: O uso de GRPO para otimizar conjuntamente o desempenho da tarefa e o custo de inferência, indo além da supervisão estática para aprender uma política que equilibra a fronteira de Pareto de precisão e latência.

Resultados Experimentais

O framework foi avaliado em dois benchmarks agênticos baseados em texto: WebShop (compras online) e ALFWorld (tarefas domésticas corporificadas), usando modelos Qwen3 (1.7B e 4B) com quantização AWQ e GPTQ.

• Compromisso Precisão-Custo: O DMR supera consistentemente as linhas de base "sempre quantizadas". Em muitas configurações (por exemplo, 4B AWQ no ALFWorld), o DMR iguala ou supera as taxas de sucesso de precisão total (BF16) enquanto requer significativamente menos tempo.
• Recuperação de Degradação: Em cenários onde a linha de base sempre quantizada performam mal (por exemplo, 1.7B GPTQ no WebShop), o DMR recupera até 93% da lacuna de desempenho entre os modelos quantizados e de precisão total.
• Controle de Orçamento: O parâmetro de orçamento de alta precisão ($K$) controla efetivamente o compromisso. Valores menores de $K$ priorizam a redução de latência, enquanto valores maiores de $K$ recuperam mais precisão.
• Estudos de Ablação:
  • Refinamento por RL: O refinamento por GRPO geralmente produz os melhores pontos operacionais em comparação com o roteador supervisionado KL-ST sozinho, particularmente em configurações complexas.
  • Profundidade do Roteador: A capacidade do roteador não é um gargalo; um roteador de 8 camadas foi encontrado como próximo do ótimo, com roteadores mais profundos ou mais rasos mostrando impactos negligenciáveis ou negativos no desempenho.
  • Sensibilidade do Limiar: A escolha do limiar de KL $\tau$ é robusta dentro de uma "região esparsa" da distribuição KL, mas falha se o limiar cortar através de uma região densa de valores semelhantes.

Significado e Alegações

O artigo afirma que o Roteamento Dinâmico de Precisão Mista (DMR) revisita efetivamente a seleção de precisão a partir de uma perspectiva de tomada de decisão sequencial. Ele demonstra que o controle dinâmico de precisão em nível de etapa é uma estratégia viável para ambientes agênticos, permitindo que agentes aproveitem as forças complementares de modelos de precisão total e quantizados. Ao identificar e aplicar seletivamente alta precisão apenas a etapas críticas, o DMR alcança um compromisso superior de precisão-custo em comparação com linhas de base de precisão única. Os autores posicionam este trabalho como um passo rumo a tornar agentes LLM de longo horizonte mais computacionalmente viáveis sem sacrificar a robustez necessária para interações complexas do mundo real. Trabalhos futuros são sugeridos para estender o DMR a conjuntos de precisão mais ricos e ambientes de implantação com kernels nativos de baixo bit.