Resumo Técnico: R2V-Agent – Ensinando SLMs a Pedir Ajuda

Declaração do Problema

Sistemas agênticos eficientes operando em ambientes interativos (por exemplo, engenharia de software, navegação na web, administração de sistemas) enfrentam um trade-off fundamental entre confiabilidade e custo. A confiabilidade frequentemente depende de Modelos de Linguagem Grandes (LLMs) de ponta caros, particularmente quando as tarefas envolvem planejamento de longo horizonte, recuperação de chamadas de ferramentas falhas ou raciocínio sob observações incompletas. Por outro lado, Modelos de Linguagem Pequenos (SLMs) são custo-efetivos, mas frágeis sob perturbações fora da distribuição.

Cascas e roteadores de LLM existentes tipicamente realizam alocação em nível de consulta, decidindo qual modelo usar antes que a execução comece ou após uma resposta completa ser gerada. Essa abordagem é inadequada para Processos de Decisão de Markov Parcialmente Observáveis (POMDPs) agênticos, onde a dificuldade da tarefa é dependente da trajetória. Uma tarefa pode começar dentro da distribuição, mas tornar-se arriscada no meio da trajetória devido a chamadas de ferramentas instáveis, observações truncadas ou erros locais cumulativos. Rotear a tarefa inteira para um SLM é frágil, enquanto rotear a tarefa inteira para um LLM é desnecessariamente caro. O desafio central é determinar quando um SLM local implantado deve deferir para um LLM professor mais forte durante a execução de uma trajetória de agente multi-etapa.

Metodologia

Os autores propõem o R2V-Agent, um framework calibrado por risco para roteamento em nível de etapa SLM-LLM. O sistema fatora a execução em quatro componentes:

1. Política SLM Destilada ($\pi_\theta$): Um modelo local treinado para lidar com etapas rotineiras.
2. LLM Professor ($\pi_T$): Um modelo mais forte invocado apenas quando necessário.
3. Verificador de Processo ($V_\phi$): Um módulo leve que pontua ações candidatas em cada etapa.
4. Roteador Calibrado ($r_\psi$): A contribuição central, que estima o risco residual de falha em cada etapa.

Pipeline de Treinamento

O sistema é treinado como um pipeline ordenado, em vez de um objetivo multi-perda conjunto, para garantir que o roteador aprenda os modos de falha de uma política fixa:

1. Destilação Offline (Treinamento do SLM):

   • Clonagem Comportamental (BC): O SLM é iniciado com aquecimento usando trajetórias do professor que foram aumentadas com operadores de perturbação (simulando falhas de ferramentas, observações ausentes, injeção de prompt, etc.).
   • DPO Guiado por Verificador: A política BC gera ações candidatas, que são pontuadas pelo verificador. Pares de preferência são construídos entre ações aprovadas pelo verificador/recuperadas pelo professor e amostras BC de menor qualidade. O SLM é refinado usando Otimização de Preferência Direta (DPO) com a política BC congelada como referência.
   • Regularização de Consistência: Um termo de Divergência de Jensen-Shannon (JSD) incentiva o SLM a produzir distribuições de ação estáveis através de diferentes realizações de perturbação do mesmo estado latente, melhorando a robustez.

2. Treinamento do Roteador:

   • Uma vez que a política do SLM é fixada, o roteador é treinado nas falhas residuais dessa política.
   • Recursos: O roteador ingere um vetor de 15 dimensões incluindo entropia em nível de token, estatísticas de pontuação do verificador (média, dispersão, melhor/pior), consistência de candidatos e recursos de estado da trajetória.
   • Rótulos: O rótulo de roteamento $y_t$ é binário, indicando se o rollout apenas com SLM contendo o contexto atual eventualmente falhou no episódio.
   • Objetivo: O roteador minimiza uma perda calibrada por Brier para estimar a probabilidade condicional de falha do episódio. Crucialmente, emprega um objetivo restrito por Valor em Risco Condicional (CVaR). Isso penaliza roteadores que são baratos em média, mas frágeis sob sementes de perturbação de pior caso, garantindo robustez contra riscos de cauda.

Inferência

No momento do teste, o SLM destilado executa por padrão. O roteador estima o risco residual $p_t = r_\psi(f_t)$. Se $p_t$ exceder um limiar calibrado $\tau^*_{route}$ e o orçamento do LLM permanecer, o sistema escala para o LLM professor; caso contrário, prossegue com a ação do SLM.

Contribuições Principais

1. Formulação de Roteamento em Nível de Etapa com Estado: O artigo formula o roteamento de agente SLM-LLM como um problema de alocação com estado em POMDPs perturbados, indo além de decisões estáticas em nível de consulta.
2. Objetivo de Roteamento de Risco Residual: Os autores introduzem um objetivo de roteamento combinando estimativa de probabilidade calibrada por Brier com controle de risco de cauda restrito por CVaR. Isso garante que o roteador escale apenas quando o risco estimado justificar o custo, evitando políticas frágeis.
3. Validação Empírica: O framework é avaliado em três benchmarks (HumanEval+, TextWorld, TerminalBench) e quatro backbones de SLM (Gemma-9B, LLaMA-3.1-8B, Qwen2.5-7B/14B), demonstrando que o roteamento em etapa calibrado reduz significativamente as chamadas de modelos de ponta enquanto preserva alto sucesso na tarefa.

Resultados

O R2V-Agent melhora a fronteira confiabilidade-custo em todos os benchmarks testados:

• HumanEval+ (Geração de Código): Em um regime de baixa falha, o R2V alcança 94,3% de sucesso com apenas 0,6% de escalonamento para LLM, uma melhoria significativa sobre a linha de base apenas SLM (91,9%) com custo negligenciável.
• TextWorld (Controle Embutido): O R2V recupera o desempenho de 64,6% (apenas SLM) para 98,2% de sucesso com 41,7% de escalonamento. Isso está próximo da taxa do oráculo de hindsight (35,4%) e significativamente mais eficiente que roteadores heurísticos, que exigem quase 100% de escalonamento para alcançar sucesso similar.
• TerminalBench (Engenharia de Shell): O R2V melhora o sucesso de 81,1% para 93,3% usando 33,9% de chamadas de LLM. Isso é aproximadamente metade do custo de um roteador heurístico (66,0% de escalonamento) com confiabilidade comparável.

Estudos de ablação confirmam que tanto a regularização de consistência (melhorando a estabilidade do SLM) quanto o conjunto completo de recursos (combinando sinais do verificador e entropia) são críticos. O sistema também demonstra degradação graciosa em ambientes de código fechado onde log-probabilidades de token estão indisponíveis, usando "pseudo-entropia" derivada de pontuações do verificador.

Significância

O artigo argumenta que agentes eficientes não precisam escolher entre execução SLM barata mas frágil e execução LLM completa cara. Ao tratar o roteamento como uma decisão em nível de etapa com estado fundamentada em estimativa de risco residual, o R2V-Agent fornece um meio-termo prático. O trabalho destaca que:

• A dificuldade da tarefa em agentes é dinâmica e dependente da trajetória, tornando o roteamento estático em nível de consulta insuficiente.
• O roteamento probabilístico calibrado, restrito por objetivos de risco de cauda (CVaR), é superior a limiares heurísticos ou baseados em entropia para gerenciar alocação de computação em ambientes interativos.
• Separar o treinamento de uma política local estável do treinamento do roteador permite o isolamento preciso de estratégias de alocação de computação de técnicas de melhoria de política.

Os autores observam que o desempenho do sistema permanece dependente da qualidade do verificador e dos recursos de risco, e que algumas falhas (particularmente em tarefas complexas de shell) permanecem difíceis de detectar online, deixando espaço para trabalho futuro em melhoria de verificador e adaptação dinâmica de orçamento.