Resumen Técnico: R2V-Agent – Enseñando a los LLMs Pequeños (SLMs) Cuándo Solicitar Ayuda

Enunciado del Problema

Los sistemas agénticos eficientes que operan en entornos interactivos (por ejemplo, ingeniería de software, navegación web, administración de sistemas) enfrentan una compensación fundamental entre fiabilidad y costo. La fiabilidad a menudo depende de modelos de lenguaje grandes (LLMs) de vanguardia costosos, particularmente cuando las tareas implican planificación a largo plazo, recuperación de llamadas a herramientas fallidas o razonamiento bajo observaciones incompletas. Por el contrario, los modelos de lenguaje pequeños (SLMs) son rentables pero frágiles bajo perturbaciones fuera de la distribución.

Las cascadas y enrutadores de LLMs existentes realizan típicamente una asignación a nivel de consulta, decidiendo qué modelo utilizar antes de que comience la ejecución o después de que se genera una respuesta completa. Este enfoque es inadecuado para los Procesos de Decisión de Markov Parcialmente Observables (POMDP) agénticos, donde la dificultad de la tarea es dependiente de la trayectoria. Una tarea puede comenzar dentro de la distribución pero volverse riesgosa a mitad de la trayectoria debido a llamadas a herramientas inestables, observaciones truncadas o errores locales acumulativos. Enrutar toda la tarea a un SLM es frágil, mientras que enrutar toda la tarea a un LLM es innecesariamente costoso. El desafío central es determinar cuándo un SLM local desplegado debe ceder ante un LLM maestro más fuerte durante la ejecución de una trayectoria de agente de múltiples pasos.

Metodología

Los autores proponen R2V-Agent, un marco calibrado por riesgo para el enrutamiento SLM-LLM a nivel de paso. El sistema descompone la ejecución en cuatro componentes:

1. Política SLM Destilada ($\pi_\theta$): Un modelo local entrenado para manejar pasos rutinarios.
2. LLM Maestro ($\pi_T$): Un modelo más fuerte invocado solo cuando es necesario.
3. Verificador de Procesos ($V_\phi$): Un módulo ligero que puntúa las acciones candidatas en cada paso.
4. Enrutador Calibrado ($r_\psi$): La contribución central, que estima el riesgo residual de fallo en cada paso.

Pipeline de Entrenamiento

El sistema se entrena como un pipeline ordenado en lugar de un objetivo multi-pérdida conjunto para asegurar que el enrutador aprenda los modos de fallo de una política fija:

1. Destilación Offline (Entrenamiento del SLM):

   • Clonación Conductual (BC): El SLM se inicia en caliente utilizando trayectorias del maestro que han sido aumentadas con operadores de perturbación (simulando fallos de herramientas, observaciones faltantes, inyección de prompts, etc.).
   • DPO Guiado por Verificador: La política BC genera acciones candidatas, que son puntuadas por el verificador. Se construyen pares de preferencia entre acciones aprobadas por el verificador/recuperadas por el maestro y muestras BC de menor calidad. El SLM se refina utilizando Optimización de Preferencia Directa (DPO) con la política BC congelada como referencia.
   • Regularización de Consistencia: Un término de Divergencia de Jensen-Shannon (JSD) fomenta que el SLM produzca distribuciones de acción estables a través de diferentes realizaciones de perturbación del mismo estado latente, mejorando la robustez.

2. Entrenamiento del Enrutador:

   • Una vez que la política SLM está fija, el enrutador se entrena sobre los fallos residuales de esta política.
   • Características: El enrutador ingiere un vector de 15 dimensiones que incluye entropía a nivel de token, estadísticas de puntuación del verificador (media, dispersión, mejor/peor), consistencia de candidatos y características de estado de la trayectoria.
   • Etiquetas: La etiqueta de enrutamiento $y_t$ es binaria, indicando si la ejecución solo con SLM que contiene el contexto actual falló eventualmente el episodio.
   • Objetivo: El enrutador minimiza una pérdida calibrada por Brier para estimar la probabilidad condicional de fallo del episodio. Crucialmente, emplea un objetivo restringido por Valor en Riesgo Condicional (CVaR). Esto penaliza a los enrutadores que son baratos en promedio pero frágiles bajo semillas de perturbación de peor caso, asegurando robustez contra riesgos de cola.

Inferencia

En el momento de la prueba, el SLM destilado se ejecuta por defecto. El enrutador estima el riesgo residual $p_t = r_\psi(f_t)$. Si $p_t$ supera un umbral calibrado $\tau^*_{route}$ y el presupuesto de LLM permanece, el sistema escala al LLM maestro; de lo contrario, procede con la acción del SLM.

Contribuciones Clave

1. Formulación de Enrutamiento a Nivel de Paso con Estado: El artículo formula el enrutamiento de agentes SLM-LLM como un problema de asignación con estado en POMDPs perturbados, yendo más allá de las decisiones estáticas a nivel de consulta.
2. Objetivo de Enrutamiento por Riesgo Residual: Los autores introducen un objetivo de enrutamiento que combina la estimación de probabilidad calibrada por Brier con el control de riesgo de cola restringido por CVaR. Esto asegura que el enrutador escale solo cuando el riesgo estimado justifique el costo, evitando políticas frágiles.
3. Validación Empírica: El marco se evalúa en tres puntos de referencia (HumanEval+, TextWorld, TerminalBench) y cuatro bases de SLM (Gemma-9B, LLaMA-3.1-8B, Qwen2.5-7B/14B), demostrando que el enrutamiento calibrado a nivel de paso reduce significativamente las llamadas a modelos de vanguardia mientras preserva un alto éxito en la tarea.

Resultados

R2V-Agent mejora la frontera de fiabilidad-costo en todos los puntos de referencia probados:

• HumanEval+ (Generación de Código): En un régimen de bajo fallo, R2V logra un 94.3% de éxito con solo un 0.6% de escalada a LLM, una mejora significativa sobre la línea base solo SLM (91.9%) con un costo negligible.
• TextWorld (Control Encarnado): R2V recupera el rendimiento del 64.6% (solo SLM) a un 98.2% de éxito con un 41.7% de escalada. Esto está cerca de la tasa del oráculo de hindsight (35.4%) y es significativamente más eficiente que los enrutadores heurísticos, que requieren casi un 100% de escalada para lograr un éxito similar.
• TerminalBench (Ingeniería de Shell): R2V mejora el éxito del 81.1% al 93.3% utilizando un 33.9% de llamadas a LLM. Esto es aproximadamente la mitad del costo de un enrutador heurístico (66.0% de escalada) con una fiabilidad comparable.

Estudios de ablación confirman que tanto la regularización de consistencia (mejorando la estabilidad del SLM) como el conjunto completo de características (combinando señales del verificador y entropía) son críticos. El sistema también demuestra una degradación elegante en entornos de código cerrado donde las log-probabilidades de los tokens no están disponibles, utilizando "pseudo-entropía" derivada de las puntuaciones del verificador.

Significancia

El artículo argumenta que los agentes eficientes no necesitan elegir entre la ejecución SLM barata pero frágil y la ejecución completa de LLM costosa. Al tratar el enrutamiento como una decisión a nivel de paso con estado fundamentada en la estimación de riesgo residual, R2V-Agent proporciona un punto medio práctico. El trabajo destaca que:

• La dificultad de la tarea en los agentes es dinámica y dependiente de la trayectoria, haciendo insuficiente el enrutamiento estático a nivel de consulta.
• El enrutamiento probabilístico calibrado, restringido por objetivos de riesgo de cola (CVaR), es superior a los umbrales heurísticos o basados en entropía para gestionar la asignación de cómputo en entornos interactivos.
• Separar el entrenamiento de una política local estable del entrenamiento del enrutador permite un aislamiento preciso de las estrategias de asignación de cómputo de las técnicas de mejora de políticas.

Los autores señalan que el rendimiento del sistema sigue dependiendo de la calidad del verificador y las características de riesgo, y que algunos fallos (particularmente en tareas complejas de shell) siguen siendo difíciles de detectar en línea, dejando espacio para trabajo futuro en la mejora del verificador y la adaptación dinámica del presupuesto.