Resumen Técnico: Hera – Aprendizaje de Coordinación de Largo Alcance para Agentes LLM Colaborativos Dispositivo-Nube

1. Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) han demostrado la capacidad de resolver tareas complejas de largo alcance mediante la interacción autónoma con entornos. Sin embargo, su despliegue en el mundo real enfrenta un dilema fundamental dispositivo-nube:

• Restricciones del lado del dispositivo: Los modelos en el dispositivo (típicamente <10B de parámetros) son eficientes y de baja latencia, pero a menudo carecen de la profundidad de razonamiento necesaria para la planificación compleja de múltiples pasos, lo que conduce a una degradación del rendimiento y trayectorias incoherentes.
• Limitaciones del lado de la nube: Los modelos potentes en la nube ofrecen un razonamiento superior pero introducen una latencia de red significativa, altos costos computacionales y preocupaciones de privacidad, lo que los hace poco prácticos para aplicaciones en tiempo real como robótica o navegación de interfaces gráficas interactivas.

Los métodos existentes de enrutamiento dispositivo-nube suelen tomar decisiones gruesas a nivel de tarea, asignando una consulta completa ya sea al dispositivo o a la nube basándose en la dificultad estimada o la confianza. Este enfoque de "todo o nada" es inadecuado para las tareas de agentes de largo alcance donde la ejecución se desarrolla como una secuencia de pasos interdependientes con dificultad variable. El artículo postula que es necesaria una estrategia de coordinación a nivel de paso más fina para equilibrar efectivamente el éxito de la tarea y el costo de inferencia.

2. Metodología: El Marco Hera

Los autores proponen Hera, un coordinador ligero dispositivo-nube a nivel de paso diseñado para optimizar la compensación entre el éxito de la tarea y el uso de la nube. Hera es un Transformer decodificador único de 500M de parámetros con una cabeza de clasificación binaria que decide, en cada paso de interacción $t$, si enrutar el estado a la política local del dispositivo ($\pi_{\theta_d}$) o a la política de la nube ($\pi_{\theta_c}$).

Hera emplea un novedoso paradigma de entrenamiento de dos etapas:

Etapa 1: Arranque en Frío mediante Aprendizaje por Imitación (IL)

Para inicializar la política de enrutamiento sin señales de refuerzo directas, los autores utilizan aprendizaje por imitación:

1. Recopilación de Trayectorias: Tanto los agentes del dispositivo como los de la nube se ejecutan para generar trayectorias para un conjunto de tareas.
2. Filtrado: Se seleccionan las tareas donde la nube supera significativamente al dispositivo (superando un margen $\delta$) para definir un régimen donde la asistencia de la nube es necesaria.
3. Supervisión: El agente del dispositivo se "reproduce" en los estados de la trayectoria exitosa de la nube. Se genera una etiqueta de consistencia a nivel de paso $y_t$:
   • $y_t = 1$ (Enrutar a la Nube): Si la acción del dispositivo $a^d_t$ discrepa con la acción de la nube $a^c_t$.
   • $y_t = 0$ (Enrutar al Dispositivo): Si las acciones coinciden.
4. Entrenamiento: El enrutador se entrena como un clasificador binario utilizando la pérdida de Entropía Cruzada Binaria (BCE) en este conjunto de datos, alineando su espacio latente con la diferencia de rendimiento entre los dos modelos.

Etapa 2: Aprendizaje por Refuerzo (RL) Consciente del Costo con Agrupación de Estados

La etapa de IL proporciona un prior pero no optimiza directamente el objetivo conjunto de maximizar la recompensa mientras se minimizan las llamadas a la nube. Hera se refina utilizando RL:

1. Despliegues (Rollouts): Se recopilan múltiples trayectorias ($N$) para cada tarea utilizando el enrutador actual, introduciendo estocasticidad mediante una distribución de Bernoulli escalada por temperatura para fomentar la exploración.
2. Agrupación de Estados: Los estados idénticos encontrados en diferentes despliegues se agrupan. Para cada estado único $s$, el sistema estima:
   • $\hat{R}(d; s)$: La recompensa de trayectoria esperada si se toma la decisión $d$ (dispositivo o nube).
   • $\hat{C}(d; s)$: Las llamadas futuras esperadas a la nube (incluyendo el paso actual) si se toma la decisión $d$.
3. Etiquetado de Preferencias: Se deriva una etiqueta de preferencia $y(s)$ seleccionando la decisión con la recompensa estimada más alta. Si las recompensas son comparables (dentro de un margen $\epsilon$), se prefiere la decisión con menor uso futuro esperado de la nube.
4. Optimización: El enrutador se actualiza minimizando la pérdida BCE en estas etiquetas de preferencia, con un término de regularización $L_2$ para evitar una deriva excesiva de los parámetros inicializados por IL.

3. Contribuciones Clave

El artículo afirma tres contribuciones principales:

1. Primer Coordinador a Nivel de Paso: Hera se presenta como el primer coordinador de agentes dispositivo-nube que opera a nivel de paso para tareas de largo alcance, abordando la compensación rendimiento-coste de manera más granular que los enrutadores a nivel de tarea anteriores.
2. Marco de Entrenamiento de Dos Etapas: Los autores desarrollan una pipeline de entrenamiento específica que combina aprendizaje por imitación (para inicialización de arranque en frío basada en la consistencia de acciones) y aprendizaje por refuerzo con agrupación de estados (para optimización conjunta de la recompensa de trayectoria y el costo de la nube).
3. Superioridad Empírica: Experimentos extensivos demuestran que Hera supera a las líneas base más avanzadas, logrando una frontera de Pareto más fuerte entre el éxito de la tarea y el uso de la nube.

4. Resultados Experimentales

Hera fue evaluado en tres benchmarks desafiantes de largo alcance: ALFWorld (tareas domésticas encarnadas), WebShop (navegación de comercio electrónico) y AppWorld (tareas de codificación multiaplicación). El modelo del dispositivo fue Qwen2.5-7B-Instruct, y el modelo de la nube fue Qwen-Max.

Hallazgos Clave:

• Compensación Rendimiento-Costo: Hera logró el 92.5% de la tasa de éxito solo de la nube mientras utilizaba la nube para solo el 46.3% de los pasos.
• Comparación con Líneas Base:
  • En ALFWorld, Hera logró una tasa de éxito del 86.1% con un costo de $4.0 \times 10^{-3}$, superando significativamente a la línea base solo de nube (90.9% de éxito, costo de $11.7 \times 10^{-3}$) y a todas las demás líneas base de enrutamiento (por ejemplo, RouteLLM, FrugalGPT).
  • En WebShop, Hera alcanzó un 34.1% de éxito con un costo de $8.1 \times 10^{-3}$, en comparación con el 35.6% de éxito solo de la nube a $14.7 \times 10^{-3}$.
  • En AppWorld, Hera logró un 19.7% de éxito con un costo de $31.3 \times 10^{-3}$, en comparación con el 22.6% de éxito solo de la nube a $43.8 \times 10^{-3}$.
• Latencia: Al reducir las invocaciones a la nube, Hera redujo significativamente la latencia de extremo a extremo (por ejemplo, 105.5s vs. 174.1s en ALFWorld) manteniendo altas tasas de éxito.
• Estudios de Ablación: Eliminar la etapa de RL resultó en tasas de éxito más bajas y un mayor uso de la nube. Eliminar la etapa de IL condujo a un entrenamiento inestable y un rendimiento deficiente, confirmando la necesidad de la pipeline de dos etapas.
• Micro-benchmarks: El análisis mostró que Hera identifica efectivamente "pasos críticos" que requieren seguimiento profundo del contexto o composición compleja de restricciones, enrutándolos a la nube, mientras maneja los pasos rutinarios localmente.

5. Significado y Afirmaciones

El artículo argumenta que Hera representa un cambio pivotal desde el enrutamiento grueso a nivel de tarea hacia una colaboración dinámica y de grano fino. Su significado radica en:

• Democratización de Agentes Avanzados: Al demostrar que solo una pequeña fracción de pasos críticos requiere intervención de la nube, Hera reduce las barreras computacionales y financieras para desplegar agentes sofisticados en dispositivos de usuario.
• Habilitación de Aplicaciones en Tiempo Real: El marco hace viables las aplicaciones sensibles a la latencia (por ejemplo, control robótico, asistentes interactivos) en hardware de dispositivo sin costos o retrasos prohibitivos.
• Escalabilidad: Hera establece una fuerte frontera de Pareto rendimiento-coste, sugiriendo un camino viable hacia agentes autónomos escalables, sostenibles y ubicuos en entornos del mundo real donde las restricciones de recursos son primordiales.

Los autores señalan limitaciones, incluida la asunción de conectividad síncrona y fiable y la falta de mecanismos integrados de preservación de la privacidad para los datos descargados, identificando estos como áreas para futuras investigaciones.