Resumen Técnico: TMO – Inferencia de LLM Colaborativa entre Dispositivo y Nube con Descarga de Tres-M

1. Planteamiento del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) enfrenta una dicotomía: el despliegue en el dispositivo está limitado por recursos computacionales, de memoria y de energía, lo que a menudo restringe la calidad de la respuesta, mientras que el despliegue en la nube introduce latencia, costos de comunicación y tarifas de uso. Estos desafíos se ven exacerbados en aplicaciones modernas caracterizadas por escenarios Three-M (Tres-M):

1. Multi-Modal (Multimodal): Las tareas requieren diversas fuentes de datos (p. ej., texto, imágenes desde varios ángulos de cámara).
2. Multi-Task (Multitarea): Las aplicaciones van desde la edición simple de mensajes hasta el reconocimiento complejo de actividades.
3. Multi-Turn (Multiturno): Las conversaciones involucran dependencias secuenciales donde las decisiones previas impactan la disponibilidad de recursos y el contexto futuro.

Los marcos de trabajo existentes a menudo no logran abordar los intrincados compromisos entre la calidad de la respuesta, la latencia y el costo a través de estas dimensiones. Específicamente, tienen dificultades con:

• Ubicación Óptima de Inferencia: Decidir si procesar una tarea en el dispositivo o descargarla a la nube.
• Selección de Modalidad: Determinar qué modalidades de datos específicas (p. ej., qué vista de cámara) subir, equilibrando la ganancia de información frente a los costos de transmisión.
• Restricciones de Recursos: Adaptarse a presupuestos de recursos arbitrarios y especificados por el usuario (límites de latencia y costo) sin reentrenamiento.
• Incertidumbre de Inferencia: Manejar la naturaleza estocástica de las salidas de los LLM y la falta de métricas de verdad fundamental para tareas generativas durante el entrenamiento fuera de línea (offline).

2. Metodología: El Sistema TMO

Los autores proponen TMO, un sistema de inferencia colaborativa entre dispositivo y nube que orquesta la descarga "Three-M". El núcleo de TMO es un motor de decisión de Aprendizaje por Refuerzo con Restricciones de Recursos (RCRL).

A. Arquitectura del Sistema

• LLM en el Dispositivo: Un modelo ligero (p. ej., Phi-3-mini) optimizado para el procesamiento de texto de alta velocidad de tareas simples.
• LLM en la Nube: Un modelo multimodal de gran escala (p. ej., GPT-4o) capaz de manejar tareas complejas y diversos datos de entrada.
• Motor de Decisión: En cada turno de conversación $t$, el sistema selecciona una acción $a_t = (\ell_t, M_t)$, donde $\ell_t$ es el LLM elegido (dispositivo o nube) y $M_t$ es el subconjunto de modalidades a subir.

B. Formulación RCRL

El problema se modela como un Proceso de Decisión de Markov (MDP):

• Estado ($s_t$): Incluye una ventana deslizante de los últimos $\tau$ turnos, capturando selecciones previas de LLM, modalidades subidas y categorías de tareas. Crucialmente, el estado se aumenta con presupuestos de recursos restantes ($\xi_t$) para permitir una toma de decisiones consciente de los recursos.
• Acción ($a_t$): Selección del tipo de LLM y las modalidades específicas a subir.
• Recompensa ($r_t$): Una métrica compuesta que equilibra:
  • Puntuación de Respuesta ($S_{at}$): Calidad estimada de la respuesta del LLM.
  • Métrica de Asociación ($\Lambda_{at}$): Relevancia entre el prompt y las modalidades seleccionadas (calculada vía CLIP).
  • Latencia ($\psi_{at}$): Tiempo de computación (dispositivo) o tiempo de comunicación + inferencia (nube).
  • Costo de Uso ($\phi_{at}$): Consumo de energía (dispositivo) o tarifas de servicio (nube).
  • Penalización de Restricción: La recompensa se establece en cero si el consumo acumulado de recursos excede el presupuesto $\xi_j$ especificado por el usuario.

C. Innovaciones Técnicas Clave

1. Manejo de la Incertidumbre mediante Estimación de Vecino Más Cercano: Para abordar la naturaleza no determinista de los jueces de LLM y los pares estado-acción Fuera de Distribación (OOD) en el entrenamiento fuera de línea, TMO emplea una estrategia de k-vecinos más cercanos (k-NN). Estima la puntuación de respuesta para pares estado-acción no vistos promediando las puntuaciones de los $k$ pares históricos más similares, ponderados por la distancia euclidiana.
2. Generalización Consciente de Recursos: Para asegurar que la política se generalice a presupuestos de usuario arbitrarios sin reentrenamiento, los autores:
   • Incluyen vectores de presupuesto restante directamente en el espacio de estados.
   • Entrenan utilizando presupuestos de recursos aleatorizados muestreados de distribuciones (Uniforme, Normal, Híbrida) en lugar de valores fijos. Esto evita el sobreajuste a restricciones de presupuesto específicas.
3. Asociación Tarea-Modalidad: El sistema utiliza modelos CLIP preentrenados para calcular puntuaciones de similitud entre prompts de texto y modalidades de imagen, guiando la selección de las fuentes de datos más informativas.

3. El Conjunto de Datos M4A1

Reconociendo la falta de conjuntos de datos adecuados para este problema específico, los autores curaron M4A1, el primer conjunto de datos diseñado para la evaluación multimodal, multitarea, multiturno y de múltiples LLM.

• Composición: 21,014 turnos de conversación derivados del conjunto de datos ActionSense (actividades de cocina con vistas de primera persona, lateral y cenital) y un conjunto de datos de instrucciones.
• Estructura: Cada episodio incluye de 2 a 5 turnos, cuatro categorías de tareas (Asistente, Recomendación, Consulta, Edición de Mensajes) e interacciones con cuatro roles de LLM (en el dispositivo, en la nube, de referencia y juez).
• Estrategia de Generación: A diferencia de los conjuntos de datos de expertos, M4A1 utiliza acciones aleatorizadas para la selección de LLM y de modalidad. Esto asegura una cobertura uniforme del espacio estado-acción, haciendo que el estimador k-NN sea robusto y de baja varianza para cualquier decisión de política.

4. Resultados Experimentales

Los autores evaluaron TMO (usando RC-A2C, RC-PPO y RC-DQN) contra varios baselines:

• Baselines Naive (Ingenuos): Solo en el dispositivo, solo en la nube y selección aleatoria.
• LLM-as-Router (LLM como Enrutador): Utilizando varios LLM (Phi-3, LLaMA, Mistral, GPT-4, etc.) como motores de decisión zero-shot.
• Exploración-Decisión SOTA: AIwRG (Inferencia Activa) y PerLLM (basado en Bandidos).

Hallazgos Clave:

• Desempeño: TMO (específicamente RC-A2C) logró la recompensa general más alta (0.86) en comparación con todos los baselines, superando significativamente a los enfoques de LLM-as-Router, que tuvieron dificultades con las violaciones de restricciones y la selección de modalidades subóptima.
• Cumplimiento de Restricciones: TMO mantuvo violaciones de restricción casi nulas a través de diversas configuraciones de presupuesto, mientras que los baselines excedieron frecuentemente los límites de latencia o costo.
• Robustez:
  • Variaciones de Dispositivo: TMO funcionó consistentemente a través de diversos hardwares (desde Raspberry Pi hasta iPhone 15 Pro), adaptando su estrategia según las capacidades del dispositivo.
  • Generalización de Presupuesto: El entrenamiento con presupuestos aleatorizados permitió a TMO generalizarse a restricciones de presupuesto no vistas (Uniforme, Normal, Híbrida) sin necesidad de reentrenamiento.
  • Sensibilidad a la Latencia: Cuando la latencia de la nube se aumentó artificialmente (hasta 10x), TMO desplazó dinámicamente el tráfico al LLM en el dispositivo para mantener las restricciones.
• Estudios de Ablación: Eliminar cualquier componente clave (lógica de selección de LLM, selección de modalidad, conciencia de recursos o estimación de incertidumbre) resultó en una degradación significativa del desempeño, validando la necesidad del marco completo.

5. Significación y Reivindicaciones

El artículo afirma que TMO representa un cambio fundamental en las estrategias de despliegue de LLM al ir más allá de la descarga estática o el enrutamiento de consulta única. Su importancia radica en:

1. Optimización Holística: Es el primer sistema que optimiza conjuntamente la selección de LLM, la descarga de datos multimodales y el contexto multiturno bajo estrictas restricciones de recursos.
2. Adaptabilidad Práctica: La representación de estado consciente de los recursos y el entrenamiento aleatorizado permiten que el sistema se adapya a presupuestos de recursos definidos por el usuario de forma arbitraria en escenarios del mundo real sin reentrenamiento.
3. Manejo de la Incertidumbre: La estrategia de estimación de vecino más cercano propuesta proporciona un método robusto para entrenar políticas de RL sobre datos de inferencia de LLM, abordando la estocasticidad inherente y los desafíos de evaluación de los modelos generativos.
4. Contribución de Conjunto de Datos: El lanzamiento de M4A1 llena un vacío crítico en la literatura, proporcionando un benchmark estandarizado para evaluar la inferencia colaborativa en entornos complejos de múltiples turnos y múltiples modalidades.

Los autores concluyen que, si bien TMO mejora significamente el compromiso entre la calidad de la respuesta, la latencia y el costo, el trabajo futuro se centrará en incorporar condiciones de ejecución dinámica (p. ej., ancho de banda de red en tiempo real, niveles de batería) para permitir una adaptación proactiva.