Resumen Técnico: INAR-VL

Enunciado del Problema

El despliegue de Modelos Visuales-Lingüísticos (VLM) en entornos de borde (por ejemplo, dispositivos móviles, robots, cámaras integradas) enfrenta un compromiso fundamental entre la latencia/eficiencia energética y la precisión de la predicción. La ejecución en la nube ofrece alta precisión pero incurre en retrasos de comunicación significativos y costos energéticos, mientras que la ejecución exclusiva en el borde es más rápida y eficiente energéticamente, pero sufre de capacidad de modelo limitada y precisión reducida, particularmente en entradas visualmente degradadas o tareas de razonamiento complejo.

Los enfoques de enrutamiento existentes a menudo dependen de decisiones de colocación estáticas o de estimación de dificultad basada únicamente en texto, sin tener en cuenta la heterogeneidad de las entradas multimodales. Específicamente, no capturan adecuadamente los efectos de degradación visual (por ejemplo, desenfoque, iluminación, artefactos de compresión) que impactan significativamente el rendimiento del modelo. Además, diferentes arquitecturas de VLM exhiben fortalezas complementarias (por ejemplo, algunas sobresalen en OCR/reconocimiento detallado, otras en razonamiento), pero los sistemas estáticos no pueden aprovechar esta diversidad dinámicamente. El desafío consiste en diseñar un sistema de enrutamiento que tome decisiones previas a la inferencia basadas en señales de entrada ligeras para optimizar la selección del modelo, la resolución de entrada y la colocación de ejecución (borde frente a nube) sin incurrir en la sobrecarga de ejecutar VLMs costosos para la caracterización.

Metodología: INAR-VL

INAR-VL es un sistema de enrutamiento ligero y consciente de la entrada diseñado para un despliegue de dos niveles en borde-nube. Opera caracterizando las solicitudes entrantes antes de invocar cualquier inferencia pesada de VLM.

1. Arquitectura del Sistema

El sistema mantiene un pool heterogéneo de cuatro VLMs: dos modelos compactos (Qwen3-VL-2B, SmolVLM-2B) desplegados en el borde (8 GB de VRAM, precisión INT8) y dos modelos más grandes (LLaVA-OV-8B, Qwen3-VL-8B) en la nube (precisión FP16).

La tubería de enrutamiento consiste en:

• Extracción de Características: Al recibir un par (imagen, pregunta), el sistema extrae un vector de características de 10 dimensiones antes de la inferencia:
  • Características Visuales (4): Desenfoque, exposición, artefactos JPEG y señales de detalle.
  • Características de Texto (6): Longitud, densidad de entidades/números, tipo de pregunta, complejidad de vocabulario, marcadores de razonamiento y marcadores de dependencia del contexto.
• Fusión de Características: Estas señales se normalizan y se fusionan en un descriptor de solicitud.
• Enrutamiento Basado en Pareto: El enrutador evalúa configuraciones válidas (modelo, precisión, resolución, colocación) para construir una frontera de Pareto por solicitud. Predice la calidad de la respuesta y el costo estimado (latencia, energía, sobrecarga de red) para cada candidato.
• Lógica de Decisión: El sistema prioriza la ejecución en el borde si la calidad predicha es suficiente. La descarga a la nube ocurre solo si la ganancia de calidad esperada supera un umbral calibrado ($\delta_{min} = 0.03$) y justifica el costo adicional.

2. Predicción de Calidad y Costo

El sistema utiliza un predictor de calidad calibrado ($\hat{q}$) y un estimador de costo ($\hat{c}$).

• Predicción de Calidad: La calidad predicha tiene en cuenta la precisión base del modelo, los ajustes de precisión, la escalado de resolución y las penalizaciones por desajustes entre las necesidades de entrada (por ejemplo, alto desenfoque, alto detalle) y las fortalezas del modelo (robustez al desenfoque, capacidad de detalle/OCR, capacidad de razonamiento).
• Estimación de Costo: Combina la latencia (proporcional al tamaño del modelo y la resolución), la energía (basada en la potencia de la GPU y el nivel de ejecución) y los términos de red (sobrecarga de transferencia de imagen).
• Calibración: Los parámetros se calibran fuera de línea utilizando un conjunto de datos retenido (1.000 muestras por punto de referencia) para ajustar coeficientes para el escalado de resolución, penalizaciones por desajuste y pesos de costo. Esta calibración es consciente del hardware pero se realiza solo una vez por configuración de despliegue.

Contribuciones Clave

1. Enrutamiento Multimodal Consciente de la Entrada: INAR-VL introduce un mecanismo de enrutamiento que utiliza señales ligeras tanto de la calidad de la imagen como de la complejidad del texto para guiar las decisiones, abordando la heterogeneidad de las cargas de trabajo multimodales que los enfoques basados solo en texto o estáticos pasan por alto.
2. Optimización Conjunta: A diferencia de trabajos anteriores que optimizan una sola dimensión, INAR-VL optimiza conjuntamente la arquitectura del modelo, la resolución de entrada y la colocación de ejecución (borde frente a nube) bajo restricciones prácticas (memoria, energía, variabilidad de red).
3. Política Consciente del Despliegue: El sistema emplea una regla de preferencia por el borde que equilibra explícitamente la recuperación de precisión frente a los costos de latencia y energía, asegurando que la descarga ocurra solo cuando sea beneficiosa.
4. Implementación Práctica: El sistema se implementa y evalúa en hardware real (borde NVIDIA RTX 4060, nube RTX PRO 6000) con una sobrecarga de enrutamiento de solo 10–30 ms.

Resultados Experimentales

El sistema se evaluó en tres puntos de referencia de Respuesta a Preguntas Visuales (VQA): VQAv2, TextVQA y GQA, utilizando 2.000 muestras por conjunto de datos.

• Precisión vs. Eficiencia: INAR-VL logró una precisión media del 72.1%, recuperando el 71% de la brecha de precisión entre la ejecución exclusiva en el borde (66.5%) y la exclusiva en la nube (74.4%).
• Distribución de Enrutamiento: El sistema ejecutó el 36% de las solicitudes en el borde, filtrando efectivamente consultas de baja complejidad localmente.
• Ganancias de Rendimiento: Comparado con la ejecución exclusiva en la nube, INAR-VL redujo la latencia promedio en un 24% (de 2408 ms a 1826 ms) y el consumo de energía en un 26% (de 26.0 J a 19.2 J).
• Estudios de Ablación:
  • Importancia de las Señales: Se encontró que las características de texto eran la señal dominante; un enrutador solo de texto logró una precisión del 71.4%, mientras que un enrutador solo de imagen cayó al 68.6%.
  • Diversidad de Modelos: Utilizar un pool diverso de modelos (arquitecturas Qwen y LLaVA) mejoró la precisión media en 0.9 puntos porcentuales en comparación con una estrategia de enrutamiento estático que utilizaba solo modelos Qwen.
• Robustez: El sistema demostró estabilidad a través de diversos anchos de banda de red (10–1000 Mbps). Un guardián de ancho de banda (15 Mbps) asegura la ejecución exclusiva en el borde cuando la conectividad es pobre, manteniendo una precisión consistente mientras la latencia escala con el ancho de banda.

Significado y Afirmaciones

El artículo afirma que INAR-VL proporciona una solución práctica para desplegar VLMs en entornos de borde con recursos limitados. Al modelar explícitamente los compromisos entre la heterogeneidad de la entrada, las capacidades del modelo y las restricciones de despliegue, el sistema logra un compromiso superior entre latencia, precisión y energía en comparación con las líneas base estáticas.

Los autores enfatizan que, aunque el sistema no alcanza el rendimiento "Oráculo" (90.6% de precisión, que selecciona el mejor modelo a posteriori), recupera la mayoría de la ventaja de precisión de la nube mientras reduce significativamente los costos operativos. El enfoque se presenta como agnóstico al hardware y generalizable; nuevos niveles de hardware o modelos pueden integrarse recalibrando los umbrales de enrutamiento sin alterar la metodología central. El trabajo destaca que el enrutamiento consciente de la entrada es esencial para cargas de trabajo multimodales donde la colocación estática falla al adaptarse a la variabilidad de la complejidad visual y textual.