Resumen Técnico: Enrutamiento Adaptativo al Presupuesto

Declaración del Problema

Las colaboraciones de inferencia entre el borde (edge) y la nube para la percepción visual (por ejemplo, detección de objetos) emplean típicamente una arquitectura de enrutamiento de "condicionamiento débil". En este diseño estándar, un detector local ligero ($M_w$) procesa cada fotograma, y un estimador de enrutamiento utiliza las salidas intermedias del detector débil (propuestas, embeddings o activaciones) para decidir si se debe derivar (offload) el fotograma a un detector en la nube más fuerte y preciso ($M_s$).

El artículo identifica una ineficiencia estructural en este enfoque: la pasada hacia adelante (forward pass) débil se ejecuta en cada fotograma, incluidos aquellos que posteriormente se derivan a la nube. Esto crea un "impuesto de cómputo implícito". Cuando el presupuesto de derivación ($\rho$, la fracción de fotogramas enviados a la nube) es alto, el sistema paga el costo del detector débil ($C_w$) en fotogramas que el modelo fuerte responderá de todos modos. Esta dependencia serial también introduce una latencia innecesaria, ya que la decisión de enrutamiento no puede tomarse hasta que la pasada débil se complete.

Los autores argumentan que, si bien este diseño es necesario en presupuestos de derivación bajos (donde la pasada débil rara vez se omite), se vuelve subóptimo en presupuestos altos. La pregunta central es si un estimador puede predecir la necesidad de derivación utilizando únicamente píxeles brutos (un enfoque de "omisión de la pasada débil" o weak-skipping) para evitar por completo el detector débil en los fotogramas derivados, y si, de ser así, un único emplazamiento fijo es óptimo en todos los regímenes operativos.

Metodología

El artículo propone un Enrutamiento Adaptativo al Presupuesto, un sistema que selecciona dinámicamente entre dos emplazamientos del estimador basándose en el presupuesto de derivación:

1. Estimador de Omisión de la Pasada Débil (Pre-Débil)

En lugar de depender de la salida del detector débil, este estimador predice las señales de enrutamiento directamente a partir de los píxeles brutos de la imagen.

• Arquitectura: Una columna vertebral (backbone) MobileNetV2-Lite altamente comprimida (0.15 GFLOPs, ~29× más ligera que el detector débil de 4.49 GFLOPs).
• Objetivo de Entrenamiento: Los autores desafían la suposición de que los píxeles brutos carecen de señal suficiente. Introducen una recompensa de derivación contextual ($\Delta AP$), definida como el cambio en el mAP de todo el conjunto de datos si un fotograma específico es procesado por la nube en lugar del borde.
  • Para manejar la distribución de cola larga de $\Delta AP$ (donde la mayoría de los fotogramas generan una ganancia de cero), proponen dos objetivos transformados:
    • OffloadBin: Un objetivo de clasificación binaria ($1$ si $\Delta AP > 0$, de lo contrario $0$).
    • MORIC+: Un objetivo de regresión que normaliza la magnitud de las ganancias y pérdidas simétricamente alrededor de cero.
• Mecanismo: El estimador emite una puntuación; un umbralizador mapea esto a una decisión de derivación binaria, manteniendo la tasa de derivación objetivo $\rho$ mediante una estimación de cuantiles en ejecución.

2. Estimador Condicionado por la Pasada Débil (Post-Débil)

Este sirve como la línea base para la comparación y la estrategia de bajo presupuesto.

• Arquitectura: Un modelo XGBoost entrenado con características MORIC derivadas de la salida del detector débil.
• Rol: Aprovecha características más ricas disponibles después de la pasada débil, las cuales son "gratuitas" cuando el presupuesto de derivación es bajo, ya que la pasada débil debe ejecutarse de todos modos.

3. Lógica de Enrutamiento Adaptativo al Presupuesto

El sistema no se compromete con un solo emplazamiento. En su lugar, emplea un árbitro ajustado en offline que cambia entre las dos estrategias según $\rho$:

• Presupuesto Bajo ($\rho < \rho_{frontier}$): Utiliza Condicionado por la Pasada Débil. La pasada débil es inevitable para la mayoría de los fotogramas, por lo que las características más ricas mejoran la precisión del enrutamiento sin costo de cómputo adicional.
• Presupuesto Alto ($\rho \ge \rho_{ceiling}$): Utiliza Condicionado por la Pasada Débil nuevamente. En tasas de derivación muy altas, los pocos fotogramas mantenidos localmente tienen un peso significativo, y la señal más rica del estimador condicionado por la pasada débil supera los ahorros de cómputo.
• Presupuesto Medio ($\rho_{frontier} \le \rho < \rho_{ceiling}$): Utiliza Omisión de la Pasada Débil. Aquí, el "impuesto de cómputo" de ejecutar el detector débil en los fotogramas derivados es máximo. Omitir la pasada débil ahorra GFLOPs y latencia significativos, y el estimador de píxeles brutos es suficientemente preciso.

Los umbrales ($\rho_{frontier} \approx 0.3$ y $\rho_{ceiling} \approx 0.8$ en PASCAL VOC) se determinan offline mediante un barrido del presupuesto e identificando dónde la envolvente de rendimiento cambia.

Contribuciones Clave

1. Formalización del Impuesto de Cómputo Implícito: Los autores articulan que la suposición estándar de "débil primero" impone un costo de cómputo oculto ($\rho \cdot C_w$) que escala con el presupuesto de derivación, desalineándose con los despliegues de alto presupuesto.
2. Estimador de Omisión de la Pasada Débil Competitivo: Demuestran que un estimador ligero, basado solo en la imagen (0.15 GFLOPs), puede superar a las líneas base de condicionamiento débil más fuertes (que requieren la pasada completa de 4.49 GFLOPs) en calidad de enrutamiento. Esto desafía la premisa de que los píxeles brutos son insuficientes para el enrutamiento de detección.
3. Marco de Enrutamiento Adaptativo al Presupuesto: Proponen un sistema híbrido que selecciona el emplazamiento óptimo basado en el presupuesto de despliegue ($\rho$). Este enfoque traza la envolvente de precisión superior de ambas estrategias a lo largo de toda la curva operativa.
4. Línea Base de Condicionamiento Débil Ligera: Introducen un nuevo estimador condicionado por la pasada débil (XGBoost sobre MORIC) que supera a los métodos SOTA existentes (EdgeML, DCSB) en calidad de enrutamiento con un costo de inferencia de sub-milisegundo.

Resultados

Evaluado en el conjunto de datos PASCAL VOC con un detector débil MobileNetV3 y un detector fuerte ResNet50:

• Calidad de Enrutamiento: El estimador de Omisión de la Pasada Débil (entrenado en OffloadBin) logró una correlación de rango de Spearman de 0.557 con la ganancia oráculo, superando a la mejor línea base condicionada por la pasada débil (XGBoost/MORIC en 0.472) y superando significativamente al SOTA previo (EdgeML en 0.138).
• Eficiencia de Cómputo: En presupuestos de derivación altos ($\rho=0.9$), el enfoque de omisión de la pasada débil reduce el cómputo por fotograma en 3.90 GFLOPs (casi el costo total del detector débil) en comparación con el enfoque condicionado por la pasada débil.
• Latencia: El enfoque de omisión de la pasada débil reduce la latencia de extremo a extremo en hasta 19.1 ms (una reducción de aproximadamente el 30%) en $\rho=0.9$, ya que elimina la dependencia serial de la pasada débil de 24.70 ms.
• Envolvente de Precisión: El enrutador Adaptativo al Presupuesto logra un pico de mAP@0.5 de 0.808, que es +1.7 puntos porcentuales mayor que el rendimiento autónomo del modelo fuerte (0.791) y supera a todas las líneas base de emplazamiento fijo en todo el rango operativo. Traza la "envolvente superior" de las dos estrategias, dominando la frontera conjunta de precisión-cómputo.

Significancia y Reivindicaciones

El artículo afirma que el emplazamiento del estimador es un eje de diseño crítico y previamente poco explorado en la derivación selectiva. Al mover el estimador antes del modelo débil, el sistema puede evitar el "impuesto de cómputo" de ejecutar un detector débil en fotogramas que serán derivados.

Los autores enfatizan que ni la omisión de la pasada débil ni el condicionamiento por la pasada débil dominan toda la curva operativa. La significancia reside en el Enrutamiento Adaptativo al Presupuesto, que reconoce que la estrategia óptima depende del régimen. Este método permite que los sistemas alcancen la mejor precisión posible para un presupuesto dado mientras minimizan el cómputo y la latencia, superando efectivamente al propio modelo fuerte en puntos operativos específicos con muchos menos recursos computacionales. El trabajo sugiere que predecir si un fotograma es difícil es sustancialmente más barato y efectivo que predecir qué contiene el fotograma, permitiendo el uso de píxeles brutos para decisiones de enrutamiento de alta calidad.