Data-Efficient Stream-Based Active Distillation for Scalable Edge Model Deployment

Resumen Técnico: Destilación Activa Basada en Flujo con Eficiencia de Datos para el Despliegue Escalable de Modelos en el Borde (Edge)

Planteamiento del Problema
Los sistemas de cámaras en el borde (edge) se están expandiendo rápidamente para cubrir diversos dominios visuales, lo que requiere actualizaciones frecuentes de los modelos para adaptarse a los cambios de distribución y nuevos entornos. Sin embargo, los dispositivos de borde poseen una potencia computacional y memoria limitadas, lo que restringe el tamaño y el rendimiento de las Redes Neuronales Profundas (DNN) desplegadas. Si bien un servidor central puede albergar un modelo "Maestro" complejo para generar etiquetas pseudo-etiquetas para el entrenamiento de modelos "Estudiantes" ligeros en el borde, la transmisión de todos los fotogramas de video sin procesar para su anotación es inviable debido a las restricciones de ancho de banda y los costos de almacenamiento. Los métodos existentes de Destilación Activa Basada en Flujo (SBAD) seleccionan imágenes basadas en predicciones de alta confianza para reducir el ruido, pero este enfoque suele generar conjuntos de datos redundantes y transferencias de datos innecesarias, fallando en maximizar la utilidad del limitado presupuesto de transmisión.

Metodología
Los autores proponen D-SBAD (Destilación Activa Basada en Flujo con Eficiencia de Datos), un marco de selección de dos etapas diseñado para optimizar la relación entre la calidad del modelo y los costos de transmisión. El sistema opera bajo una dinámica cliente-servidor:

1. Lado del Cliente (Borde): Un modelo Estudiante ligero procesa un flujo de video en tiempo real. En lugar de transmitir inmediatamente un número fijo de fotogramas, el cliente emplea una estrategia SELECT (específicamente TOP-CONFIDENCE) para identificar un "conjunto de candidatos" ($S$) más amplio de fotogramas a lo largo de una ventana temporal. Estos candidatos se almacenan temporalmente en un búfer en el dispositivo.
2. Etapa de Filtrado: Un módulo de filtrado ligero en el dispositivo procesa el conjunto de candidatos $S$ para seleccionar un subconjunto final y diverso ($F$) de tamaño $B$ (el presupuesto de transmisión). Este paso tiene como objetivo reducir la redundancia y asegurar que los ejemplos seleccionados representen eficazmente el dominio de la cámara. El artículo evalúa varias estrategias de filtrado sin etiquetas, que incluyen:
   • Farthest First (FF - El más lejano primero): Un algoritmo determinista que selecciona la primera muestra de la región más densa del espacio latente y añade iterativamente muestras que minimicen la similitud de coseno máxima con el conjunto ya seleccionado, maximizando la diversidad.
   • Training-Free Dataset Pruning (TFDP - Poda de Conjunto de Datos Libre de Entrenamiento): Utiliza una Puntuación de Complejidad de Forma basada en los perímetros y áreas de las cajas de detección.
   • Moderate Coreset (Coreset Moderado): Selecciona muestras más cercanas a la mediana de la distancia desde el centro del conjunto de datos en el espacio latente.
   • Least Confidence (Menor Confianza): Selecciona muestras donde el Estudiante tiene la menor confianza.
3. Lado del Servidor: El subconjunto filtrado $F$ se transmite al servidor, donde un modelo Maestro potente genera las pseudo-etiquetas. El modelo Estudiante se ajusta (fine-tuning) utilizando estos ejemplos pseudo-etiquetados.

Contribuciones Clave

• Pipeline de Selección de Dos Etapas: El artículo introduce una modificación novedosa al marco SBAD al insertar una etapa de filtrado entre el muestreo inicial y la transmisión. Esto permite al sistema explorar un conjunto de datos más grande ($|S| = \gamma B$) antes de comprometerse con un subconjunto más pequeño y de alta calidad para la transmisión.
• Filtrado Basado en la Diversidad: Los autores demuestran que acoplar el muestreo de alta confianza con un enfoque basado en la diversidad (específicamente el algoritmo Farthest First) mejora significativamente la calidad del modelo en comparación con los baselines de solo confianza.
• Eficiencia Sin Etiquetas: Las estrategias de filtrado propuestas operan sin etiquetas de verdad de campo (ground-truth), lo que las hace adecuadas para escenarios de aprendizaje en el borde no supervisados o semi-supervisados donde la anotación manual no está disponible.
• Escalabilidad: El marco está diseñado para reducir los costos de ancho de banda y entrenamiento mientras mantiene o mejora el rendimiento del modelo, abordando un cuello de botella crítico en el despliegue escalable en el borde.

Resultados Experimentales
Los experimentos se realizaron utilizando el conjunto de datos Watch and Learn Time-lapse (WALT), que comprende grabaciones de 15 cámaras capturando circulación vehicular. La configuración utilizó arquitecturas YOLO11, con un YOLO11n (3.2M de parámetros) como Estudiante y un YOLO11x (68.2M de parámetros) como Maestro.

• Rendimiento vs. Baselines: La estrategia Farthest First (FF) produjo el mayor rendimiento. A pesar de utilizar ocho veces menos imágenes que el baseline SBAD-$\gamma$ sin filtrar (que transmite el conjunto recolectado completo), FF logró puntuaciones mAP50−95 comparables.
• Comparación con Modelos Pre-entrenados: Los estudiantes entrenados con la estrategia FF superaron el rendimiento del modelo YOLO11n pre-entrenado a partir de las 200 iteraciones y eventualmente superaron al Maestro YOLO11x pre-entrenado a las 3200 iteraciones.
• Rendimientos Decrecientes: Aumentar el multiplicador del tamaño del conjunto de candidatos ($\gamma$) de 1 (sin exploración) a 2 (exploración moderada) resultó en ganancias significativas de rendimiento. Sin embargo, aumentos posteriores de $\gamma$ (hasta 12) mostraron rendimientos decrecientes, lo que sugiere que existe un equilibrio óptimo en tamaños de conjunto de recolección moderados.
• Estrategias Ineficaces: En este caso de uso específico, TFDP y Moderate Coreset funcionaron por debajo del baseline sin filtrar, lo que indica que no todas las estrategias de poda son universalmente efectivas.

Significancia y Reivindicaciones
El artículo afirma que D-SBAD mejora la escalabilidad de los sistemas de aprendizaje en el borde al maximizar la diversidad de las representaciones (embeddings) con un overhead mínimo. Los autores sostienen que su enfoque permite el despliegue de modelos de alta calidad con un mínimo de consultas al conjunto de datos y costos de transmisión reducidos. Destacan la practicidad de utilizar representaciones compactas generadas por modelos Vision Transformer (ViT) compatibles con el borde (como DINOv2) para la etapa de filtrado. El trabajo concluye que una estrategia de flujo basada en alta confianza, cuando se combina con un enfoque de filtrado basado en la diversidad, produce modelos de alta calidad con un mínimo de consultas al conjunto de datos, ofreciendo una solución viable para la adaptación continua en entornos de borde en evolución sin requerir etiquetas en el tiempo de prueba. Se sugiere como trabajo futuro investigar pipelines de auto-supervisión ligeros que puedan ejecutarse completamente en dispositivos de borde para eliminar la dependencia del servidor por completo.