Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging

Resumen Técnico: Adaptación de Prueba Colaborativa entre Dispositivos con Optimización de Orden Cero y Fusión de Modelos

1. Planteamiento del Problema

Las redes neuronales profundas (DNN) suelen sufrir una degradación del rendimiento debido a los cambios de dominio (domain shifts), donde la distribución de los datos de prueba difiere significativamente de los datos de entrenamiento. Si bien la Adaptación en Tiempo de Prueba (TTA, por sus siglas en inglés) ofrece una solución al actualizar los modelos sobre la marcha utilizando datos de prueba no etiquetados, los métodos existentes dependen predominantemente de la retropropagación (BP). La BP es intensiva en recursos, ya que requiere una gran memoria para almacenar grafos computacionales, activaciones intermedias y gradientes de pérdida. Esto hace que la TTA estándar sea inviable para dispositivos periféricos (edge devices) con recursos limitados (por ejemplo, teléfonos móviles, sensores IoT) que frecuentemente encuentran cambios de dominio pero carecen de la capacidad computacional para la BP.

Además, aunque existen marcos de trabajo de TTA Colaborativa entre Dispositivos (CDC-TTA) para compartir información de modelos entre dispositivos con abundantes y limitados recursos, la simple aplicación de la Optimización de Orden Cero (ZOO) —que evita la BP utilizando únicamente pasos hacia adelante (forward passes)— a pesos de modelos de alta dimensión, resulta en una convergencia lenta y un rendimiento deficiente.

2. Metodología

Los autores proponen un nuevo método de TTA diseñado para dispositivos con recursos limitados dentro de un marco de trabajo CDC-TTA. El enfoque integra tres pilares fundamentales: Optimización de Orden Cero, Fusión de Modelos y una estrategia de preprocesamiento única.

A. Visión General del Marco de Trabajo
El sistema opera en una red heterogénea de dispositivos que comparten pesos de modelos a través de un servidor central.

• Lado del Servidor: Realiza un preprocesamiento pesado en los modelos compartidos antes de su distribución.
• Lado del Dispositivo: Ejecuta la TTA utilizando los modelos preprocesados sin retropropagación.

B. Preprocesamiento en el Lado del Servidor
Para mitigar la dificultad de optimización de alta dimensión inherente a ZOO y reducir la redundancia, el servidor aplica tres subcomponentes a los "vectores de tarea" (la diferencia entre los pesos del modelo ajustado y un modelo base):

1. Supresión de Pesos No Influyentes (NWS): Aplica un filtrado top-k% a cada vector de tarea, eliminando los elementos con valores absolutos bajos que no influyen significativamente en el proceso de fusión.
2. Reducción de Redundancia (RR) mediante Aproximación de Bajo Rango: Reconociendo que los vectores de tarea de dominios similares son redundantes, el método aplica la Descomposición en Valores Singulares (SVD) a la matriz de tareas concatenadas. Esto aproxima la matriz con un rango menor, agrupando efectivamente la información similar.
3. Selección de Rango Adaptativo (ARS): Determina automáticamente el rango óptimo para la aproximación de bajo rango para cada grupo de pesos del modelo basándose en un umbral de error de recuperación. Esto minimiza el número de parámetros a optimizar preservando la información necesaria.

C. Adaptación en Tiempo de Prueba en el Lado del Dispositivo
El dispositivo con recursos limitados recibe el modelo base, las matrices de tareas reducidas y los coeficientes de fusión iniciales.

1. Fusión de Modelos: El modelo objetivo se construye fusionando el modelo base con las matrices de tareas reducidas mediante una combinación lineal de coeficientes de fusión.
2. Optimización de Orden Cero (ZOO): En lugar de optimizar millones de pesos del modelo, el dispositivo optimiza únicamente los coeficientes de fusión de baja dimensión. El método utiliza el Descenso de Gradiente Estocástico de Orden Cero (ZO-SGD) con la Aproximación de Perturbación Estocástica Simultánea (SPSA). Calcula pseudo-gradientes midiendo la diferencia de pérdida entre los pasos hacia adelante con perturbaciones positivas y negativas aplicadas a los coeficientes.
3. Supresión de Memoria: Para reducir aún más el uso de memoria, el método emplea un "truco de semilla aleatoria". En lugar de almacenar vectores de perturbación aleatorios, el dispositivo toma una semilla aleatoria para cada iteración y vuelve a muestrear las perturbaciones, asegurando que los costos de memoria sean comparables a las operaciones de inferencia estándar.

3. Contribuciones Clave

• TTA Amigable con los Recursos: El artículo propone un método de TTA ejecutable en dispositivos con pequeñas capacidades de memoria al reemplazar la retropropagación con la Optimización de Orden Cero.
• Reducción de Dimensionalidad mediante Fusión de Modelos: Al optimizar los coeficientes de fusión en lugar de los pesos brutos del modelo, el método reduce drásticamente la dimensión de optimización, abordando la convergencia lenta típicamente asociada con ZOO en espacios de alta dimensión.
• Preprocesamiento Sinérgico: Se introduce un flujo de preprocesamiento único (NWS, RR y ARS) para recortar los pesos no influyentes y reducir la redundancia entre modelos, mejorando la eficiencia del proceso ZOO.
• Compatibilidad con Cuantización: El método es aplicable a modelos cuantizados donde la retropropagación es intrínsecamente inejecutable, demostrando una mejora en la precisión de la predicción en tales escenarios.

4. Resultados Experimentales

Los autores evaluaron el método en bancos de pruebas de corrupción comunes (CIFAR10-C, CIFAR100-C, ImageNet-C) y un banco de pruebas de transferencia de estilo (Stylized-ImageNet).

• Rendimiento: El método propuesto superó consistentemente a los métodos de TTA sin BP existentes (BN stats, T3A) y al competidor más cercano, CoLA, a través de varios conjuntos de datos y tipos de corrupción. Por ejemplo, en ImageNet-C con ResNet-50, el método propuesto logró una tasa de error promedio inferior (59.4%) en comparación con CoLA (61.3%).
• Eficiencia de Memoria: El método redujo significamente el uso de memoria en comparación con la TTA convencional basada en BP. Mientras que los métodos basados en BP requerían almacenar grandes grafos computacionales y gradientes (por ejemplo, ~9.37 GB en la ilustración de los autores), el método propuesto redujo esto a niveles compatibles con las operaciones de solo inferencia (por ejemplo, ~1.84 GB).
• Estudios de Ablación: Los experimentos confirmaron que la combinación de Fusión de Modelos, ZO-SGD y la suite completa de preprocesamiento (NWS, RR, ARS) produjo los mejores resultados, donde cada componente contribuyó al rendimiento y la eficiencia general.

5. Significación y Reivindicaciones

El artículo afirma que su principal significación radica en hacer que la Adaptación en Tiempo de Prueba sea factible para dispositivos periféricos con recursos restringidos, un requisito crítico para aplicaciones del mundo real como la vigilancia automatizada, el control de calidad en la fabricación y la salud mediante dispositivos vestibles (wearables). Al aprovechar el marco de trabajo CDC-TTA, el método transforma el desafío de la optimización de alta dimensión en un problema de baja dimensión mediante la fusión de modelos y el preprocesamiento. Los autores sostienen que este enfoque equilibra con éxito la compensación entre las limitaciones de recursos computacionales y la necesidad de modelos robustos y adaptativos en entornos dinámicos, ofreciendo una solución práctica donde la TTA tradicional basada en BP falla.