Resumen Técnico: Tempora – Caracterización de la Utilidad Contingente al Tiempo de la Adaptación de Modelos en Tiempo de Prueba Online

1. Planteamiento del Problema

Los modelos de aprendizaje automático desplegados en sistemas del mundo real no estacionarios suelen sufrir una degradación del rendimiento cuando la distribución de prueba se desvía de la distribución de entrenamiento (desplazamiento de covariables o covariate shift). La Adaptación en Tiempo de Prueba (TTA, por sus siglas en inglés) aborda esto permitiendo que los modelos se adapten utilizando únicamente datos no etiquetados entrantes y parámetros preentrenados, sin requerir datos de origen ni etiquetas.

Sin embargo, las evaluaciones convencionales de los métodos de TTA sufren un fallo crítico: asumen un tiempo de procesamiento ilimitado. Los benchmarks estándar reportan mejoras de precisión agregada ignorando la sobrecarga computacional introducida por los mecanismos de adaptación (por ejemplo, actualizaciones de gradiente, optimización iterativa). En despliegues sensibles a la latencia (por ejemplo, conducción autónoma, fotografía en dispositivos, soporte de decisiones clínicas), una predicción correcta que llega después de que un usuario ha cerrado una aplicación o un robot ha comprometido una acción es inútil. El paradigma de evaluación actual no logra contabilizar el compromiso entre precisión y latencia (accuracy-latency trade-off), lo que conduce a la selección de métodos que pueden ser computacionalmente "insolventes" bajo restricciones temporales del mundo real.

2. Metodología: El Marco de Trabajo Tempora

Los autores introducen Tempora, un marco diseñado para evaluar la TTA bajo presión temporal. Operacionaliza el compromiso entre precisión y latencia a través de tres escenarios temporales distintos, cada uno con un protocolo de evaluación específico y una métrica de utilidad contingente al tiempo correspondiente.

2.1 Escenarios Temporales y Métricas

El marco define la utilidad $U$ como un mapeo funcional que vincula la trayectoria conjunta de las predicciones y la latencia a un valor escalar, condicionado al contexto de despliegue:

1. Utilidad Discreta (Liderada por el Entorno):

   • Escenario: Flujos asíncronos con plazos estrictos (por ejemplo, redes de sensores). Los lotes (batches) llegan a intervalos fijos $\gamma$. Si la canalización (pipeline) está ocupada, los lotes se omiten.
   • Métrica: $U_{discrete} = \alpha \cdot \bar{a}_{served}$, donde $\alpha$ es la disponibilidad (fracción de lotes servidos) y $\bar{a}_{served}$ es la precisión en los lotes servidos.
   • Protocolo: Utiliza una canalización de modelo único con un búfer de tamaño de lote. A diferencia del trabajo previo que utiliza modelos de respaldo para garantizar la disponibilidad, este protocolo expone el coste de los lotes perdidos.

2. Utilidad Continua (Liderada por el Usuario):

   • Escenario: Entornos interactivos donde el valor decae con la latencia (por ejemplo, etiquetado de fotos en dispositivos). El flujo se sincroniza con la emisión de la predicción; no se omiten lotes, pero los retrasos degradan la experiencia del usuario.
   • Métrica: $U_{continuous} = \bar{a} \cdot \bar{\kappa} + \text{Cov}(a, \kappa)$, donde $\bar{\kappa}$ es un factor de capacidad de respuesta derivado de un decaimiento hiperbólico. La latencia $d_i$ incurre en una penalización $\kappa_i = (1 + d_i/(T-\lambda))^{-1}$, donde $T$ es un umbral de interacción humano-computadora (HCI).
   • Protocolo: Penaliza las predicciones tardías de forma no lineal, reflejando que un retraso de 100 ms es perceptualmente más severo que un retraso de 1 s respecto a una línea base.

3. Utilidad Amortizada (Liderada por los Recursos):

   • Escenario: Despliegues con presupuesto limitado (por ejemplo, drones alimentados por batería). La sobrecarga total de adaptación está topada, pero la latencia por predicción es agnóstica.
   • Métrica: $U_{amortised} = \beta \cdot \bar{a}_{adapt} + (1-\beta) \cdot \bar{a}_{frozen}$, donde $\beta$ es la fracción del flujo procesado con adaptación antes de que se agote el presupuesto $B$.
   • Protocolo: El modelo se adapta hasta que se consume el presupuesto de sobrecarga acumulada, y luego se congela para el resto del proceso. Esto revela si la adaptación genera mejoras duraderas o causa un desplazamiento que perjudica el rendimiento post-congelación.

2.2 Configuración Experimental

• Métodos: Se evaluaron siete métodos de TTA completo (Fully TTA): AdaBN, LAME, NEO (sin gradiente) y Tent, ETA, SHOT-IM, SAR (basados en gradiente).
• Dataset: ImageNet-C (15 tipos de corrupción, nivel de severidad 5) con un backbone ResNet-50.
• Línea Base: Inferencia estándar (no adaptativa).
• Evaluación: 240 evaluaciones temporales por método a través de 16 escenarios (5 utilizaciones discretas, 5 umbrales continuos, 6 presupuestos amortizados) y 15 tipos de corrupción.

3. Hallazgos Clave

3.1 Inestabilidad de Clasificación (Rank Instability)

El hallazgo más significativo es la inestabilidad de clasificación: el método considerado óptimo bajo evaluación offline (sin restricciones) frecuentemente rinde por debajo de otros bajo presión temporal.

• ETA, el método de vanguardia en entornos convencionales (clasificado 1º en offline), pierde en el 41.2% de las evaluaciones temporales.
• Bajo presión estricta (por ejemplo, $\rho=100\%$, $T=50$ms), la tasa de victoria de ETA cae al 0–7%.
• El "mejor" método varía significativamente según el tipo de corrupción y la restricción temporal específica. Ningún método domina de forma única en todos los escenarios.

3.2 Compromisos Específicos por Corrupción

La inestabilidad de clasificación está modulada por el tipo de corrupción. Por ejemplo, bajo evaluación continua con una ventana de 50ms, la correlación de Spearman entre las clasificaciones offline y las temporales oscila entre $r_s = -0.74$ (brillo) y $r_s = 0.21$ (ruido gaussiano).

• Mecanismo: Las diferentes corrupciones perturban las características de distintas formas (por ejemplo, el brillo desplaza los píxeles uniformemente mientras que el ruido gaussiano los perturba de forma independiente), sin embargo, los métodos actuales asignan cómputo de manera uniforme. Las clasificaciones offline inducen a error en la selección de métodos cuando el tipo de corrupción no se alinea con el perfil de sobrecarga del método.

3.3 Compromisos Específicos por Presión

La inestabilidad de clasificación aumenta con la presión temporal.

• Evaluación Amortizada: Con presupuestos ajustados ($B=1$s), SHOT-IM domina debido a su robustez tras la congelación. Con presupuestos relajados ($B=32$s), ETA domina.
• Descomposición del Fallo: El artículo identifica tres modos de fallo derivados de una sobrecarga injustificada:
  1. Colapso de Disponibilidad: En entornos discretos, los métodos de alta sobrecarga (por ejemplo, Tent, SAR) pierden demasiados lotes, limitando su utilidad independientemente de su alta precisión en los lotes servidos.
  2. Erosión de la Precisión: En entornos continuos, la latencia elevada descuenta la precisión de forma tan severa que incluso los métodos de alto rendimiento producen una utilidad baja.
  3. Sobrecarga Improductiva: En entornos amortizados, métodos como Tent, ETA y SAR agotan su presupuesto rápidamente pero no logran producir representaciones estables, resultando en una precisión congelada cercana a 0.1% (peor que la inferencia estándar).

4. Significado y Contribuciones

El artículo sostiene que Tempora proporciona la primera lente sistemática para evaluar la TTA a través de diversos controles temporales, revelando que:

1. Las clasificaciones offline son insuficientes: Los profesionales no pueden seleccionar métodos de TTA basándose únicamente en la precisión offline; el "mejor" método es contingente al presupuesto de tiempo y al tipo de corrupción del despliegue.
2. Objetivos de diseño para la adaptación desplegable: Para ser viables, los métodos futuros deben poseer:
   • Asignación condicionada a la corrupción: Adaptar la asignación de cómputo basada en la dificultad del desplazamiento específico.
   • Escalado consciente del tiempo: Limitar los retrasos de respuesta para cumplir con los plazos.
   • Rendimiento de cualquier momento (Anytime performance): Asegurar que la sobrecarga transcurrida genere ganancias sobre la inferencia estándar, independientemente de cuándo se detenga la adaptación.

El marco no propone nuevos algoritmos adaptativos, sino un protocolo de evaluación más realista que expone la "insolvencia computacional" de los métodos actuales de vanguardia en escenarios del mundo real. Al cambiar el enfoque de "¿qué método es más preciso?" a "¿qué método ofrece una precisión aceptable a un coste viable?", Tempora pretende guiar el desarrollo de sistemas de adaptación verdaderamente desplegables y contingentes al tiempo.