Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models

1. El Problema: Adaptación en Tiempo de Prueba (TTA) para Modelos de Caja Negra

El aprendizaje profundo moderno sufre degradación de rendimiento cuando se despliega en entornos reales debido a cambios en la distribución de los datos entre el entrenamiento y la prueba (distribution shifts). La Adaptación en Tiempo de Prueba (TTA) busca resolver esto ajustando el modelo sobre la marcha utilizando datos de destino no etiquetados.

Sin embargo, la mayoría de los métodos actuales asumen acceso completo al modelo (caja blanca) o al menos a sus características intermedias (caja gris). En la realidad, muchos modelos de vanguardia (como CLIP o modelos de visión por API comercial) se despliegan como cajas negras estrictas:

• Acceso limitado: El usuario solo puede enviar una imagen cruda y recibir un vector de probabilidades (softmax). No hay acceso a parámetros, gradientes, arquitectura ni datos de pre-entrenamiento.
• Costo y Latencia: Cada llamada a la API tiene un costo monetario y una latencia de red.
• Limitaciones de métodos existentes:
  • Refinamiento de salida (ej. LAME): Tiene capacidad de adaptación limitada al solo modificar la salida.
  • Optimización de orden cero (ZOO): Permite aprender perturbaciones de entrada, pero requiere miles de llamadas a la API (costo prohibitivo) y es inestable en configuraciones no supervisadas, colapsando a menudo en soluciones degeneradas.
  • Purificación/Aumento: Introducen alta latencia o costos lineales con el número de vistas aumentadas.

El objetivo es desarrollar un método que sea eficiente (una sola llamada a la API por muestra), estable (sin colapso de rendimiento) y eficaz (mejora significativa sobre el modelo base) en este escenario estricto.

2. Metodología: BETA (Black-box Efficient Test-time Adaptation)

Los autores proponen BETA, un marco que utiliza un modelo de dirección (steering model) ligero y local para guiar la adaptación del modelo objetivo de caja negra sin modificar sus pesos internos.

Componentes Clave:

1. Arquitectura Dual:

   • Modelo Objetivo ($f_B$): La API de caja negra potente pero inaccesible (ej. ViT-B/16, CLIP).
   • Modelo de Dirección ($f_S$): Un modelo local ligero (ej. ViT-Small) con acceso total a sus parámetros y gradientes. Se inicializa desde checkpoints públicos y no requiere entrenamiento específico para la tarea.

2. Prompt Visual Aditivo:
   En lugar de ajustar los pesos de $f_B$, BETA aprende una perturbación aditiva $\delta$ (un "prompt" visual) que se suma a la imagen de entrada: $x' = x + \delta$. El objetivo es optimizar $\delta$ para mejorar las predicciones.

3. Armonización de Predicciones (Prediction Harmonization):
   Dado que los gradientes de $f_B$ son inaccesibles, transferir directamente los gradientes de $f_S$ es ineficaz (similitud coseno $\approx 0$). BETA introduce un objetivo compartido:

   • Se define una predicción armonizada $p_H$ que combina las salidas de ambos modelos:
     $$p_H(x') = \alpha \cdot p_S(x') + (1 - \alpha) \cdot p_B(x')$$
   • Se minimiza la entropía de esta mezcla. Aunque no se puede retropropagar a través de $f_B$, el término de divergencia Jensen-Shannon (JS) en la descomposición de la entropía actúa como un "ancla". Esto obliga a que el prompt optimizado para $f_S$ también sea beneficioso para $f_B$, creando un camino de gradiente tratable a través de $f_S$ que apunta en la dirección correcta para $f_B$.

4. Mecanismos de Estabilización:
   Para evitar el colapso del aprendizaje (común en optimización no supervisada de prompts aleatorios), BETA incorpora dos técnicas:

   • Filtrado de Datos Orientado al Prompt: Solo se utilizan muestras con baja entropía de predicción en el modelo de dirección ($H(p_S) < \epsilon$) para actualizar el prompt. Esto elimina muestras ruidosas que generarían gradientes erróneos.
   • Regularización de Consistencia: Se añade una pérdida de divergencia KL entre las predicciones de la imagen limpia y la imagen con prompt en el modelo de dirección. Esto evita que el prompt destruya la semántica de la imagen para simplemente minimizar la entropía (colapso).

5. Optimización Conjunta:
   El proceso es en una sola pasada (one-pass). Se actualiza el prompt $\delta$ y los parámetros de normalización de $\theta$ del modelo de dirección utilizando un solo gradiente por lote, manteniendo la latencia mínima.

3. Contribuciones Clave

1. Estudio Sistemático del Escenario de Caja Negra Estricta: Identifican y demuestran las limitaciones críticas de los métodos actuales (ZOO, refinamiento de salida, purificación) en entornos donde solo hay acceso a entrada/salida.
2. Propuesta de BETA: Un marco que logra adaptación estable y eficiente mediante:
   • Uso de un modelo de dirección local.
   • Armonización de predicciones para crear un objetivo de optimización compartido.
   • Regularización y filtrado para garantizar estabilidad sin etiquetas.
   • Fundamentación analítica que demuestra cómo el término JS alinea el gradiente local con el objetivo global.
3. Rendimiento de Estado del Arte (SOTA): BETA supera a métodos de caja blanca (como TENT, CoTTA) y gris en escenarios de caja negra, con un costo de API insignificante.

4. Resultados Experimentales

Los autores evaluaron BETA en varios benchmarks y escenarios reales:

• ImageNet-C (ViT-B/16 y ViT-L/16):
  • BETA logra un +7.1% de precisión sobre el modelo base en ViT-B/16, superando a métodos de caja blanca como TENT (+4.1%) y SAR (+8.1% en algunos casos, pero con acceso total).
  • Supera consistentemente a métodos de caja negra como LAME (que a veces degrada el rendimiento) y ZOO (que sufre de inestabilidad y colapso en dominios como "Contrast").
• Modelos de Visión-Lenguaje (CLIP):
  • En CLIP-B/16, BETA alcanza un 63.4% de precisión, superando a métodos especializados de caja blanca (TPT, DynaPrompt) y gris.
• API Comercial Real (Clarifai):
  • Eficiencia de Costo: BETA logra una mejora de +5.2% con un presupuesto de solo $0.40.
  • Comparación con ZOO: Para lograr un rendimiento similar, un método basado en ZOO requeriría más de $100, lo que representa una ventaja de 250x en costos.
  • Velocidad: BETA mantiene la velocidad de inferencia estándar (una llamada por imagen), mientras que ZOO introduce latencia masiva debido a las múltiples llamadas.
• Generalización: Funciona bien en dominios no vistos (EuroSAT, Derm7pt) incluso cuando el modelo de dirección es un modelo genérico (CLIP natural) y el objetivo es especializado (BiomedCLIP), demostrando que no se necesita un modelo de dirección fuerte en el dominio objetivo, sino solo una señal de gradiente utilizable.

5. Significado e Impacto

• Viabilidad Práctica: BETA demuestra que la adaptación en tiempo de prueba es posible y rentable para modelos desplegados como servicios API (SaaS), un escenario común en la industria que antes se consideraba intratable para TTA no supervisado.
• Paradigma de "Asesor": El trabajo introduce un patrón de diseño donde un modelo pequeño, local y controlable ("asesor") guía el comportamiento de un modelo grande, opaco y remoto ("ejecutor") sin modificar sus pesos. Esto es relevante no solo para visión, sino potencialmente para sistemas de agentes de LLM.
• Eficiencia: Al reducir el costo de API en órdenes de magnitud (250x) comparado con ZOO, hace que la adaptación dinámica sea viable para aplicaciones en tiempo real y de alto volumen.
• Estabilidad: Resuelve el problema de la inestabilidad en la optimización de prompts no supervisados mediante regularización y filtrado inteligente, evitando el colapso semántico.

En resumen, BETA cierra la brecha entre la teoría de la adaptación de modelos y la realidad de los despliegues comerciales de IA, ofreciendo una solución robusta, económica y de baja latencia para mantener el rendimiento de los modelos ante cambios de distribución sin necesidad de acceso interno al modelo.