Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models

1. Il Problema: Adattamento al Momento del Test (TTA) in Setting Black-Box

Il lavoro affronta una sfida critica nel deep learning moderno: l'adattamento di modelli pre-addestrati a distribuzioni di dati di test diverse (spostamento di distribuzione) quando il modello target è accessibile solo tramite API (Black-Box).

• Contesto: Molti modelli state-of-the-art (es. CLIP, modelli commerciali come Clarifai) sono distribuiti come servizi API opachi. L'utente può inviare un'immagine e ricevere una probabilità di output, ma non ha accesso a:
  • Parametri del modello o pesi.
  • Gradienti o architettura interna.
  • Dati di addestramento originali.
  • Token intermedi o feature representations.
• Limitazioni delle soluzioni esistenti:
  • Metodi White-Box (es. TENT, CoTTA): Richiedono accesso ai gradienti e ai parametri, impossibili in questo setting.
  • Metodi Gray-Box: Richiedono accesso a feature interne o token, spesso non disponibili nelle API commerciali.
  • Metodi Black-Box esistenti:
    • Refinement dell'output (es. LAME): Limitano la capacità adattiva agendo solo sulla post-elaborazione.
    • Ottimizzazione di ordine zero (ZOO): Tentano di apprendere perturbazioni di input (prompt) senza gradienti, ma soffrono di costi di query proibitivi (centinaia di chiamate API per campione) e instabilità (spesso collassano su soluzioni degenerate in setting non supervisionati).
    • Aumento dei dati (Augmentation): Aumenta i costi di API linearmente.
    • Purificazione (Diffusion): Introduce latenze elevate non adatte al tempo reale.

L'obiettivo è sviluppare un metodo che sia efficiente (una sola chiamata API per campione), stabile (senza collasso dell'accuratezza) e pratico (basso costo computazionale e monetario).

2. Metodologia: Il Framework BETA

Gli autori propongono BETA (Black-box Efficient Test-time Adaptation), un framework che utilizza un modello di guida (steering model) locale, leggero e completamente accessibile (White-Box), per guidare l'adattamento del modello Black-Box target senza modificarne i pesi.

Componenti Chiave:

1. Dual-Model Architecture:

   • Modello Target ($f_B$): Il potente modello Black-Box (es. ViT-B/16 o CLIP) accessibile solo via API.
   • Modello di Guida ($f_S$): Un modello locale leggero (es. ViT-S/16) con accesso completo a parametri e gradienti. Può essere inizializzato da checkpoint pubblici o costruito zero-shot (es. usando CLIP).

2. Prompting Visivo:

   • Si apprende un prompt visivo additivo $\delta$ che viene aggiunto all'immagine di input $x$ per creare $x' = x + \delta$.
   • L'obiettivo è ottimizzare $\delta$ per migliorare le previsioni del modello target.

3. Armonizzazione delle Previsioni (Prediction Harmonization):

   • Poiché non si può fare backpropagation su $f_B$, BETA non cerca di minimizzare direttamente l'entropia di $f_B$.
   • Invece, definisce una previsione armonizzata $p_H$ che fonde le uscite di entrambi i modelli:
     $$p_H(x') = \alpha \cdot p_S(x') + (1 - \alpha) \cdot p_B(x')$$
   • Si minimizza l'entropia di $p_H$ calcolando i gradienti solo attraverso il modello di guida $f_S$.
   • Base Teorica: L'entropia della miscela si decompone in un termine di entropia di $f_S$ e una divergenza Jensen-Shannon (JS) tra $f_S$ e $f_B$. Il termine JS agisce come un "ancoraggio" che impedisce al prompt di deviare verso classi in cui il modello target non è d'accordo, anche se non fornisce gradienti diretti.

4. Stabilizzazione dell'Ottimizzazione:
   Per evitare il collasso dell'ottimizzazione (tipico nei setting non supervisionati), BETA introduce due meccanismi:

   • Filtraggio dei Dati Orientato al Prompt: Si aggiornano i prompt solo su campioni con bassa entropia di previsione (affidabili), filtrando il rumore.
   • Regolarizzazione di Coerenza (Consistency Regularization): Si minimizza la divergenza KL tra le previsioni del modello di guida sull'immagine pulita ($x$) e sull'immagine con prompt ($x'$). Questo ancoraggio impedisce al prompt di distruggere le caratteristiche semantiche dell'immagine.

5. Ottimizzazione Congiunta:

   • Il prompt $\delta$ viene aggiornato usando la perdita armonizzata e la regolarizzazione.
   • I parametri di normalizzazione di $f_S$ vengono aggiornati separatamente per migliorare la sua capacità di guida.

3. Contributi Chiave

1. Studio Sistematico: Prima analisi completa del TTA in setting Black-Box stretto (solo input/output), evidenziando i fallimenti dei metodi attuali (ZOO, augmentation, purification).
2. Framework BETA: Introduzione di un metodo che bypassa le costose query API utilizzando un modello di guida locale con armonizzazione delle previsioni.
3. Fondamento Analitico: Dimostrazione teorica che l'obiettivo armonizzato crea un percorso di gradiente tracciabile e stabile, analizzando il trade-off tra rilevanza dell'obiettivo ed efficacia dell'ottimizzazione.
4. Nuovi SOTA: Stabilisce nuovi record di accuratezza per il TTA Black-Box, superando metodi White-Box e Gray-Box in termini di efficienza e prestazioni.

4. Risultati Sperimentali

Il metodo è stato valutato su ImageNet-C (corruzioni), ImageNet-S/R, EuroSAT e su un'API commerciale reale (Clarifai).

• Prestazioni su ImageNet-C (ViT-B/16):
  • BETA raggiunge il 62.6% di accuratezza, un miglioramento di +7.1% rispetto al modello sorgente.
  • Supera metodi White-Box potenti come TENT e CoTTA, pur avendo accesso solo all'API.
  • Supera metodi Black-Box esistenti (LAME, ZOO) che mostrano guadagni marginali o collasso (es. ZOO su corruzione "Contrast" crolla dal 32.6% al 4.1%).
• Prestazioni su Modelli Vision-Language (CLIP):
  • Su CLIP-B/16, BETA raggiunge il 63.4%, superando metodi specializzati come TPT e DynaPrompt.
• Efficienza e Costi (API Reale - Clarifai):
  • Costo: BETA ottiene un guadagno di +5.2% con un budget di soli $0.40 (circa 120 campioni).
  • Confronto ZOO: Ottenere prestazioni simili con ZOO richiederebbe oltre $100 (250 volte più costoso).
  • Latenza: BETA mantiene la velocità di inferenza standard (1 chiamata API per campione), mentre ZOO e augmentation richiedono molte chiamate, rendendoli lenti e impraticabili per il tempo reale.
• Robustezza: BETA dimostra stabilità sotto sbilanciamento delle etichette, shift di dominio continui e con batch size piccoli.

5. Significato e Impatto

Il lavoro di BETA è significativo per diversi motivi:

• Praticità Reale: Risolve il problema del costo e della latenza, rendendo l'adattamento TTA fattibile per applicazioni commerciali dove le API sono a pagamento e i dati arrivano in streaming.
• Superamento dei Limiti di Accesso: Dimostra che un modello locale più piccolo e debole può "guidare" un modello Black-Box molto più potente, estraendo segnali di adattamento utili senza bisogno di accesso interno.
• Versatilità: Funziona sia su modelli di visione pura (ViT) che su modelli Vision-Language (CLIP) e si adatta a domini completamente nuovi (es. dermatologia, telerilevamento) senza addestramento specifico del modello di guida.
• Implicazioni Future: Il paradigma di un "consigliatore" locale che guida un "esecutore" remoto opaco è rilevante non solo per la visione artificiale, ma anche per l'adattamento di agenti LLM e sistemi multi-componente.

In sintesi, BETA trasforma l'adattamento in ambienti "al buio" da un problema irrisolvibile o troppo costoso in una soluzione efficiente, stabile e pronta per la produzione.