UNBOX: Unveiling Black-box visual models with Natural-language

1. Il Problema: L'Opacità dei Modelli Visivi in Produzione

Con l'adozione crescente di modelli di visione artificiale proprietari forniti esclusivamente tramite API (black-box), emerge una crisi di fiducia e trasparenza. In questi scenari:

• Accesso limitato: Gli utenti vedono solo le probabilità di output, senza accesso a pesi, gradienti, architettura, dati di training o attivazioni interne.
• Limiti delle tecniche esistenti: I metodi di spiegazione attuali (come LIME, SHAP, o approcci basati su gradienti) richiedono accesso interno al modello o dati di training annotati. I metodi basati su concetti (concept-based) necessitano spesso di supervisione o accesso ai neuroni.
• Conseguenze: L'opacità impedisce l'audit significativo, il rilevamento di bias, l'analisi dei fallimenti e la comprensione delle decisioni del modello in scenari "open-world".

Il paper si pone la domanda fondamentale: È possibile scoprire il ragionamento di un classificatore visivo trattandolo come una scatola nera completa, senza alcuna conoscenza interna?

2. Metodologia: Il Framework UNBOX

UNBOX è un framework per la dissezione di modelli a livello di classe, progettato per operare in condizioni totalmente data-free, gradient-free e backpropagation-free.

L'approccio riformula il problema della massimizzazione dell'attivazione (tradizionalmente risolta ottimizzando nello spazio delle immagini tramite gradienti) come un problema di ricerca semantica nello spazio del testo.

Componenti Chiave del Sistema:

1. Ottimizzazione Semantica Guidata da LLM:

   • Il sistema utilizza un agente LLM per generare e raffinare descrittori testuali (prompt).
   • Un modello di diffusione Text-to-Image (es. FLUX) converte il prompt testuale in un'immagine sintetica.
   • L'immagine viene passata al classificatore black-box per ottenere la probabilità di attivazione della classe target ($s_t$).
   • Poiché non ci sono gradienti, il feedback è un singolo valore scalare.

2. Segnale Semantico (Trend e Intensity):
   Per guidare l'ottimizzazione senza gradienti, UNBOX trasforma l'evoluzione temporale della probabilità in due segnali discreti:

   • Trend ($T_t$): Indica se la descrizione sta migliorando o peggiorando rispetto alla media esponenziale passata (stati: up, down, flat).
   • Intensity ($I_t$): Misura quanto il prompt è lontano dalla saturazione dell'attivazione (stati: strong, moderate, micro).
     Questi stati mappano su template testuali che istruiscono gli agenti LLM su come modificare il prompt.

3. Agenti Cooperanti:

   • Feedback Agent ($A_f$): Analizza il segnale semantico e il contesto per generare un feedback strutturato su come modificare il prompt.
   • Updater Agent ($A_u$): Applica le modifiche al prompt mantenendo la fluidità linguistica e la coerenza del soggetto.

4. Contesti di Ottimizzazione (Global & Local):
   Per evitare oscillazioni e convergenza su descrittori transitori:

   • Global Context: Accumula i prompt ad alta attivazione e i loro unità lessicali atomiche ($D_{best}$) per preservare i concetti semantici persistenti scoperti durante la ricerca.
   • Local Context: Memorizza le interazioni recenti prompt-feedback per guidare la stabilità a breve termine.

3. Contributi Principali

1. Framework Data-Free e Gradient-Free: UNBOX è il primo metodo in grado di eseguire una dissezione globale di modelli visivi utilizzando esclusivamente le probabilità di output, senza accedere a pesi, gradienti o dati di training.
2. Meccanismo di Ottimizzazione Testuale: Introduce un ciclo di ottimizzazione iterativo guidato da agenti LLM che sostituisce la discesa del gradiente con una ricerca semantica strutturata.
3. Validazione Estensiva: Dimostra che è possibile recuperare concetti semantici coerenti, allineati ai dati di training e utili per l'audit dei bias, operando sotto i vincoli più severi.
4. Scoperta di Bias e "Slice Discovery": Il metodo è in grado di identificare correlazioni spurie (es. sfondi specifici) e supportare tecniche di debiasing (come DRO) senza dati di training.

4. Risultati Sperimentali

Il metodo è stato valutato su ImageNet-1K, Waterbirds e CelebA, confrontato con metodi white-box (CLIPDissect, WWW) e grey-box (DEXTER).

• Fedeltà Semantica (Semantic Fidelity):
  • UNBOX recupera descrittori testuali che hanno un'alta similarità semantica con le etichette vere delle classi.
  • Su ResNet50, ottiene un punteggio di 0.64 (superando WWW a 0.60) e su ViT-B/16 raggiunge 0.49, superando nettamente i metodi white-box che faticano a generalizzare su architetture diverse.
• Recupero delle Semantica Latente:
  • I descrittori generati riflettono accuratamente la distribuzione dei dati su cui il modello è stato addestrato, allineandosi meglio rispetto a metodi basati su probe interni su architetture Transformer.
• Scoperta di Bias e Debiasing:
  • Su Waterbirds (correlazione uccello-sfondo) e CelebA (attributi demografici), UNBOX identifica le "slice" problematiche.
  • Utilizzando i descrittori scoperti per il debiasing, ottiene un'accuratezza del gruppo peggiore (worst-group accuracy) di 88.6% su Waterbirds e 90.01% su CelebA, competendo con metodi che richiedono accesso completo ai dati e ai pesi (es. DRO Oracle).
• Ablation Study:
  • Conferma che la combinazione di Global Context e Intensity State è cruciale: senza di essi, le prestazioni crollano, dimostrando che la semplice ottimizzazione basata sul trend è insufficiente.

5. Significato e Implicazioni

Il lavoro di UNBOX rappresenta un passo fondamentale verso la trasparenza dell'IA in scenari reali:

• Democratizzazione dell'Audit: Permette di analizzare modelli proprietari (es. API di grandi aziende) che altrimenti sarebbero inaccessibili per l'audit etico o di sicurezza.
• Indipendenza dall'Architettura: Essendo basato solo sull'output, funziona ugualmente bene su CNN (ResNet) e Transformer (ViT), superando i limiti dei metodi basati su gradienti interni.
• Nuova Prospettiva sul Bias: Dimostra che i bias di un modello possono essere scoperti e mitigati senza vedere i dati di training, semplicemente "interrogando" il modello con linguaggio naturale.

In sintesi, UNBOX dimostra che è possibile ottenere insight significativi sul ragionamento interno di un modello visivo anche quando questo è trattato come una scatola nera totale, aprendo la strada a sistemi di riconoscimento visivo più affidabili, equi e controllabili.