Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning

1. Il Problema: Inconsistenza delle Etichette nel VICL

L'Apprendimento Contestuale Visivo (Visual In-Context Learning - VICL) permette ai modelli fondazionali visivi di eseguire compiti diversi fornendo esempi dimostrativi (prompt). La scelta di questi prompt è cruciale per le prestazioni.

• Limitazione degli approcci attuali: I metodi precedenti si concentrano quasi esclusivamente sulla similarità visiva tra l'immagine di query e le immagini dei prompt, ignorando le etichette (label) associate ai prompt.
• Il fallimento osservato: Gli autori dimostrano che i sistemi "label-agnostic" (che ignorano le etichette) tendono a recuperare prompt visivamente simili ma semanticamente incoerenti (es. recuperare un'immagine di un gatto con un fiore, ma etichettata come "fiore", per una query su un gatto). Questa incoerenza degrada le prestazioni del modello VICL.
• L'osservazione chiave: Esiste una forte correlazione positiva tra la coerenza delle etichette tra query e prompt e le prestazioni finali del VICL.

2. Metodologia: Il Framework LaPR

Per affrontare questo problema, gli autori propongono LaPR (Label-aware Prompt Retrieval), un nuovo paradigma che integra esplicitamente le informazioni delle etichette nel processo di recupero.

A. Rappresentazione Joint Immagine-Etichetta

• Prompt: Invece di codificare solo l'immagine del prompt, LaPR fonde le caratteristiche dell'immagine ($I^p$) e della sua etichetta ($L^p$, es. maschera di segmentazione o mappa di profondità) in un'unica rappresentazione congiunta ($z_i = z^I_i + z^L_i$).
• Query: Poiché durante l'inferenza l'etichetta della query è sconosciuta, il sistema deve inferirla implicitamente.

B. Meccanismo Mixture-of-Experts (MoE)

Per gestire l'incertezza sull'etichetta della query, LaPR utilizza un'architettura basata su Mixture of Experts:

1. Expert (Esperti): Sia per la query che per i prompt, vengono utilizzati $K$ esperti distinti ($E_k$). Ogni esperto è specializzato nel catturare un "modo" specifico (es. caratteristiche di coda, becco, forma specifica) piuttosto che una categoria generica.
2. Router: Un componente router ($R$) analizza l'embedding della query e produce una distribuzione di probabilità ($\pi_q$) sui $K$ esperti. Questo router stima l'etichetta implicita della query e assegna pesi di miscelazione agli esperti.
3. Embedding Adattivi:
   • L'embedding della query diventa una combinazione pesata degli output degli esperti: $\tilde{u}_q = \sum \pi_{q,k} q_k$.
   • L'embedding del prompt viene filtrato in base ai pesi della query per estrarre solo le informazioni rilevanti: $\tilde{p}_{i|q} = \sum \pi_{q,k} p_{i,k}$.
   • Il punteggio di similarità è calcolato tra questi embedding "consapevoli delle etichette".

C. Ottimizzazione Alternata (Decoupled Optimization)

Poiché gli esperti e il router hanno ruoli diversi, vengono ottimizzati in due fasi distinte per mini-batch:

1. Fase Expert (Guidata dalle Prestazioni): Gli esperti vengono aggiornati utilizzando una Loss Contrastiva Guidata dalle Prestazioni ($\mathcal{L}_{PG}$). Qui si selezionano i prompt che massimizzano le prestazioni del task VICL (es. IoU per la segmentazione) come positivi, rafforzando la codifica specifica per modo.
2. Fase Router (Guidata dalle Etichette): Gli esperti vengono congelati e il router viene aggiornato utilizzando una Loss Contrastiva Guidata dalle Etichette ($\mathcal{L}_{LG}$). L'obiettivo è allineare la miscela di esperti inferita con le etichette vere (ground truth) della query. Viene aggiunta anche una Loss di Bilanciamento del Carico ($\mathcal{L}_{LB}$) per evitare che alcuni esperti vengano sottoutilizzati.

3. Contributi Chiave

1. Primo approccio Label-Aware: Introduzione del primo framework di recupero prompt consapevole delle etichette per il VICL, affrontando esplicitamente il problema dell'incoerenza delle etichette.
2. Architettura Ibrida MoE: Progettazione di un sistema simmetrico che inietta etichette nei prompt e utilizza un router adattivo per stimare etichette implicite nelle query, permettendo un recupero più preciso.
3. Strategia di Ottimizzazione Innovativa: Separazione dei ruoli tra esperti (che imparano rappresentazioni specifiche) e router (che impara a selezionare le modalità corrette), ottimizzati alternativamente con obiettivi di loss diversi.
4. Generalizzazione: Il metodo dimostra robustezza attraverso diversi estrattori di caratteristiche (CLIP, DINOv2) e scenari di trasferimento cross-fold.

4. Risultati Sperimentali

Il framework è stato valutato su tre task principali: Segmentazione di Foreground, Rilevamento di Oggetti Singoli e Colorizzazione.

• Prestazioni SOTA: LaPR ha raggiunto le prestazioni migliori (State-of-the-Art) su tutti e tre i task.
  • Nella segmentazione, ha superato il miglior metodo di reranking (RH-Partial2Global) del 6.00% in mIoU (senza votazione).
  • Nel rilevamento, ha ottenuto un miglioramento del 3.46%.
• Trasferibilità Cross-Fold: In scenari dove il modello è addestrato su un fold e testato su altri (senza sovrapposizione di categorie), LaPR ha superato SupPR del 14.8% e Partial2Global del 13.9%, dimostrando una capacità di generalizzazione superiore grazie alla cattura di modalità più fini rispetto alle semplici categorie.
• Analisi Qualitativa: Le visualizzazioni mostrano che LaPR recupera prompt con etichette coerenti, evitando errori comuni dei metodi label-agnostic che recuperano immagini simili ma etichette errate.
• Ablation Study: L'analisi conferma che sia l'iniezione delle etichette nei prompt, sia il router adattivo, sia l'ottimizzazione alternata sono componenti essenziali per il successo del modello.

5. Significato e Impatto

Questo lavoro ribalta la visione tradizionale del recupero prompt nel VICL, dimostrando che le etichette sono un segnale ausiliario cruciale, non un dettaglio da scartare.

• Impatto Concettuale: Stabilisce che la coerenza semantica (etichetta) è tanto importante quanto la similarità visiva per l'apprendimento contestuale.
• Impatto Pratico: Fornisce un framework robusto che migliora significativamente l'affidabilità dei modelli fondazionali visivi in compiti di generazione e comprensione, aprendo la strada a futuri lavori che integrano più segnali semantici nei processi di retrieval.

In sintesi, LaPR dimostra che "amare l'etichetta" (Love My Label) è fondamentale per migliorare l'intelligenza artificiale visiva, trasformando un approccio puramente visivo in uno semanticamente consapevole.