Riassunto Tecnico: TriNoL – Apprendimento a Triplo Esperto da Etichette Rumorose per l'Adattamento di VFM Semi-Supervisionato

1. Definizione del Problema

Il paper affronta la sfida dell'adattamento dei Vision Foundation Models (VFM), come CLIP e gli encoder della serie DINO, in contesti di apprendimento semi-supervisionato (SSL) dove i dati etichettati sono scarsi e i dati non etichettati si affidano a pseudo-etichette. Sebbene i VFM forniscano rappresentazioni pre-addestrate robuste, il loro adattamento tipicamente prevede il congelamento del backbone e l'aggiornamento di moduli di Fine-Tuning Parametrico Efficiente (PEFT) leggeri, come LoRA (Low-Rank Adaptation).

Il problema centrale identificato è la sensibilità di un singolo adattatore LoRA alle pseudo-etichette rumorose. Nell'SSL standard, le pseudo-etichette presentano un'affidabilità mista: le etichette ad alta confidenza sono spesso corrette, quelle a media confidenza sono ambigue (vicine ai confini decisionali) e quelle a bassa confidenza sono frequentemente rumorose. I metodi esistenti trattano tipicamente la confidenza della pseudo-etichetta come un peso scalare o un filtro binario (selezionando i campioni ad alta confidenza e scartando il resto). Gli autori sostengono tuttavia che comprimere i gradienti da queste tre distinte regioni di affidabilità in uno spazio di aggiornamento a basso rango singolo causi interferenza nei gradienti. Gradienti affidabili, gradienti ambigui e gradienti rumorosi competono all'interno dello stesso adattatore, potenzialmente distorcendo la direzione dell'adattamento e rinforzando confini decisionali errati (bias di conferma).

2. Metodologia: TriNoL

Gli autori propongono TriNoL (Triple-expert learning from Noisy Labels), un framework che decompone la supervisione delle pseudo-etichette in tre regioni basate sulla confidenza, ciascuna gestita da un esperto LoRA specializzato.

2.1 Architettura

• Backbone Congelato: Il backbone VFM pre-addestrato ($\psi$) rimane congelato.
• Triplo Esperto LoRA: Invece di un singolo adattatore, TriNoL impiega tre rami LoRA indipendenti ($\theta^+$, $\theta^a$, $\theta^-$) inseriti nelle proiezioni lineari congelate:
  1. Esperto Positivo ($e^+$): Gestisce le pseudo-etichette ad alta confidenza.
  2. Esperto di Allineamento ($e^a$): Gestisce le pseudo-etichette a media confidenza (ambigue).
  3. Esperto Negativo ($e^-$): Gestisce le pseudo-etichette a bassa confidenza (rumorose).
• Testa del Classificatore: Una testa del classificatore condivisa ($C_\omega$) viene aggiornata insieme agli esperti.

2.2 Routing Basato sulla Confidenza

Durante l'addestramento, i campioni non etichettati vengono elaborati attraverso una vista debolmente aumentata per generare pseudo-etichette e punteggi di confidenza ($q_i$). Due soglie, $\tau^-$ e $\tau^+$, partizionano il batch non etichettato $B_u$ in tre set:

• Alta Confidenza ($B_u^+$): $q_i \ge \tau^+$. Instradato all'Esperto Positivo.
• Media Confidenza ($B_u^a$): $\tau^- \le q_i < \tau^+$. Instradato all'Esperto di Allineamento.
• Bassa Confidenza ($B_u^-$): $q_i < \tau^-$. Instradato all'Esperto Negativo.

2.3 Obiettivi di Apprendimento Specifici per Esperto

Ogni esperto è ottimizzato con una funzione di perdita distinta, adattata alla affidabilità dei campioni assegnati:

1. Perdita Positiva ($L_{pos}$): Utilizza la supervisione delle pseudo-etichette "hard" (Cross-Entropy) sui campioni ad alta confidenza per rafforzare l'adattamento discriminativo.
2. Perdita di Allineamento ($L_{align}$): Utilizza un allineamento "soft" (divergenza di Kullback-Leibler) per i campioni a media confidenza. Essa fa corrispondere la predizione della vista forte dell'Esperto di Allineamento alla probabilità della vista debole staccata ($sg(p_i^w)$). Ciò evita di forzare decisioni nette su campioni ambigui pur preservando le informazioni sui confini.
3. Perdita Negativa ($L_{neg}$): Progettata per sopprimere l'impegno eccessivo verso etichette inaffidabili. Invece di trattare le pseudo-etichette a bassa confidenza come target, questa perdita penalizza l'Esperto Negativo per l'assegnazione di un'alta probabilità alla attuale pseudo-etichetta principale. Questo evita che i segnali rumorosi dominino l'aggiornamento senza assumere che tutti i campioni a bassa confidenza siano strettamente errati.

L'obiettivo totale è una somma pesata: $L = L_{sup} + \lambda_{pos}L_{pos} + \lambda_{align}L_{align} + \lambda_{neg}L_{neg}$.

2.4 Inferenza

In fase di inferenza, viene utilizzato solo l'Esperto Positivo, poiché è addestrato su etichette reali e pseudo-etichette affidabili. Gli altri esperti servono a regolarizzare il processo di addestramento.

3. Analisi Teorica

Il paper fornisce una giustificazione teorica dell'approccio:

• Interferenza dei Gradienti: Un singolo adattatore si aggiorna sulla base di un gradiente misto $G_{single} = G^+ + G^a + G^-$. La deviazione dall'ideale aggiornamento affidabile ($G^+$) è proporzionale all'entità dei gradienti ambigui e rumorosi.
• Riduzione della Contaminazione: Tramite il routing, TriNoL assicura che l'Esperto Positivo riceva un gradiente $G^+_{TriNoL}$ significativamente meno contaminato da $G^a$ e $G^-$, portando a una minore deviazione dal target affidabile.
• Stabilità dello Spazio Sottostante: Nel contesto dell'approssimazione a basso rango, separare il segnale "pulito" ($S$) dal rumore ($E$) e dall'ambiguità ($A$) permette all'Esperto Positivo di approssimare una matrice target più pulita, risultando in uno spazio a basso rango più vicino alla vera direzione ottimale rispetto a un singolo adattatore addestrato sulla matrice contaminata.
• Stabilità dell'Ottimizzazione: Ridurre il bias nel gradiente dell'Esperto Positivo porta a un raggio di bias stazionario più piccolo nell'ottimizzazione locale, migliorando la stabilità della convergenza.

4. Risultati Sperimentali

TriNoL è stato valutato su CIFAR-100, FOOD-101, Semi-Aves e ImageNet sotto varie impostazioni semi-supervisionate (variando i rapporti di dati etichettati e i livelli di rumore).

• Performance: TriNoL raggiunge risultati allo stato dell'arte in scenari con pochi label e rumore. Miglioramenti degni di nota includono:
  • FOOD-101 (N2): 88.42% vs 87.58% (V-PET) e 87.27% (FineSSL).
  • Semi-Aves (Mixed OOD): 61.82% vs 61.30% (FineSSL).
  • CIFAR-100 (N4): 80.92% vs 80.66% (FineSSL).
• Efficienza: TriNoL utilizza tre esperti LoRA con rank-8 (totale ~0.96M di parametri), paragonabile a un singolo adattatore LoRA con rank-24. Nonostante i parametri e i costi computazionali simili, TriNoL supera l'adattatore singolo con lo stesso rank (88.42% vs 87.73% su FOOD-101 N2), dimostrando che il guadagno deriva dalla specializzazione degli esperti piuttosto che dall'aumento della capacità.
• Studi di Ablazione:
  • Rimuovere uno qualsiasi dei tre esperti degrada le prestazioni, confermando i loro ruoli complementari.
  • Sostituire il routing basato sulla confidenza con un routing casuale o funzioni di perdita condivise produce risultati inferiori, validando la necessità sia del routing che degli obiettivi specializzati.
  • L'analisi di sensibilità indica prestazioni ottimali con soglie $(\tau^-, \tau^+) = (0.3, 0.7)$ e pesi specifici della perdita.

5. Significato e Rivendicazioni

Il paper sostiene che TriNoL offra un cambiamento significativo nel modo in cui l'adattamento dei VFM semi-supervisionati gestisce il rumore delle pseudo-etichette. I suoi principali contributi sono:

1. Identificazione di un Limite: Evidenzia che comprimere i gradienti di pseudo-etichette con affidabilità mista in un singolo spazio a basso rango è una debolezza fondamentale negli attuali PEFT-based SSL.
2. Routing Consapevole della Confidenza: Propone che l'affidabilità della pseudo-etichetta debba controllare il percorso di adattamento, non solo il peso della perdita. Assegnando campioni affidabili, ambigui e inaffidabili ad esperti specializzati, il metodo riduce l'interferenza dei gradienti.
3. Robustezza con Basso Costo: TriNoL migliora la robustezza alla supervisione rumorosa mantenendo l'efficienza dell'adattamento con backbone congelato, rendendolo adatto a scenari con risorse limitate e pochi label.

Gli autori riconoscono i limiti, notando che il metodo dipende dal routing basato sulla confidenza (che può essere influenzato da calibrazione errata o shift del dominio) ed è attualmente focalizzato sulla classificazione delle immagini. Si suggerisce che il lavoro futuro possa estendersi alla predizione densa e ai compiti multimodali.