Riepilogo Tecnico: Correzione Adattiva Ordinale (ORDAC)

Enunciato del Problema

Il documento affronta la sfida critica del rumore nelle etichette nella classificazione ordinale di immagini. In compiti come la stima dell'età e la classificazione della gravità delle malattie, i confini tra le classi sono spesso ambigui, rendendo il processo di etichettatura soggetto a errori. A differenza della classificazione nominale, dove gli errori sono discreti, gli errori ordinali possiedono una distanza semantica (ad esempio, classificare erroneamente un'età di 20 anni come 25 è meno grave che classificarla come 60).

Gli approcci esistenti per le etichette rumorose rientrano generalmente in due categorie:

1. Centrati sul modello: Progettazione di funzioni di perdita o regolarizzazione tolleranti al rumore.
2. Centrati sui dati (Selezione del campione): Identificazione e scarto di campioni potenzialmente rumorosi (ad esempio, CASSOR, ICDF).

Gli autori sostengono che la selezione del campione è subottimale per i dati ordinali perché scarta potenziali informazioni preziose sui contenuti delle istanze etichettate erroneamente. Inoltre, i metodi standard di regressione ordinale mancano di meccanismi espliciti per gestire le annotazioni di rango errate, portando a prestazioni e affidabilità degradate. Esiste un vuoto specifico nei metodi in grado di correggere piuttosto che scartare le etichette rumorose, modellando adattivamente l'incertezza intrinseca dei dati ordinali.

Metodologia: Correzione Adattiva Ordinale (ORDAC)

La soluzione proposta è ORDAC, un framework centrato sui dati che sfrutta l'Apprendimento della Distribuzione delle Etichette (LDL). Invece di trattare un'etichetta come un singolo valore discreto, ORDAC rappresenta ogni etichetta come una distribuzione Gaussiana caratterizzata da una media ($\mu$) e una deviazione standard ($\sigma$). La media rappresenta il valore dell'etichetta, mentre la deviazione standard quantifica l'incertezza del modello.

Flusso di Lavoro Principale

Il framework opera in modo iterativo utilizzando una strategia di cross-training a K-fold per impedire che il modello sia influenzato dai propri pregiudizi derivanti da previsioni confidenti ma potenzialmente errate:

1. Inizializzazione:

   • Il dataset viene suddiviso in $K$ fold.
   • Vengono inizializzati $K$ modelli identici LDL a forma fissa (FLDL).
   • L'etichetta di ogni campione viene inizializzata come una distribuzione Gaussiana $N(\mu_i, \sigma_i^2)$, dove $\mu_i$ è l'etichetta rumorosa e $\sigma_i$ è una costante fissa che rappresenta un'incertezza iniziale uniforme.

2. Fase di Warm-up:

   • Tutti i $K$ modelli vengono addestrati contemporaneamente sui rispettivi set di addestramento per un numero specificato di epoche ($E_{corr}$) per apprendere le rappresentazioni iniziali delle caratteristiche sui dati rumorosi.

3. Fase Iterativa di Correzione:

   • Dopo il warm-up, si attiva il meccanismo di correzione adattiva.
   • Per ogni fold, il modello addestrato sui rimanenti $K-1$ fold prevede le etichette del fold di validazione tenuto in riserva.
   • Queste previsioni vengono utilizzate per aggiornare le distribuzioni delle etichette ($\mu$ e $\sigma$) dei campioni di validazione.
   • Le distribuzioni aggiornate vengono quindi propagate nuovamente ai set di addestramento degli altri modelli per la successiva epoca.

Il Meccanismo di Correzione Adattiva

Il processo di aggiornamento consiste in due fasi applicate a ciascun campione nel fold di validazione:

1. Debiasing delle Previsioni per Classe:

   • I modelli ordinali sviluppano spesso un pregiudizio verso le classi di rango centrale a causa delle funzioni di perdita e dello squilibrio dei dati.
   • Per contrastare ciò, le previsioni del modello vengono spostate per ricalibrare le previsioni per classe attorno all'etichetta di classe vera.
   • La previsione spostata $\hat{y}^{shifted}_i$ è calcolata come: $\hat{y}^{shifted}_i = \hat{y}_i - (\text{mean}_{\mu_i} - \mu_i)$.

2. Aggiornamento della Distribuzione per Campione:

   • Viene calcolato un coefficiente di correzione $\lambda^{corr}_i$ basato sulla confidenza del modello ($\gamma_i$) e sulla frequenza della classe ($\pi_{\mu_i}$) per garantire che le classi rare vengano corrette con maggiore cautela.
   • Aggiornamento della Deviazione Standard ($\sigma$): Se l'errore di previsione $|e_i|$ è maggiore dell'incertezza corrente $\sigma_i$, l'incertezza viene aumentata (indicando un'etichetta probabilmente rumorosa). Se l'errore è piccolo, l'incertezza diminuisce.
     • $\sigma^{new}_i = \sigma_i + \alpha_i \times (|e_i| - \sigma_i)$
   • Aggiornamento della Media ($\mu$): La media viene spostata verso la previsione debiasata.
     • $\mu^{new}_i = \mu_i + \beta_i \times e_i$
   • Qui, $\alpha_i$ e $\beta_i$ sono tassi di apprendimento specifici per il campione, derivati dai tassi di base $\alpha_{base}$ e $\beta_{base}$.

Varianti

Gli autori introducono due varianti per analizzare il comportamento del framework:

• ORDACC (Correzione): Genera un dataset statico e pulito dopo l'addestramento. Un nuovo modello viene addestrato da zero su questo dataset senza ulteriori correzioni online.
• ORDACR (Rimozione): Si basa su ORDACC ma rimuove i campioni che rimangono altamente incerti (dove $\sigma^{new}_i \geq \sigma^{initial}_i$) dopo la correzione, trattandoli come valori anomali.

Risultati Sperimentali

Il metodo è stato valutato su due dataset di riferimento: Adience (stima dell'età) e Retinopatia Diabetica (DR) (gravità della malattia). Gli esperimenti hanno coinvolto l'iniezione di rumore Gaussiano asimmetrico a tassi di $\tau \in \{0.2, 0.4\}$.

Risultati Chiave

• Prestazioni sotto Rumore: ORDAC e le sue varianti hanno superato significativamente le baseline standard (CORAL, DLDL-v2) e i metodi di selezione del campione all'avanguardia (CASSOR) a tutti i livelli di rumore.
  • Esempio: Su Adience con il 40% di rumore, ORDACR ha ridotto l'Errore Assoluto Medio (MAE) da 0,86 (DLDL-v2) a 0,62 e ha aumentato il Richiamo da 0,37 a 0,49.
• Correzione del Rumore Intrinseco: Anche con nessun rumore iniettato ($\tau=0$), ORDAC ha superato le baseline. Ciò suggerisce che i dataset originali contengono rumore di etichetta intrinseco (ad esempio, errori di auto-segnalazione in Adience) che il metodo ha identificato e corretto con successo.
• Correzione vs Selezione: Sebbene la selezione del campione (CASSOR) abbia funzionato bene, ORDACR ha generalmente ottenuto risultati migliori, specialmente a livelli di rumore più elevati, dimostrando che correggere le etichette è più efficiente dal punto di vista dei dati rispetto allo scartarle.
• Studi di Ablazione:
  • La rimozione della fase di debiasing per classe ha causato il collasso del processo di correzione verso la classe centrale maggioritaria, degradando significativamente le prestazioni.
  • L'analisi degli iperparametri ha mostrato che un $\alpha_{base}$ piccolo (0,2) e un $\beta_{base}$ grande (0,8) hanno prodotto i migliori risultati, indicando che il modello dovrebbe essere conservativo nell'aggiornare l'incertezza ma aggressivo nel correggere il valore medio.

Significato e Contributi

Il documento rivendica i seguenti contributi:

1. Cambiamento di Paradigma: Propone un passaggio dalla selezione del campione (scarto dei dati) alla correzione adattiva delle etichette per i compiti ordinali, preservando informazioni preziose sulle caratteristiche.
2. Modellazione dell'Incertezza: Introduce un meccanismo per aggiornare dinamicamente sia la media che la deviazione standard delle distribuzioni delle etichette, permettendo al modello di rappresentare e gestire esplicitamente l'incertezza durante l'addestramento.
3. Robustezza: Esperimenti estensivi dimostrano che la correzione adattiva utilizzando distribuzioni di etichette è una strategia efficace per migliorare la robustezza e l'accuratezza dei modelli di classificazione ordinale in presenza di dati rumorosi.

Gli autori concludono che, concentrandosi sul miglioramento della qualità dei dati a un livello fondamentale attraverso la correzione adattiva, ORDAC apre la strada a una classificazione ordinale più accurata e affidabile, in particolare in domini dove i dati puliti sono scarsi e l'ambiguità delle etichette è elevata. Si suggerisce un lavoro futuro per esplorare distribuzioni non parametriche e la regolazione automatica dei tassi di correzione.