Neyman-Pearson multiclass classification under label noise via empirical likelihood

1. Il Problema

Il lavoro affronta una sfida critica nell'apprendimento automatico supervisionato, specialmente in domini ad alto rischio come la diagnosi medica o il rilevamento di frodi: la classificazione multiclasse di Neyman-Pearson (NPMC) in presenza di rumore nelle etichette (label noise).

• Contesto NPMC: A differenza della classificazione standard che minimizza l'errore globale, il framework NPMC mira a minimizzare un rischio di classificazione pesato, imponendo vincoli rigorosi (limiti superiori) sui tassi di errore specifici per determinate classi. Questo è cruciale quando i costi degli errori sono asimmetrici (es. è più grave classificare un tumore maligno come benigno che il contrario).
• La Sfida del Rumore: Le metodologie NPMC esistenti presuppongono che le etichette di addestramento siano corrette. Tuttavia, nella pratica, le etichette sono spesso corrotte da errori di misurazione, annotazione umana inconsistente o variabilità dei modelli (es. LLM).
• Il Gap: Ignorare il rumore nelle etichette porta a violare i vincoli di sicurezza (es. tassi di errore di Tipo I più alti del previsto) o a diventare eccessivamente conservativi, degradando le prestazioni. Inoltre, le soluzioni esistenti per il caso binario richiedono la conoscenza a priori della matrice di transizione del rumore (la probabilità che un'etichetta vera sia scambiata per un'altra), che raramente è disponibile. Non esisteva un metodo robusto per il caso multiclasse senza tale conoscenza.

2. Metodologia Proposta

Gli autori propongono un nuovo framework basato sulla Massima Verosimiglianza Empirica (Empirical Likelihood - EL) per stimare i parametri necessari alla classificazione NPMC direttamente dai dati con etichette rumorose, senza conoscere la matrice di transizione del rumore.

A. Modellazione del Rumore e Relazioni Distribuzionali

• Si assume un rumore indipendente dall'istanza (Instance-independent noise): l'etichetta rumorosa $\tilde{Y}$ è condizionalmente indipendente dalle feature $X$ data l'etichetta vera $Y$.
• Vengono stabilite relazioni matematiche tra le distribuzioni delle etichette vere ($P^*_k$) e quelle rumorose ($\tilde{P}^*_l$) tramite una matrice di confusione e una matrice di transizione.
• L'obiettivo è recuperare le proporzioni delle classi vere ($w^*_k$) e le probabilità a posteriori vere ($\pi^*_k(x)$) partendo solo dai dati rumorosi.

B. Modello a Rapporto di Densità (Density Ratio Model - DRM)

Il cuore della metodologia è l'uso di un modello a rapporto di densità esponenziale (exponential tilting):
$$\frac{dP^*_k}{dP^*_0}(x) = \exp(\gamma^*_k + \langle \beta^*_k, g(x) \rangle)$$
dove $g(x)$ è una funzione di base (es. $x$ stessa o features estratte da reti neurali).

• Questo modello collega le distribuzioni condizionali vere a una distribuzione di riferimento.
• Le distribuzioni rumorose sono miscele di queste distribuzioni vere, permettendo di esprimere la densità osservata in funzione dei parametri incogniti ($w^*, \gamma^*, \beta^*, T^*$).

C. Inferenza tramite Empirical Likelihood (EL)

Invece di assumere una forma parametrica per la distribuzione di base $P^*_0$, gli autori utilizzano l'EL per stimare i parametri in modo semi-parametrico.

• Viene costruita una funzione di verosimiglianza empirica che incorpora i vincoli di normalizzazione e le relazioni di tilting esponenziale.
• Si definisce un Stimatore di Massima Verosimiglianza Empirica (MELE) per i parametri $\theta = (w, \gamma, \beta, T)$.

D. Algoritmo EM (Expectation-Maximization)

Poiché le etichette vere $Y$ sono latenti (non osservate), la massimizzazione diretta della verosimiglianza è complessa e non convessa. Gli autori sviluppano un algoritmo EM efficiente:

1. E-step: Calcola le probabilità posteriori delle etichette vere date le etichette rumorose e i parametri correnti.
2. M-step: Aggiorna i parametri massimizzando la verosimiglianza attesa.
   • L'aggiornamento di $(\gamma, \beta)$ equivale a risolvere una regressione logistica multinomial pesata.
   • L'algoritmo garantisce la convergenza monotona della verosimiglianza profilo.

3. Contributi Chiave e Risultati Teorici

1. Identificabilità Rigorosa: Gli autori dimostrano che, sotto condizioni di regolarità mild (coefficienti distinti, spazio delle feature ricco, matrice di confusione a rango pieno con vincoli strutturali), i parametri del modello sono strettamente identificabili. Questo risolve l'ambiguità di permutazione tipica dei modelli di mistura.
2. Proprietà Asintotiche: Vengono stabiliti risultati teorici fondamentali per gli stimatori MELE:
   • Consistenza: Gli stimatori convergono ai valori veri.
   • Normalità Asintotica: La distribuzione degli stimatori è normale con tasso di convergenza ottimale $O_p(n^{-1/2})$.
3. Disuguaglianze Oracle di Neyman-Pearson:
   • Per la classificazione binaria e multiclasse, viene dimostrato che il classificatore risultante soddisfa asintoticamente i vincoli di errore di Tipo I (o specifici per classe) imposti dal problema NPMC.
   • Il classificatore approssima le prestazioni dell'"oracolo" (il classificatore ideale addestrato su dati puliti) con un errore residuo che tende a zero al crescere del campione.
4. Nessuna conoscenza a priori del rumore: A differenza dei metodi precedenti (es. algoritmi "Umbrella" adattati), questo approccio non richiede la conoscenza della matrice di transizione del rumore o dei suoi limiti.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo su dati sintetici e reali:

• Dati Sintetici (Binario e Multiclasse):
  • Il metodo proposto (Ours) è stato confrontato con approcci "Vanilla" (che ignorano il rumore) e con metodi basati su limiti noti del rumore (NPC/NPC*).
  • Risultati: Il metodo Vanilla risulta eccessivamente conservativo, portando a tassi di errore di Tipo II (falsi negativi) molto alti. I metodi NPC richiedono conoscenza del rumore e sono comunque più conservativi. Il metodo proposto raggiunge prestazioni quasi-oracolo, controllando efficacemente gli errori di Tipo I e minimizzando l'errore di Tipo II, anche in scenari di specificazione errata del modello (misspecification).
• Dati Reali (Landsat Satellite e Dry Bean):
  • Su dataset reali con etichette corrotte sinteticamente, il metodo proposto mantiene i vincoli di errore molto più vicini ai livelli target rispetto agli approcci baselines, dimostrando robustezza e superiorità pratica.

5. Significato e Impatto

Questo lavoro colma una lacuna significativa nella letteratura sull'apprendimento supervisionato sicuro:

• Sicurezza Operativa: Permette di applicare framework di controllo degli errori rigorosi (NPMC) in scenari reali dove i dati di addestramento sono inevitabilmente "sporchii", garantendo che i vincoli di sicurezza (es. limiti di falsi negativi in medicina) non vengano violati a causa del rumore.
• Flessibilità: Rimuove la dipendenza da parametri di rumore sconosciuti, rendendo la metodologia applicabile in contesti pratici dove la matrice di confusione non è nota.
• Generalità: Estende la teoria NPMC dal caso binario a quello multiclasse, gestendo la complessità computazionale e teorica intrinseca di quest'ultimo.

In sintesi, il paper propone una soluzione teoricamente fondata e praticamente efficace per costruire classificatori robusti e sicuri in presenza di dati imperfetti, utilizzando l'empirical likelihood per recuperare le informazioni latenti necessarie al controllo degli errori.