Riepilogo Tecnico: Evitare Modi di Fallimento Strutturali nell'Apprendimento Semi-Supervisionato Equo (Fair SSL) su Dati Tabellari

1. Enunciato del Problema

Il documento affronta un conflitto strutturale critico nell'Apprendimento Semi-Supervisionato Equo (Fair SSL) applicato a domini tabellari ad alto rischio (ad esempio, supporto alle decisioni mediche, scoring del credito, previsione della recidiva). In questi contesti, i dati etichettati sono scarsi, rendendo necessario l'uso dell'SSL, mentre la conformità normativa richiede garanzie di equità statistica tra gruppi demografici.

Il problema centrale nasce dall'interazione tra l'etichettatura pseudo basata sulla soglia di confidenza (un meccanismo SSL standard in cui le pseudo-etichette vengono mantenute solo se la confidenza della previsione supera una soglia $\tau$) e i regolarizzatori di equità basati sull'adattamento dei momenti (che impongono la parità tra gruppi). Gli autori identificano che una forte pressione verso l'equità può sopprimere sistematicamente la confidenza delle previsioni, causando due distinti modi di fallimento strutturale:

1. Collasso di Mascheramento (Tipo I): I vincoli di equità spingono le previsioni verso il confine decisionale ($\hat{y} \approx 0.5$) per minimizzare la disparità tra gruppi. Questo erode la confidenza, causando il rifiuto della maggior parte delle pseudo-etichette da parte del cancello di confidenza ($q_t \to 0$). Il risultato è la carestia del gradiente, dove il modello non può apprendere dai dati non etichettati.
2. Saturazione Triviale (Tipo II): L'ottimizzazione deriva verso predittori costanti (ad esempio, prevedere la media) per soddisfare i vincoli di equità con varianza zero. Ciò produce una violazione dell'equità vicina allo zero, ma comporta un collasso dell'utilità (degrado delle prestazioni predittive).

Gli autori sostengono che la ponderazione statica delle penalità di equità è fragile perché l'accoppiamento tra la selezione delle pseudo-etichette e la valutazione dei vincoli è endogenamente non stazionario.

2. Metodologia: Allocazione Primal-Duale Online (OPDA)

Per risolvere questo stallo strutturale, gli autori propongono OPDA, un controllore online che pianifica adattivamente le penalità di equità e stabilità senza necessità di taratura per dataset.

Architettura Principale

OPDA impiega una parametrizzazione di allocazione del budget a due livelli:

• Budget Totale ($B_t$): Controlla l'intensità generale dell'applicazione.
• Rapporto di Allocazione ($\pi_t$): Determina la ripartizione tra la penalità di equità ($\lambda_v$) e la penalità di stabilità basata sull'entropia ($\lambda_h$).
  • $\lambda_v^{(t)} = B_t \cdot \pi_t$
  • $\lambda_h^{(t)} = B_t \cdot (1 - \pi_t)$

Dinamiche Guidate dal Segnale

OPDA aggiorna $B_t$ e $\pi_t$ epoca per epoca utilizzando una serie di osservabili online:

1. Violazione di Equità ($v_t$): La penalità attuale di adattamento dei momenti in stile DP.
2. Proxy del Rischio ($r_t$): Uno scalare limitato ($1 - \text{MacroF1}_{val}$) che traccia il degrado dell'utilità.
3. Segnali di Salute delle Pseudo-Etichette:
   • $q_t$: Rapporto di passaggio delle pseudo-etichette (copertura).
   • $p_t$: Accuratezza proxy.
   • $ESSt$: Dimensione del campione efficace.
4. Allineamento del Gradiente: Similitudine coseno tra i gradienti di equità e i gradienti SSL di base per rilevare conflitti.

Meccanismi di Controllo

• Dinamiche del Budget alla Ricerca del Ginocchio: Il budget totale $B_t$ viene aggiornato tramite una discesa del gradiente online proiettata nel dominio logaritmico. Aumenta solo quando l'equità migliora oltre un margine di rumore senza causare un deterioramento del rischio oltre un margine di rumore ($G_t - C_t > 0$). Ciò previene un'applicazione aggressiva eccessiva che porterebbe al collasso.
• Allocazione Consapevole del Conflitto: Il rapporto $\pi_t$ è determinato minimizzando un surrogato convesso dell'urgenza. Bilancia la necessità di ridurre la violazione di equità ($d_{fair}$) con la necessità di mantenere la salute delle pseudo-etichette ($d_{stab}$). Crucialmente, utilizza un cancello sigmoideo basato sull'allineamento del gradiente per sopprimere l'urgenza se i vincoli sono anti-allineati con l'obiettivo di base.
• Garanzia Anti-Carestia: Un pavimento dinamico $\pi_{min}(t)$ assicura che né la penalità di equità né quella di stabilità vengano mai completamente disattivate, impedendo al sistema di entrare in un regime degenerato in cui l'apprendimento si arresta.

3. Contributi Chiave

1. Diagnosi del Meccanismo: Il documento identifica formalmente e dimostra l'esistenza di due modi di fallimento nell'Fair SSL basato sulla soglia di confidenza:
   • Collasso di Mascheramento: Dimostrato creare vicinanza a gradienti vani dove $L_{unsup} = 0$ (Proposizione 1).
   • Saturazione Triviale: Dimostrato derivare da un conflitto di segno nello spazio dei logit tra l'adattamento dei momenti (che spinge verso la media) e la minimizzazione dell'entropia (che spinge verso i confini) in gruppi sbilanciati (Proposizione 2).
2. Controllore Consapevole della Salute delle Pseudo-Etichette: OPDA è il primo controllore a monitorare esplicitamente i segnali di salute delle pseudo-etichette ($q_t, p_t, ESSt$) insieme alle violazioni di equità. Pianifica i pesi duali per evitare la "carestia" del meccanismo SSL stesso.
3. Operazione Senza Calibrazione: OPDA opera con una singola configurazione predefinita su dataset diversificati (Adult, ACSIncome, COMPAS) e architetture di base, evitando la necessità di una ricerca manuale a griglia dei pesi di equità ($\lambda$).

4. Risultati Sperimentali

Gli autori hanno valutato OPDA su tre benchmark tabellari utilizzando un'impostazione di stress-test diagnostico (attività multi-etichetta per isolare i meccanismi di fallimento).

• Mitigazione dei Modi di Fallimento: Sotto pesi di equità statici elevati ($\lambda=100$), l'SSL standard ha mostrato Collasso di Mascheramento (copertura $q_t \to 0.02$) o Saturazione Triviale. OPDA ha avuto successo nell'evitare questi regimi degenerati.
• Compromessi delle Prestazioni:
  • Adult & COMPAS: OPDA ha raggiunto punti operativi non degenerati competitivi con la frontiera di Pareto empirica della taratura statica di $\lambda$, bilanciando efficacemente utilità ed equità.
  • ACSIncome: OPDA ha preservato meglio l'utilità rispetto alle baseline statiche, mostrando una dispersione più ampia tra equità e utilità, dimostrando robustezza in contesti complessi e multi-gruppo ($K=9$).
• Confronto con le Baseline:
  • Rispetto alle baseline adattive a segnale singolo (ad esempio, PI, EMA-P), OPDA ha mostrato una superiorità nella robustezza. I metodi a segnale singolo hanno spesso fallito nel distinguere tra problemi di capacità e carestia delle pseudo-etichette, portando a oscillazioni o saturazione.
  • Rispetto ai metodi di Ottimizzazione Multi-Obiettivo (MOO) basati su gradienti (PCGrad, CAGrad), OPDA ha ottenuto violazioni di equità inferiori su Adult e COMPAS mantenendo un'utilità comparabile. Su COMPAS, i metodi basati solo su gradienti hanno mostrato tassi di saturazione non nulli, mentre OPDA ha mantenuto lo 0% di saturazione.
• Ablazione: La rimozione della logica completa a segnali multipli (OPDA-lite) ha portato a una minore preservazione dell'utilità su ACSIncome, confermando il valore delle dinamiche di budget consapevoli della salute.

5. Significato e Affermazioni

Il documento posiziona OPDA non come una garanzia universale di dominio uniforme su tutte le metriche, ma come un controllore senza calibrazione per gestire i specifici regimi di fallimento intrinseci all'Fair SSL basato sulla soglia di confidenza.

• Insight Teorico: Il lavoro evidenzia che i vincoli di equità nell'SSL non sono statici; interagiscono dinamicamente con il meccanismo di selezione dei dati. La ponderazione statica fallisce perché non può reagire alla non stazionarietà endogena della maschera delle pseudo-etichette.
• Utilità Pratica: OPDA fornisce un percorso per ottenere punti operativi controllati in ambienti tabellari ad alto rischio e con scarsità di etichette, senza il costo computazionale della taratura degli iperparametri per dataset.
• Limitazioni di Scopo: Gli autori notano modestamente che, sebbene le patologie identificate siano fondamentali per il meccanismo SSL, la validazione empirica è attualmente limitata ai dati tabellari. L'estensione a dati immagine o testuali ad alta dimensionalità rimane una domanda aperta. Inoltre, il controllore richiede la pre-specificazione di costanti interne (ad esempio, lunghezza del warmup), sebbene dimostri robustezza a perturbazioni moderate.

In sintesi, il documento sostiene che evitare il fallimento strutturale nell'Fair SSL richiede di andare oltre la ponderazione statica o il semplice bilanciamento dei gradienti, adottando invece una strategia di controllo online che monitora attivamente la "salute" del processo di pseudo-etichettatura per impedire al sistema di collassare in soluzioni triviali.