Sintesi Tecnica: SOMtime – Violare l'Equità con le Mappe Auto-Organizzanti

Definizione del Problema

Il paper mette in discussione la diffusa assunzione di "equità attraverso l'ignoranza" (fairness through unawareness) nell'apprendimento automatico non supervisionato. Questa assunzione postula che se gli attributi sensibili (ad esempio, età, reddito, razza) vengono esclusi dalle caratteristiche di input durante l'addestramento, le rappresentazioni non supervisionate risultanti (embedding) saranno neutrali e prive di pregiudizi discriminatori. Gli autori sostengono che ciò sia falso. Dimostrano che le rappresentazioni non supervisionate possono codificare informazioni sensibili non solo come rumore recuperabile, ma come leakage strutturato di attributi sensibili: informazioni organizzate lungo un singolo, interpretabile asse geometrico (un ordinamento monotonico) all'interno dello spazio di embedding.

Questo leakage è particolarmente insidioso perché avviene prima che venga definito qualsiasi compito supervisionato. Di conseguenza, qualsiasi applicazione a valle che si basi su questi embedding — come il clustering, i sistemi di raccomandazione o la visualizzazione — eredita un rischio di equità per impostazione predefinita. Il paper postula che i metodi di auditing standard, che spesso si affidano a classificatori di probing o alla stima dell'informazione mutua, possano fallire nel rilevare questo specifico tipo di organizzazione geometrica globale, specialmente quando il segnale sensibile è distribuito su molti segnali deboli piuttosto che concentrato in pochi proxy forti.

Metodologia: SOMtime

Gli autori propongono SOMtime, uno strumento di auditing preservante la topologia basato su mappe auto-organizzanti (SOM) ad alta capacità. A differenza dell'uso standard delle SOM per la visualizzazione, SOMtime è progettato specificamente per esporre il leakage strutturato.

Meccanismo Core

1. Discretizzazione Preservante la Topologia: I dati di input vengono mappati su un reticolo discreto 2D di vettori prototipo utilizzando una Mappa Auto-Organizzante. La dimensione della mappa è scalata euristicamente ($K = 5 \cdot N^{0.54}$) per garantire un'alta risoluzione.
2. Costruzione dell'Embedding 3D: Per consentire un'analisi continua, la griglia discreta della SOM viene trasformata in un embedding 3D. A ogni osservazione viene assegnato:
   • coordinate $(x, y)$: la posizione della sua Best Matching Unit (BMU) sul reticolo.
   • coordinata $z$: l'errore di quantizzazione ($\|x_i - w_{j^*}\|$), denominato "energia di attivazione".
3. Recupero dell'Asse: Il metodo analizza la geometria dei centroidi delle unità SOM per identificare una traiettoria in cui l'attributo sensibile varia monotonicamente. Ciò viene ottenuto tramite una procedura greedy di k-vicini più prossimi che costruisce un percorso lungo il reticolo.
4. Metrica di Audit: La forza del leakage è quantificata dalla correlazione di Spearman ($\rho$) tra l'attributo sensibile escluso e la posizione lungo il percorso monotonico recuperato (specificamente l'asse di attivazione $z$).

Fondamento Teorico

Il paper stabilisce un ponte teorico tra leakage strutturato ed equità violata:

• Definizione: Il leakage strutturato si verifica quando un attributo sensibile $s$ è codificato lungo una singola direzione lineare $\hat{v}$ nello spazio di embedding con correlazione $r$.
• Limite di Disparità: Gli autori dimostrano che se esiste un leakage strutturato con livello di correlazione $r$, esso induce un limite quantitativo inferiore sulla peggiore disparità di gruppo per qualsiasi funzione Lipschitziana che agisca sull'embedding. Nello specifico, la separazione tra le medie dei gruppi è esattamente $|r|\sigma_\zeta / \sqrt{p(1-p)}$, dove $p$ è la prevalenza del gruppo.
• Contrasto di Meccanismo: Il paper confronta le SOM con l'Analisi delle Componenti Principali (PCA). La PCA sopprime i segnali nelle direzioni a bassa varianza; se un attributo sensibile è distribuito su molte caratteristiche con deboli correlazioni individuali, la PCA tronca questo segnale. Al contrario, le SOM preservano i segnali Lipschitz-continui indipendentemente dalla varianza, permettendo loro di aggregare segnali deboli distribuiti in una struttura geometrica coerente.

Configurazione Sperimentale

Gli autori hanno valutato SOMtime contro cinque baseline (PCA, UMAP, t-SNE, Autoencoder e Isomap) su due dataset del mondo reale, escludendo rigorosamente gli attributi sensibili durante l'apprendimento della rappresentazione:

1. World Values Survey (WVS): Dati da cinque paesi (Canada, Romania, Germania, Cina, USA) utilizzando domande su etica/morale, con l'età come attributo escluso.
2. Census-Income (KDD): Dati demografici ed economici, con età, reddito e plusvalenze (capital gains) esclusi.

Pre-processing: Per simulare un modello di minaccia realistico in cui i proxy forti vengono rimossi, gli autori hanno filtrato le caratteristiche con alta correlazione con l'attributo sensibile. Ciò ha lasciato un regime in cui nessuna singola caratteristica era un indicatore forte, costringendo i metodi a fare affidamento sull'aggregazione di segnali deboli distribuiti.

Risultati Chiave

1. Recupero Superiore della Struttura Sensibile

SOMtime ha superato significativamente tutte le baseline nel recuperare l'ordinamento monotonico degli attributi sensibili:

• WVS (Età): SOMtime ha raggiunto correlazioni di Spearman tra 0,52 e 0,85 tra i vari paesi. La baseline più forte (PCA) ha raggiunto al massimo 0,44.
• Census (Età/Reddito/Plusvalenze): SOMtime ha raggiunto correlazioni di 0,83 (Età), 0,69 (Reddito) e 0,43 (Plusvalenze). Le baseline hanno raggiunto picchi tra 0,22 e 0,40.
• Invarianza alla Rotazione: Anche valutando le baseline sotto una metrica invariante alla rotazione (cercando la migliore direzione lineare nello spazio di embedding), il vantaggio di SOMtime è persistito. Il fattore di miglioramento è variato da 1,7x a 5,4x.

2. Validazione del Meccanismo

• Capacità vs. Topologia: Grandi Autoencoder (1,4 milioni di parametri) hanno ottenuto una ricostruzione quasi perfetta (MSE $\approx$ 0,001) ma hanno fallito nel recuperare la struttura sensibile (Spearman max $\approx$ 0,34). Ciò conferma che il leakage non è dovuto alla capacità del modello, ma alla dinamica di apprendimento competitivo e alla topologia fissa del reticolo delle SOM.
• Specificità della Preservazione della Topologia: Isomap, un altro metodo preservante la topologia, si è comportato in modo simile a PCA e UMAP (Spearman max $\approx$ 0,43) e non è riuscito a recuperare la struttura in diversi casi. Ciò indica che il vantaggio è specifico per le SOM, non per la preservazione della topologia in generale.
• Forza del Segnale: Il divario di performance è stato maggiore dove il segnale per singola caratteristica era più debole (es. Plusvalenze), supportando l'ipotesi che le SOM aggreghino unicamente segnali deboli distribuiti.

3. Recupero della Traiettoria

La procedura di recupero della traiettoria ha ricostruito con successo l'ordinamento dei gruppi sensibili (es. fasce d'età) dall'embedding 3D con un'alta precisione (es. 100% per WVS Canada, 0,82 per Census Età), superando di gran lunga il caso casuale.

Significato e Rivendicazioni

Il paper sostiene quanto segue riguardo al proprio contributo:

1. Confutazione della Neutralità: Le rappresentazioni non supervisionate non sono neutrali; possono codificare attributi sensibili come assi geometrici dominanti anche quando tali attributi sono esplicitamente esclusi dall'addestramento.
2. Leakage Strutturato: Gli autori definiscono e dimostrano una forma specifica di leakage — il leakage strutturato di attributi sensibili — dove l'informazione è organizzata lungo un asse interpretabile, distinta dal semplice leakage "recuperabile tramite probing".
3. Necessità di Auditing: L'auditing per l'equità deve estendersi oltre i predittori supervisionati e i classificatori di probing per includere le rappresentazioni non supervisionate. Poiché il leakage strutturato crea un "asse nominato", esso è auditabile prima che vengano eseguiti i compiti a valle (clustering, visualizzazione).
4. Ponte Teorico: Il lavoro formalizza il legame tra l'ordinamento monotonico negli embedding e le violazioni di equità a valle, dimostrando che l'esistenza di tale ordinamento garantisce un limite inferiore per la disparità di gruppo per qualsiasi compito a valle Lipschitziano.

Gli autori posizionano SOMtime non come uno strumento di mitigazione dell'equità, ma come una lente diagnostica che rende esplicita l'organizzazione geometrica "invisibile" dei dati sensibili, consentendo così la governance e l'auditing nelle moderne pipeline di ML che si basano su fondamenta non supervisionate.