Sintesi Tecnica: Effetti delle Perturbazioni su Robustezza e Equità Individuale

Definizione del Problema

Le reti neurali profonde (DNN) sono vulnerabili alle perturbazioni avversarie che possono degradare sia la robustezza predittiva che l'equità individuale. Tuttavia, gli attuali protocolli di valutazione valutano tipicamente queste dimensioni in isolamento. Questa separazione oscura modalità di guasto critiche in cui un modello può apparire robusto ma iniquo, o equo ma non robusto. Nello specifico, le metriche a singolo asse spesso non colgono i regimi di guasto accoppiati:

• Robusto Iniquo (RB - Robust Biased): Il modello rimane corretto (robusto) ma produce previsioni incoerenti per individui semanticamente equivalenti (iniquo).
• Non Robusto Equo (UF - Unrobust Fair): Il modello produce previsioni coerenti per individui simili (equo) ma entrambi sono errati (non robusto).
• Non Robusto Iniquo (UB - Unrobust Biased): Il modello fallisce su entrambi i fronti.

I metodi attuali spesso si affidano alla prossimità geometrica (ad es. similarità del coseno) o all'accesso ai gradienti white-box, che possono non preservare le condizioni di verità semantica o risultare inapplicabili a implementazioni tramite API black-box. Inoltre, molti test di equità consentono la deriva semantica, rendendo impossibile distinguere tra un fallimento del modello e un cambiamento nella verità del dato (ground truth).

Metodologia

1. Definizione Formale: Equità Individuale Robusta (RIF)

Gli autori propongono la Robust Individual Fairness (RIF) come un criterio unificato fondato sulla semantica delle condizioni di verità.

• Equivalenza Semantica: Due input $v$ e $v'$ sono considerati semanticamente equivalenti se condividono identiche condizioni di verità. Il documento operazionalizza questo concetto tramite la implicazione bidirezionale utilizzando un modello di Inferenza del Linguaggio Naturale (NLI). Un'edizione è ammissibile solo se $v \models v'$ e $v' \models v$.
• Il Criterio: Un classificatore $f$ soddisfa la $\epsilon$-RIF se, per ogni controparte $v'$ semanticamente equivalente e per ogni perturbazione ammissibile $\delta$, l'errore di previsione rimane limitato da $\epsilon$. Ciò richiede che il modello sia sia corretto (ancorato alla verità del dato) sia coerente (invariante rispetto a individui simili) sotto perturbazioni che preservano il significato.

2. Framework: RIFair

Per esporre le violazioni della RIF, gli autori introducono RIFair, un framework avversario black-box.

• Strategia di Sostituzione Disaccoppiata: A differenza degli attacchi accoppiati che applicano le stesse sostituzioni a coppie simili, RIFair applica sostituzioni distinte ma semanticamente equivalenti a ciascun membro di una coppia (ad es. mappare "parlare" $\to$ "discutere" per un input e "parlare" $\to$ "chiacchierare" per l'altro). Ciò isola i fallimenti causati dalla sensibilità eterogenea delle forme superficiali.
• Pipeline a Due Stadi:
  1. Costruzione della Similarità: Gli attributi sensibili (ad es. genere, razza) vengono oscurati e sostituiti con alternative per creare coppie semanticamente corrispondenti $(v, v')$ mantenendo identico il contenuto non sensibile.
  2. Generazione-Filtro della Perturbazione: Un Large Language Model (LLM) genera parafrasi candidate per i token, che vengono poi filtrate da un modello NLI per garantire l'implicazione bidirezionale (preservazione semantica).
• Obiettivo di Ottimizzazione: RIFair minimizza una funzione obiettivo congiunta che combina la perdita di robustezza (cross-entropy con la verità del dato) e la discrepanza di equità (distanza tra le previsioni). Variando i pesi ($\alpha, \beta$), il framework mira a specifici quadranti: RB, UF o UB.
• Efficienza di Query: Il metodo utilizza la salienza per occlusione per classificare i token e ricerca solo i candidati estremi (min/max confidenza) per minimizzare le query al modello, rendendolo adatto ad ambienti black-box.

Contributi Chiave

1. Criterio Unificato (RIF): Formalizza un requisito congiunto di robustezza ed equità individuale sotto perturbazioni che preservano il significato, affrontando il disallineamento delle metriche esistenti a singolo asse.
2. Rigore Semantico: Fondamenta le perturbazioni nella semantica formale tramite l'implicazione bidirezionale, garantendo che le istanze avversarie generate preservino le condizioni di verità originali, diversamente dai metodi che si affidano esclusivamente alla prossimità geometrica (coseno).
3. Framework Black-Box (RIFair): Propone una strategia di sostituzione disaccoppiata che espone efficacemente le vulnerabilità nascoste (RB e UF) che gli attacchi accoppiati non rilevano.
4. Evidenza Empirica: Dimostra che le metriche basate solo sulla robustezza o solo sull'equità spesso falliscono nel rilevare fallimenti avversari multidimensionali, fornendo una base per la valutazione congiunta.

Risultati Sperimentali

Gli esperimenti sono stati condotti su diverse architetture transformer (BERT, RoBERTa, DistilBERT, DeBERTa-v3) su dataset testuali (Bias in Bios, Jigsaw, SST-2) e un dataset tabulare verbalizzato (Census Income).

• Disallineamento delle Metriche: La Tabella 3 mostra che le classifiche dei modelli variano significativamente a seconda dell'asse di valutazione. Ad esempio, DistilBERT è risultato il migliore in robustezza ($R$), BERT in equità ($F$), ma DeBERTa-v3 ha ottenuto la più forte resistenza congiunta ($RIF$).
• Rilevamento di Fallimenti Nascosti: RIFair ha identificato con successo modalità di guasto mancate dalle metriche a singolo asse.
  • La Robustezza ($R$) era insensibile agli scenari RB (dove le previsioni sono stabili ma inique).
  • L'Equità ($F$) era insensibile agli scenari UF (dove le previsioni deviano insieme, mantenendo la coerenza ma perdendo accuratezza).
  • La RIF ha fornito un segnale costantemente sensibile attraverso tutti i modi di guasto (RB, UF, UB).
• Preservazione Semantica: Gli studi di ablazione hanno confermato che i vincoli basati sull'implicazione producono punteggi di equivalenza semantica significativamente più alti ($S_{eq} \approx 0.97$) e punteggi di giudizio allineati agli umani rispetto ai vincoli geometrici (coseno), che spesso portano alla deriva semantica ($S_{eq} \approx 0.33$).
• Efficacia del Disaccoppiamento: La strategia disaccoppiata è risultata $2.3\times$ più efficace nell'esporre le violazioni RB e $3.0\times$ più efficace nell'esporre le violazioni UB rispetto agli attacchi accoppiati.
• Difesa: L'addestramento avversario utilizzando istanze generate da RIFair ha ridotto sostanzialmente i tassi di fallimento in tutte le categorie (ad es. riducendo i tassi di fallimento UB di circa il $16\%$).

Significato e Rivendicazioni

L'articolo sostiene che la robustezza e l'equità non sono proprietà indipendenti e che valutarle isolatamente porta a una valutazione incompleta e potenzialmente fuorviante della fiducia nel modello.

• Necessità di Valutazione Congiunta: Gli autori affermano che la RIF è un criterio necessario per la valutazione affidabile dei modelli, specialmente in applicazioni ad alto rischio (ad es. identificazione di contenuti tossici, analisi del sentiment, previsione del reddito) dove sia l'affidabilità che l'equità sono essenziali.
• Limitazioni: Gli autori riconoscono con modestia che il loro affidamento ai modelli NLI per l'equivalenza semantica è una rappresentazione che può codificare bias o avere difficoltà con entità rare e contesti lunghi. Suggeriscono che il lavoro futuro dovrebbe incorporare la supervisione umana (human-in-the-loop) e funzioni di masking migliorate.
• Intuizione Centrale: Il contributo primario è la dimostrazione che i modelli possono esibire "fallimenti composti" sotto perturbazioni che le metriche a singolo asio non possono rilevare, rendendo necessaria una cornice unificata come RIF e RIFair per far emergere tali vulnerabilità.