Sintesi Tecnica: Azione Collettiva al Momento del Test (TTCA)

Enunciato del Problema

I sistemi di apprendimento automatico mostrano frequentemente disparità di prestazioni tra sottogruppi di utenti, generando danni di "qualità del servizio" (QoS) in cui gruppi specifici sperimentano sistematicamente una minore accuratezza rispetto ad altri. Sebbene esistano interventi di equità incentrati sul fornitore (pre-, intra- e post-elaborazione), questi dipendono dalla volontà e dalla capacità della piattaforma di riaddestrare i modelli. In scenari in cui la rimediazione non è disponibile, è ritardata o la piattaforma rifiuta di agire, gli utenti colpiti mancano di leve esterne per correggere queste disparità.

I framework esistenti di "Azione Collettiva Algoritmica" (ACA) permettono agli utenti di orientare gli algoritmi contribuendo con dati, ma questi meccanismi richiedono tipicamente che la piattaforma riaddestri i modelli sui dati modificati dal collettivo, una condizione che gli utenti raramente controllano. Inoltre, interventi in stile avvelenamento dei dati possono essere aggirati se i fornitori attendono aggiornamenti robusti del modello o addestrano su dati pre-attacco. Di conseguenza, vi è la necessità di un intervento lato utente che operi al momento del test su un modello nero congelato senza richiedere cooperazione della piattaforma o accesso al ciclo di addestramento.

Metodologia: Azione Collettiva al Momento del Test (TTCA)

Gli autori propongono TTCA, un framework che consente a un gruppo coordinato di utenti di correggere danni algoritmici aggregando l'accesso alle query a un'API black-box. Il meccanismo opera in due fasi:

Fase 1: Estrazione del Proxy Collettivo e Ottimizzazione della Perturbazione

1. Aggregazione delle Query: Un collettivo di $n$ utenti, ciascuno con un budget di query $B$, aggrega le proprie risorse per interrogare il modello della piattaforma $f_{plat}$ su un pool pubblico di immagini non etichettate $D_{pub}$. Ciò genera un dataset $D_{proxy}$ di coppie input-output $(x, f_{plat}(x))$.
2. Addestramento del Proxy: Il collettivo addestra un modello surrogato (proxy) $f_{proxy}$ su $D_{proxy}$ utilizzando il metodo KnockoffNets. Per migliorare la trasferibilità, viene addestrato un ensemble di $K=5$ proxy con semi casuali indipendenti.
3. Ottimizzazione della Perturbazione: Per ogni classe $y$ nel sottogruppo sottoutilizzato $G$, il collettivo ottimizza una perturbazione universale per classe $\delta_y$. L'obiettivo è minimizzare la perdita di entropia incrociata dell'ensemble proxy per gli input appartenenti alla classe $y$, soggetto a un budget $\ell_\infty$ ($\|\delta_y\|_\infty \le \epsilon$). L'ottimizzazione mira alla classe di verità fondamentale, spingendo efficacemente gli input classificati erroneamente verso il confine decisionale corretto. Vengono applicati un regolarizzatore di variazione totale e una sfocatura gaussiana per orientare la perturbazione verso componenti a bassa frequenza, migliorando la trasferibilità black-box.

Fase 2: Applicazione al Momento del Test

Al momento dell'inferenza, i membri del sottogruppo sottoutilizzato applicano la perturbazione pre-calcolata $\delta_y$ ai propri input $x$ prima dell'invio. Se l'input di un utente appartiene alla classe $y \in G$, inviano $x' = \text{clip}(x + \delta_y, 0, 1)$; altrimenti, inviano $x$ invariato. Questo processo non richiede ulteriore interazione con la piattaforma oltre al budget di query iniziale utilizzato per costruire il proxy.

Contributi Chiave

1. Meccanismo Correttivo al Momento del Test: TTCA introduce un framework in cui gli utenti possono correggere le disparità su un modello nero congelato senza riaddestrare la piattaforma. Riutilizza la logica degli attacchi di evasione (perturbazioni avversarie universali) per uno scopo correttivo, anziché malevolo.
2. Efficienza Basata sul Proxy: Estraendo un proxy collettivo e ottimizzando una perturbazione universale riutilizzabile, il metodo ammortizza il costo dell'intervento su tutto il sottogruppo.
3. Trasferibilità Cross-Architettura: Il meccanismo dimostra che un modello proxy più piccolo (ad esempio, ResNet-18) può generare efficacemente perturbazioni che si trasferiscono ad architetture di piattaforma più grandi e sconosciute (ad esempio, ResNet-50, RegNet-Y).
4. Analisi dell'Efficienza dei Costi: Il documento fornisce un'analisi rigorosa che mostra come l'aggregazione delle query sia significativamente più economica rispetto agli attacchi individuali per immagine, anche con dimensioni collettive ridotte.

Risultati Sperimentali

Gli autori valutano TTCA su CIFAR-10, CIFAR-100 e FairFace (per l'equità demografica) sia in regimi di addestramento della piattaforma bilanciati che deliberatamente sbilanciati.

• Accuratezza del Sottogruppo: TTCA migliora significativamente l'accuratezza del sottogruppo sottoutilizzato (definito come il 10% inferiore dei gruppi) con budget di query molto bassi. Ad esempio, su CIFAR-100, un collettivo di appena 5–6 utenti che aggregano le query può raggiungere un'accuratezza del sottogruppo paragonabile o superiore a quella di singoli attaccanti, utilizzando ordini di grandezza meno query totali.
• Efficienza del Budget di Query:
  • Baseline Individuale: Gli utenti individuali che attaccano da soli utilizzando SimBA (un attacco black-box per immagine) richiedono fino a 308 volte in più di query totali alla piattaforma per raggiungere un'accuratezza del sottogruppo comparabile.
  • Punto di Pareggio: Un collettivo di appena 5-10 membri è sufficiente a rendere l'aggregazione più conveniente dell'intervento individuale.
  • Compromesso del Limite: Sebbene gli attacchi individuali possano raggiungere un'accuratezza massima più elevata (ad esempio, il 97,9% su CIFAR-100) ottimizzando per immagine, lo fanno a un costo aggregato massiccio (2,3 milioni di query per 1.000 utenti). L'approccio collettivo satura a un limite di accuratezza inferiore (83%) ma lo raggiunge con un costo fisso e riutilizzabile (~23.000 query), rendendolo molto più efficiente per gruppi grandi.
• Metriche di Equità: L'intervento migliora le metriche standard di equità di gruppo, inclusa l'Accuratezza del Peggiore Gruppo (WGA), il Divario di Parità di Opportunità (EOD) e l'Impatto Disparato (DI), senza degradare le prestazioni per gli altri gruppi.
• Fedeltà del Proxy: Proxy ad alta fedeltà non sono strettamente necessari; una volta che un proxy è "abbastanza fedele" (ad esempio, fedeltà del 60–90%), query aggiuntive producono rendimenti decrescenti in termini di accuratezza del sottogruppo.

Significato e Affermazioni

Il documento posiziona TTCA come un intervento correttivo per gli utenti che affrontano danni QoS quando la rimediazione lato piattaforma non è disponibile. Il suo significato risiede in:

• Agenzia: Fornisce agli utenti una leva esterna per riacquistare il controllo sui sistemi algoritmici senza necessitare di accesso agli interni del modello o ai dati di addestramento.
• Scalabilità: Dimostra che un'azione utente coordinata e su piccola scala può mitigare efficacemente le disparità sistemiche attraverso l'aggregazione delle risorse.
• Complementarità: Agisce come un approccio complementare ai framework ACA esistenti, affrontando specificamente il "vuoto al momento del test" in cui i modelli sono già distribuiti e immutabili.

Gli autori notano che questo approccio è più efficace quando il compito sottostante è ampiamente utile ma eseguito in modo disuguale. Riconoscono i limiti: se il compito stesso è dannoso (ad esempio, il riconoscimento automatico del genere che causa danni rappresentativi), la cornice correttiva di TTCA potrebbe essere insufficiente e gli utenti potrebbero dover ricorrere al rifiuto o alla contestazione piuttosto che all'ottimizzazione. Inoltre, il metodo assume un modello nero statico; difese lato piattaforma (ad esempio, smoothing randomizzato) potrebbero potenzialmente mitigare l'efficacia di queste perturbazioni, sebbene tali difese possano anche degradare l'accuratezza complessiva della piattaforma.