Technische Samenvatting: Test-Time Collective Action (TTCA)

Probleemstelling

Machine learning-systemen vertonen vaak prestatieverschillen tussen gebruikerssubgroepen, wat leidt tot schade aan de "kwaliteit van dienstverlening" (QoS), waarbij specifieke groepen systematisch een lagere nauwkeurigheid ervaren dan anderen. Hoewel providergerichte fairness-interventies (pre-, in- en post-processing) bestaan, zijn deze afhankelijk van de bereidheid en het vermogen van het platform om modellen opnieuw te trainen. In scenario's waar remediatie niet beschikbaar is, vertraagd is of het platform weigert op te treden, ontbreekt het de getroffen gebruikers aan externe hefbomen om deze verschillen te corrigeren.

Bestaande kaders voor "Algorithmic Collective Action" (ACA) stellen gebruikers in staat algoritmen te sturen door data bij te dragen, maar deze mechanismen vereisen doorgaans dat het platform opnieuw traint op de gewijzigde data van de collectieve actie – een voorwaarde waarover gebruikers zelden zeggenschap hebben. Bovendien kunnen interventies in de stijl van data-vergiftiging worden omzeild als providers wachten op robuuste modelupdates of trainen op data van voor de aanval. Bijgevolg is er behoefte aan een interventie aan de gebruikerszijde die werkt op testtijd op een bevroren black-box-model, zonder dat samenwerking van het platform of toegang tot de trainingslus vereist is.

Methodologie: Test-Time Collective Action (TTCA)

De auteurs stellen TTCA voor, een kader dat een gecoördineerde groep gebruikers in staat stelt algoritmische schade te corrigeren door query-toegang tot een black-box-API te bundelen. Het mechanisme werkt in twee fasen:

Fase 1: Collectieve Proxy-extractie en Perturbatie-optimalisatie

1. Query-bundeling: Een collectief van $n$ gebruikers, elk met een query-budget $B$, bundelt hun middelen om het platformmodel $f_{plat}$ te bevragen op een publieke, ongelabelde beeldpool $D_{pub}$. Dit genereert een dataset $D_{proxy}$ van input-outputparen $(x, f_{plat}(x))$.
2. Proxy-training: Het collectief traint een surrogaatmodel (proxy) $f_{proxy}$ op $D_{proxy}$ met behulp van de KnockoffNets-methode. Om de overdraagbaarheid te verbeteren, wordt een ensemble van $K=5$ proxies getraind met onafhankelijke willekeurige zaden.
3. Perturbatie-optimalisatie: Voor elke klasse $y$ in de onderbediende subgroep $G$ optimaliseert het collectief een per-klasse universele perturbatie $\delta_y$. Het doel is om de cross-entropy-verliesfunctie van het proxy-ensemble te minimaliseren voor inputs die tot klasse $y$ behoren, onderworpen aan een $\ell_\infty$-budget ($\|\delta_y\|_\infty \le \epsilon$). De optimalisatie richt zich op de ground-truth-klasse, waardoor verkeerd geclassificeerde inputs effectief "naar de juiste beslissingsgrens worden geduwd". Een total-variation regularisator en Gaussische blur worden toegepast om de perturbatie te bevooroordeelen naar laagfrequente componenten, waardoor de overdraagbaarheid naar black-box-systemen wordt verbeterd.

Fase 2: Toepassing op Testtijd

Tijdens inferentie passen leden van de onderbediende subgroep de vooraf berekende perturbatie $\delta_y$ toe op hun inputs $x$ voordat ze deze indienen. Als de input van een gebruiker tot klasse $y \in G$ behoort, dienen ze $x' = \text{clip}(x + \delta_y, 0, 1)$ in; anders dienen ze $x$ onveranderd in. Dit proces vereist geen verdere interactie met het platform, behalve het initiële query-budget dat werd gebruikt om de proxy te bouwen.

Belangrijkste Bijdragen

1. Correctiemechanisme op Testtijd: TTCA introduceert een kader waarin gebruikers verschillen kunnen corrigeren op een bevroren, black-box-model zonder dat het platform opnieuw traint. Het hergebruikt de logica van ontwijking-aanvallen (universele adversariële perturbaties) voor een corrigerend, in plaats van kwaadaardig, doel.
2. Efficiëntie op basis van Proxy: Door een collectieve proxy te extraheren en een herbruikbare universele perturbatie te optimaliseren, amortiseert de methode de kosten van interventie over de hele subgroep.
3. Overdraagbaarheid tussen Architecturen: Het mechanisme toont aan dat een kleiner proxy-model (bijv. ResNet-18) effectief perturbaties kan genereren die overdraagbaar zijn naar grotere, onbekende platformarchitecturen (bijv. ResNet-50, RegNet-Y).
4. Analyse van Kostenefficiëntie: Het artikel biedt een rigoureuze analyse die aantoont dat het bundelen van queries aanzienlijk goedkoper is dan individuele per-image-aanvallen, zelfs bij kleine collectieve groottes.

Experimentele Resultaten

De auteurs evalueren TTCA op CIFAR-10, CIFAR-100 en FairFace (voor demografische fairness) onder zowel gebalanceerde als bewust onbalans platformtrainingsregimes.

• Subgroepnauwkeurigheid: TTCA verbetert de nauwkeurigheid van de onderbediende subgroep (gedefinieerd als de onderste 10% van groepen) aanzienlijk bij zeer lage query-budgetten. Bijvoorbeeld, op CIFAR-100 kan een collectief van slechts 5–6 gebruikers dat queries bundelt, een subgroepnauwkeurigheid bereiken die vergelijkbaar is met of hoger is dan die van individuele aanvallers, terwijl het orders van grootte minder totale queries gebruikt.
• Efficiëntie van het Query-budget:
  • Individuele Baseline: Individuele gebruikers die alleen aanvallen met SimBA (een per-image black-box-aanval) vereisen tot 308× meer totale platformqueries om een vergelijkbare subgroepnauwkeurigheid te bereiken.
  • Break-even-punt: Een collectief van slechts 5 tot 10 leden is voldoende om bundelen kosteneffectiever te maken dan individuele interventie.
  • Afweging bij het Plafond: Hoewel individuele aanvallen een hogere maximale nauwkeurigheid kunnen bereiken (bijv. 97,9% op CIFAR-100) door per-image te optimaliseren, doen ze dit tegen enorme aggregatiekosten (2,3 miljoen queries voor 1.000 gebruikers). De collectieve benadering verzadigt bij een lager nauwkeurigheidsplafond (83%), maar bereikt dit met een vaste, herbruikbare kost (~23.000 queries), waardoor het veel efficiënter is voor grote groepen.
• Fairness-metrics: De interventie verbetert standaard groep-fairness-metrics, waaronder Worst-Group Accuracy (WGA), Equal-Opportunity Gap (EOD) en Disparate Impact (DI), zonder de prestaties voor andere groepen te verslechteren.
• Proxy-trouw: Hoge-trouw proxies zijn niet strikt noodzakelijk; zodra een proxy "voldoende trouw" is (bijv. 60–90% trouw), leveren extra queries afnemende meerwaarde op voor de subgroepnauwkeurigheid.

Betekenis en Claims

Het artikel positioneert TTCA als een corrigerende interventie voor gebruikers die QoS-schade ondervinden wanneer remediatie aan de platformzijde niet beschikbaar is. De betekenis ligt in:

• Handelingsbekwaamheid: Het biedt gebruikers een externe hefboom om hun handelingsbekwaamheid over algoritmische systemen terug te winnen zonder toegang tot modelinterne details of trainingsdata.
• Schaalbaarheid: Het toont aan dat gecoördineerde, kleinschalige gebruikersactie systemische verschillen effectief kan mitigeren door middel van middelenbundeling.
• Complementariteit: Het fungeert als een complementaire aanpak voor bestaande ACA-kaders, specifiek gericht op de "testtijd-gat" waar modellen al zijn ingezet en onveranderlijk zijn.

De auteurs merken op dat deze aanpak het meest effectief is wanneer de onderliggende taak breed bruikbaar is maar ongelijk wordt uitgevoerd. Ze erkennen beperkingen: als de taak zelf schadelijk is (bijv. geautomatiseerde genderherkenning die representatieschade veroorzaakt), kan het corrigerende kader van TTCA ontoereikend zijn, en moeten gebruikers mogelijk terugvallen op weigering of betwisting in plaats van optimalisatie. Bovendien gaat de methode uit van een statisch black-box-model; verdedigingen aan de platformzijde (bijv. gerandomiseerde smoothing) kunnen mogelijk de effectiviteit van deze perturbaties mitigeren, hoewel dergelijke verdedigingen ook de algehele platformnauwkeurigheid kunnen verslechteren.