Sequential Fairness Auditing with Limited Output Access

Technische Samenvatting: Sequentiële Rechtvaardigheidsauditing met Beperkte Outputtoegang

Probleemformulering
Externe auditors krijgen steeds vaker de taak om AI-systemen te evalueren op naleving van regelgeving (bijv. de EU AI Act), maar zij hebben doorgaans geen toegang tot modelparameters, trainingsdata of interne documentatie. In plaats daarvan moeten zij vertrouwen op query-gebaseerde interacties met uitgerolde systemen. Bestaande methoden voor rechtvaardigheidsevaluatie gaan voornamelijk uit van statische datasets en tests met vaste steekproeven, wat minder geschikt is voor realistische scenario's waarin bewijs sequentieel moet worden verzameld onder strikte query-budgetten.

Dit werk behandelt de uitdaging van het auditeren van rechtvaardigheid onder beperkte outputtoegang, waarbij de auditor alleen modeloutputs (beslissingen, scores of logits) observeert voor geselecteerde inputs. Het kernprobleem wordt geformuleerd als een tolerantiebewust sequentieel hypothesetestprobleem. In tegenstelling tot traditionele point-null tests, definieert de regelgevende context naleving relatief aan een tolerantiedrempel $\delta$. De auditor streeft ernaar om te bepalen of een rechtvaardigheidsmetriek $g(f)$ voldoet aan $g(f) \le \delta$ (naleving) of $g(f) > \delta$ (schending) door sequentieel bewijs te accumuleren en te stoppen zodra er voldoende statistische ondersteuning is verkregen of het query-budget is uitgeput.

Methodologie
De auteurs stellen een Sequentieel Generalized Likelihood Ratio (GLR) framework voor, ontworpen voor eindige audit-pools en variërende niveaus van modeltoegang.

1. Rechtvaardigheidsmetrieken en Hypothesen: Het framework richt zich op twee primaire metrieken:

   • Statistical Parity (SP): $|P(f(X)=1|A=a) - P(f(X)=1|A=b)| \le \delta$.
   • Equal Opportunity (EO): $|P(f(X)=1|Y=1, A=a) - P(f(X)=1|Y=1, A=b)| \le \delta$.
     De nulhypothese $H_0$ vertegenwoordigt naleving ($g(f) \le \delta$), en de alternatieve hypothese $H_1$ vertegenwoordigt een schending ($g(f) > \delta$).

2. Toegangsniveaus (Access Regimes): De methodologie maakt onderscheid tussen drie niveaus van observeerbaarheid:

   • Alleen beslissingen (Black-box): De auditor observeert binaire voorspellingen $\hat{Y} \in \{0,1\}$. Het likelihoodmodel is Bernoulli.
   • Score-toegang (Gray-box): De auditor observeert voorspellingsscores $S(x) \in [0,1]$. Het framework behandelt deze als proxy-audits met een Gaussisch likelihoodmodel voor de groep-conditionele scoregemiddelden.
   • Logit-toegang (White-box proxy): De auditor observeert pre-sigmoid logits $Z(x)$. Vergelijkbaar met scores, worden deze gebruikt voor proxy-audits met een Gaussisch likelihoodmodel.

3. Sequentieel Procedure:

   • De auditor bevraagt een vaste, uitgesloten audit-pool (of een gefilterde sub-pool voor EO waar $Y=1$) in een willekeurige volgorde zonder teruglegging.
   • In elke stap $t$ wordt een GLR-statistiek $\Lambda_t$ berekend op basis van de geaccumuleerde data.
   • Stopregels: De audit eindigt als $\Lambda_t$ een bovenste grens $u$ overschrijdt (verwerp $H_0$, schending gedetecteerd) of een onderste grens $\ell$ overschrijdt (accepteer $H_0$, naleving gecertificeerd). Als het maximale budget $B$ wordt bereikt zonder een grens te overschrijden, wordt de uitkomst als inconclusief verklaard.
   • De grenzen worden ingesteld met behulp van Wald-type benaderingen ($u = \log((1-\beta)/\alpha)$, $\ell = \log(\beta/(1-\alpha))$) voor nominale foutpercentages $\alpha=0.05$ en $\beta=0.2$.

Belangrijkste Bijdragen

1. Sequentiële Formulering: Het artikel formaliseert het auditeren van rechtvaardigheid onder beperkte toegang als een sequentieel statistisch beslissingsprobleem met expliciete tolerantiedrempels, waarmee het verder gaat dan statische batch-evaluatie.
2. GLR-protocol: Het ontwikkelt een sequentieel GLR-testprotocol met operationele stopregels voor samengestelde rechtvaardigheidsbeperkingen, toepasbaar op zowel beslissingsgebaseerde als proxy (score/logit) audits.
3. Toegangsbewuste Analyse: Het werk analyseert systematisch hoe verschillende toegangsniveaus (alleen beslissingen versus rijkere observeerbare variabelen) de efficiëntie van de audit beïnvloeden, waarbij onderscheid wordt gemaakt tussen exacte beslissingsgebaseerde tests en proxy-audits.
4. Empirische Inzichten: Door experimenten op ACS en Adult datasets te uitvoeren, identificeren de auteurs praktische verschijnselen in sequentiële auditing, waaronder de impact van de keuze van de metriek (SP vs. EO) en de statistische ambiguïteit nabij regelgevende drempels.

Resultaten
Experimenten werden uitgevoerd op benchmark-datasets (ACS en Adult) met diverse neurale netwerkmodellen (basis en rechtvaardigheidsbeperkt). De belangrijkste bevindingen zijn:

• Impact van Toegangsniveaus: Rijkere outputinformatie vermindert het aantal vereiste queries aanzienlijk voor Statistical Parity (SP) audits. Bijvoorbeeld, op de ACS-dataset verminderde logit-toegang het gemiddelde aantal queries met ongeveer een factor drie vergeleken met alleen beslissings-toegang. Echter, voor Equal Opportunity (EO) zijn de voordelen van rijkere toegang niet uniform.
• Moeilijkheidsgraad van EO-audits: EO-audits zijn inherent intensiever qua steekproefomvang dan SP-audits. Dit wordt toegeschreven aan het feit dat EO opereert op een conditionele sub-pool ($Y=1$), die kleiner is en mogelijk minder gunstige groepscomposities heeft voor bewijsaccumulatie. In gevallen nabij de drempel (bijv. Adult dataset EO), leverde rijkere toegang (scores/logits) niet consistent snellere of meer concludente audits op; veel runs eindigden inconclusief, zelfs met hoge query-budgetten.
• Efficiëntie vs. Nauwkeurigheid Trade-off: Sequentiële auditing vermindert de query-kosten drastisch vergeleken met fixed-sample baselines (bijv. het gebruik van slechts ~200 queries versus 4000 voor SP op Adult). Deze efficiëntie gaat echter gepaard met een trade-off: in uitdagende scenario's nabij de drempelwaarde kunnen sequentiële audits meer inconclusieve uitkomsten of een lagere beslissingsnauwkeurigheid produceren vergeleken met fixed-sample testing die het volledige budget benut.
• Grenseffecten: Modellen met rechtvaardigheidsverschillen nabij de regelgevende tolerantie $\delta$ leveren vaak inconclusieve uitkomsten op binnen realistische budgetten, wat de statistische moeilijkheid benadrukt om naleving van schending te onderscheiden in deze regimes.

Betekenis en Claims
Het artikel claimt een praktisch statistisch framework te bieden voor sequentiële rechtvaardigheidsauditing dat reflecteert aan de realiteit van deployment-beperkingen waarbij auditors beperkte toegang hebben. Het demonstreert dat:

• De uitkomsten van rechtvaardigheidsaudits niet alleen afhangen van het model, maar ook van het statistische protocol en het toegangsniveau van de auditor.
• Hoewel rijkere outputs de efficiëntie van audits voor bepaalde metrieken (zoals SP) aanzienlijk kunnen verbeteren, garanderen ze geen snellere audits voor alle metrieken (zoals EO), vooral wanneer de verschillen dicht bij de tolerantiedrempel liggen.
• Het voorgestelde framework operationaliseert het concept van "tolerantiebewust" auditeren, waarbij erkend wordt dat kleine verschillen juridisch toelaatbaar kunnen zijn, en biedt een mechanisme om de gegevensverzameling te stoppen zodien er voldoende bewijs is verzameld.

De auteurs merken beperkingen op, waaronder de focus op binaire groepen en binaire classificatie, het gebruik van proxy-audits voor score/logit-toegang (die geen exacte garanties bieden voor harde beslissingsbeperkingen), en het gebruik van operationele in plaats van exacte finite-sample kalibraties voor de stopgrenzen. Zij suggereren dat toekomstig werk de exploratie van multi-groep settings, adaptieve query-strategieën en confidence sequences kan verkennen.