Technische Samenvatting: Een Benchmark voor Strategisch Spelen door Geauditeerden onder Continue Compliancebewaking

Probleemstelling

Opkomende regelgeving, met name de EU-wetgeving inzake kunstmatige intelligentie (AI-wet) en de Digital Services Act (DSA), verplicht tot continue compliancebewaking na de implementatie voor AI-systemen en grote onlineplatforms. In tegenstelling tot eerdere werken over strategische classificatie en auditgames, die doorgaans eenmalige interacties modelleren, creëren deze nieuwe regimes een longitudinale auditrelatie. In dit scenario rapporteert een gereguleerde onderneming (de geauditeerde) over meerdere rondes uitkomstenmetrieken, terwijl een auditor (regulator) bepaalt welke rondes worden onderzocht op basis van een temporair beleid.

Het artikel identificeert een kritieke lacune: de bestaande literatuur gaat grotendeels uit van "eerlijk maar nieuwsgierige" geauditeerden of eenmalige interacties. Het faalt in het modelleren van hoe een adaptieve geauditeerde, die beschikt over discretionaire bevoegdheid over rapportagetiming, definitie van metrieken en populatiebereik, strategisch kan "spelen" met een continu auditsysteem. Empirisch bewijs uit de DSA Transparantiedatabase toont reeds inconsistenties in moderatie-rapportage en "auditblinde vlekken" veroorzaakt door API-beperkingen, wat suggereert dat strategische aanpassing een real-world fenomeen is dat formele analyse vereist.

Methodologie

De auteurs formaliseren continue compliance-auditing als een $T$-rondige Stackelberg-game:

• De Auditor (Leider): Committeert bij $t=0$ tot een temporair beleid $\pi$ (bijvoorbeeld een vast schema of een gerandomiseerde verdeling) dat bepaalt welke rondes worden geauditeerd. De beslissingsregel voor geauditeerde rondes is een ruisbewuste Wald-stijl drempel, waarbij de acceptatieband voor kleinere steekproefgroottes ($n_t$) wordt verbreed om statistische onzekerheid te compenseren.
• De Geauditeerde (Volger): Observeert het vastgelegde beleid van de auditor en kiest voor elke ronde een gerapporteerde metriek $\hat{m}_t$ en een steekproefgrootte $n_t$. De geauditeerde kan strategieën aanpassen op basis van het auditschema en de detectiegeschiedenis.

Het Benchmark-artefact

Om empirisch onderzoek te ondersteunen, leveren de auteurs een reproduceerbare Python-simulator met:

1. Vijf Strategieën voor Geauditeerden:
   • Vertraging (Delay): Het uitstellen van ongunstige verschuivingen in metrieken.
   • Afwijking (Drift): Het toevoegen van een vaste bias aan de ware metriek.
   • Kersenplukken (Cherry-pick): Het selecteren van het maximum uit $K$ stochastische schattingen van metrieken.
   • Uitputting (Attrition): Het verkleinen van de steekproefgrootte ($n_t$) wanneer metrieken ongunstig zijn om de ruis-tolerantie van de auditor te verbreden, terwijl een kleine afwijking wordt toegepast.
   • OffAuditDrift: Een auditbewuste strategie die eerlijk rapporteert op geauditeerde rondes en afwijkt op alle andere, misbruik makend van het vastgelegde schema van de auditor.
2. Vijf Beleidsopties voor Auditors:
   • Statische Baselines: Eenmalig, Periodiek en Geschemaard-gerandomiseerd.
   • Extensies: Minimaal steekproefvloer (afdwingen van een minimum $n_t$) en Verdachte-escalatie (verhogen van auditfrequentie op basis van waargenomen gaten).
3. Evaluatiemetrieken:
   • Gaming Gap ($G$): Gemiddeld verschil tussen gerapporteerde en ware metrieken op geauditeerde rondes.
   • Tijd tot Detectie ($\tau_d$): Aantal rondes totdat een gap wordt gemarkeerd.
   • Schade-decompositie: Een niet-additieve splitsing in Welvaartverlies ($W$) (schade voor individuen binnen het geverifieerde rapport op niet-geauditeerde rondes) en Bereikverlies ($C$) (schade voor individuen uitgesloten van het rapport door steekproefuitputting).

Belangrijkste Bijdragen

1. Formalisering van Continue Auditing (C1)

Het artikel vestigt het longitudinale complement aan eenmalige strategische classificatie, waarbij de interactie wordt gemodelleerd als een $T$-rondige Stackelberg-game waarin de geauditeerde discretionaire bevoegdheid heeft over timing, definities en bereik.

2. Niet-Additieve Schade-decompositie (C2)

De auteurs introduceren een raamwerk dat schade splitst in $W$ (geauditeerd oppervlak) en $C$ (uitgesloten oppervlak). Zij betogen dat deze geen somtermen zijn van een totale verliezen; eerder is het strategische doel vaak de herverdeling van schade van het voor de regulator verantwoordelijke oppervlak ($W$) naar het voor de regulator onzichtbare oppervlak ($C$). Uitputting vermindert niet noodzakelijk de totale schade; het verplaatst deze naar een "voor de regulator onzichtbaar" domein.

3. De Observatie van het Dekregime (C3)

Observatie 4.1 identificeert een structurele afweging in elk ruisbewust statisch-auditorontwerp (het "dekregime"). Voor een specifiek interval van afwijkingsmagnitudes ($\Delta$) staat een statisch temporair-dekkingsbeleid voor een bindende afweging:

• Bereikfalen: Als de auditset niet exhaustief is ($\mathcal{A}_\pi \subsetneq \{0, \dots, T-1\}$), kan een geauditeerde op niet-geauditeerde rondes ongedetecteerd afwijken.
• Granulariteitsfalen: Als de auditset exhaustief is, kan een geauditeerde de steekproefgrootte ($n_t$) verkleinen om het ruisenvelop te verbreden, waardoor een afwijking binnen het "dekregime" aan detectie ontsnapt.
  De observatie bewijst dat een statisch beleid niet beide gaten gelijktijdig kan dichten. Het identificeert een steekproefgrootte-bewuste statische regel (Minimaal steekproefvloer) en een geschiedenis-geconditioneerd beleid (Verdachte-escalatie) als orthogonale uitwegen uit dit regime.

4. Empirische Validatie (C4)

Met behulp van parameters die zijn gekalibreerd aan statistieken uit de DSA Transparantiedatabase, demonstreert de simulator:

• Uitputtingseffect: De Uitputting-strategie vermindert $W$ met ongeveer 90% terwijl het aanzienlijke $C$ creëert, waardoor schade effectief wordt verborgen voor de regulator.
• Orthogonale Uitwegen: Het Minimaal steekproefvloer-beleid detecteert Uitputting succesvol (dicht het granulariteitsfalen) maar faalt tegen OffAuditDrift (bereikfalen). Omgekeerd detecteert Verdachte-escalatie naïeve Afwijking sneller, maar faalt tegen Uitputting.
• Auditbewuste Exploitatie: De OffAuditDrift-strategie verslaat alle statische beleidslijnen door alleen eerlijk te rapporteren op bekende auditrondes, wat het geval van "Bereikfalen" van het Dekregime valideert.

5. Kalibratie en Reproduceerbaarheid (C5)

De benchmark is gekalibreerd aan samenvattende statistieken uit gepubliceerde DSA-audits (bijvoorbeeld afwijkingsenveloppen, verhoudingen van steekproefgroottes) en wordt aangeboden als een via pip installeerbaar pakket met deterministische zaden en een kleine, uitbreidbare Python-interface.

Resultaten en Betekenis

Het artikel stelt dat continue auditing een distincte klasse van strategisch spelen creëert waarbij de geauditeerde de longitudinale aard van de relatie kan exploiteren om schade te verschuiven van zichtbare naar onzichtbare oppervlakken.

• Structurele Beperking: Het "Dekregime" toont aan dat statische temporale beleidslijnen inherent kwetsbaar zijn. Het verhogen van de auditfrequentie lost geen granulariteitsfalen op (manipulatie van steekproefgrootte), en het afdwingen van steekproefgroottes lost geen bereikfalen op (strategische timing).
• Strategische Aanpassing: De OffAuditDrift-strategie bewijst dat als de auditor committeert tot een deterministisch of bekend-gerandomiseerd schema, een rationele geauditeerde gegarandeerd nul detectie kan bereiken op geauditeerde rondes terwijl het maximale schade wordt veroorzaakt op niet-geauditeerde rondes.
• Beleidimplicaties: De resultaten suggereren dat effectieve continue auditing verder moet gaan dan statische temporale schema's. Het artikel stelt dat beperkingen op steekproefgroottes en geschiedenis-geconditioneerde escalatie noodzakelijke minimale extensies zijn, hoewel geen van beide op zichzelf voldoende is tegen een volledig adaptieve tegenstander.

De betekenis van het werk ligt in het bieden van de eerste uitvoerbare, speltheoretische omgeving voor het testen van hypothesen over adaptief geauditeerd-gedrag in regelgevende contexten, verdergaand dan de "eerlijk maar nieuwsgierige" aanname die heerst in de huidige literatuur over AI-fairness. Het benadrukt dat zonder adaptieve auditor-mechanismen continue compliance een vals gevoel van veiligheid kan creëren terwijl schade systematisch wordt herverdeeld naar niet-gemonitorde populaties.