Technische Samenvatting: Rule of Thumb: Het verklaren van kunstmatige intelligentiesystemen met partiële informatie

Probleemstelling

Verklarebare Kunstmatige Intelligentie (XAI) staat voor kritieke beperkingen in drie opkomende toepingsgebieden: zero-shot classificatie met Large Language Models (LLM's), het auditeren van opake propriëtaire AI-systemen, en het gebruik van AI voor wetenschappelijke ontdekkingen. Bestaande methoden, die primair gebaseerd zijn op sensitiviteitsanalyse (bijv. SHAP, LIME, Integrated Gradients), vertrouwen op het verstoren van inputkenmerken om veranderingen in de modeloutput te observeren. Deze aanpak stuit op fundamentele barrières:

1. Onbereikbaarheid: Sensitiviteitsgebaseerde methoden vereisen vaak toegang tot modelgewichten (gradiënten) of de mogelijkheid om het model te bevragen met synthetisch verstoorde data. Dit is onmogelijk voor closed-source LLM's die alleen via een API toegankelijk zijn en is eveneens prohibitief duur vanwege het hoge aantal vereiste API-aanroepen (bijv. 500–5000 aanroepen per verklaring).
2. Het Rashomon-effect bij auditing: Wanneer propriëtaire systemen worden geaudit, bouwen onderzoekers vaak "mimic"-modellen om het doelmodel te benaderen. Echter, verschillende mimic-modellen met een vergelijkbare nauwkeurigheid kunnen verschillende interne mechanismen bezitten, wat leidt tot tegenstrijdige verklaringen (het Rashomon-effect). Dit ondermijnt de validiteit van audits gebaseerd op mimic-modellen.
3. Wetenschappelijke Validiteit: Sensitiviteitsanalyse gaat ervan uit dat modelgedrag op out-of-distribution (synthetische) data een reflectie is van de werkelijke causaliteit. Dit kan leiden tot spuriële hypothesen, waarbij oninformatieve kenmerken belangrijk lijken simpelweg omdat het model willekeurig reageert op synthetische verstoringen.

Methodologie: Rule of Thumb (ROT)

De auteurs stellen "Rule of Thumb" (ROT) voor, een nieuwe XAI-formulering die de belangrijkheid van kenmerken definieert op basis van voorspelbaarheid in plaats van sensitiviteit. In plaats van te vragen hoe het wijzigen van een kenmerk de output verandert, vraat ROT hoe het kennen van een specifieke kenmerkwaarde de voorspelling van het gedrag van de AI deelt.

Formulering

ROT modelleert de output van het AI-systeem $C(x)$ als een som van additieve functies die de informatie vertegenwoordigen die door individuele kenmerkwaarden wordt geleverd. Voor een dataset $X$ en een kenmerkenset $\mathcal{J}$, schat het model het volgende in:
$$C(x) \approx F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)$$
waarbij:

• $F$ een sigmoid (classificatie) of identiteitsfunctie (regressie) is.
• $f_{\theta_j}(x_j)$ een geleerde functie is die de belangrijkheid vertegenwoordigt van kenmerk $j$ met waarde $x_j$.
• $G$ een globale bias-term is.
• De schatting houdt stand voor elke deelverzameling van kenmerken $J \subseteq \mathcal{J}$.

Optimalisatie

Het doel is om optimale gewichten $\theta$ te vinden die de loss minimaliseren tussen de ware modeloutput $C(x)$ en de schatting afgeleid van willekeurige deelverzamelingen van kenmerken. De loss-functie $L$ wordt gemarginaliseerd over alle datapunten en alle mogelijke kenmerkensubsets:
$$\min_{\theta} L = \min_{\theta} \sum_{J \subseteq \mathcal{J}} \sum_{x \in X} p^{|J|} (1-p)^{(|\mathcal{J}|-|J|)} \cdot \ell\left[C(x), F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)\right]$$
Cruciaal is dat deze optimalisatie efficiënt wordt opgelost met behulp van dropout toegepast op de kenmerkbelangrijkheden tijdens de training. Dit maakt het mogelijk om het model te fitten op de volledige onverstoorde dataset zonder dat er extra modelqueries nodig zijn voor elke verklaring. Eenmaal gefit, is de belangrijkheid van een kenmerk voor een specifiek datapunt simpelweg de waarde van $f_{\theta_j}(x_j)$.

Belangrijkste Verschillen

• Geen Perturbatie: ROT vereist geen generatie van synthetische data of het verstoren van inputs.
• Niet-input Kenmerken: ROT kan externe, niet-input kenmerken (bijv. demografische attributen die niet aan het model worden doorgegeven) in de verklaring opnemen door te fitten op uitgebreide datasets, wat de detectie van bias mogelijk maakt, zelfs als het model beweert deze kenmerken niet te gebruiken.
• Model Agnostisch: Het vereist enkel het vermogen om voorspellingen op bestaande data te observeren, niet toegang tot gewichten of de mogelijkheid om nieuwe inputs te bevragen.

Belangrijkste Bijdragen en Resultaten

1. Zero-Shot Classificatie met LLM's

• Experiment: De auteurs pasten ROT toe op zero-shot beeldclassificatie (GPT-4o-mini API) en tekstclassificatie (uitspraken in rechtszaken en filmrecensies).
• Resultaten: ROT-verklaringen kwamen nauw overeen met menselijke annotaties (gewogen AUROC van 0,77 voor rechtszaken, vergelijkbaar met SHAP's 0,74).
• Efficiëntie: Terwijl de eerste ROT-verklaring training vereiste (ongeveer 1160 seconden voor de juridische dataset), waren daaropvolgende verklaringen vrijwel onmiddellijk (<0,1 ms). In contrast hiermee vereiste SHAP ongeveer ~1320 seconden per verklaring. ROT maakte verklaringen mogelijk voor LLM's waar sensitiviteitsgebaseerde methoden computationeel onhaalbaar waren.

2. Auditing van Propriëtaire Black-Box Systemen

• Experiment: De auteurs auditeerden het e-commerce aanbevelingssysteem van Amazon, waarbij ze een studie van The Markup repliceerden die een Random Forest mimic-model gebruikte.
• Resultaten:
  • Rashomon-effect: Verschillende mimic-modellen (met variërende hyperparameters of algoritmen) produceerden tegenstrijdige SHAP/LIME-verklaringen met betrekking tot de belangrijkheid van kenmerken (bijv. of "productrecensies" of "merk is amazon" het belangrijkst was).
  • ROT Voordeel: ROT leverde consistente verklaringen zonder enig mimic-model. Het identificeerde "merk is amazon" als het belangrijkste kenmerk, maar benadrukte ook uniek "verkocht door amazon" als een significante factor, waardoor potentieel zelfbevoordelend gedrag werd blootgelegd dat mimic-gebaseerde audits misten.

3. Wetenschappelijke Ontdekking

• Experiment: De auteurs testten ROT op diabetesvoorspelling, recidive en leninggoedkeuringsdatasets, waarbij ze specif scenario's creëerden waarin bepaalde kenmerken ofwel oninformatief waren ofwel werden gemaskeerd door adversariële "foil"-kenmerken.
• Resultaten:
  • Oninformatieve Kenmerken: Wanneer "leeftijd" mathematisch werd ontkoppeld van diabetesuitkomsten, kenmerkten SHAP en LIME dit nog steeds als belangrijk (wat spuriële hypothesen genereerde), terwijl ROT het correct als onbelangrijk identificeerde.
  • Adversariële Robuustheid: In adversariële opstellingen die ontworpen waren om explainers te misleiden om prioriteit te geven aan "foil"-kenmerken boven gevoelige kenmerken (zoals ras of geslacht), faalden SHAP en LIME (ze herstelden het gevoelige kenmerk <5% van de tijd). ROT behield een succespercentage van >89% en identificeerde correct de ware gevoelige kenmerken.

4. Computationele Efficiëntie en Milieu-impact

• ROT is ordes van grootte sneller dan SHAP en LIME voor grootschalige verklaringen. De paper merkt op dat na de initiële fit, ROT miljoenen verklaringen kan berekenen in de tijd die SHAP nodig heeft voor één enkele verklaring, wat de ecologische voetafdruk van XAI aanzienlijk vermindert.

Betekenis en Claims

Het artikel claimt dat ROT langlopende validiteits- en praktische problemen in XAI aanpakt door het paradigma te verschuiven van sensitiviteitsanalyse naar kenmerk-voorspelbaarheid.

• Regulatoire Naleving: ROT wordt gepositioneerd als een instrument dat voldoet aan de eisen van de EU AI Act (bijv. Artikel 15 en 74) voor het auditeren van hoog-risico systemen waarbij toezichthouders wel toegang hebben tot datasets, maar niet tot volledige modeltoegang of de mogelijkheid om nieuwe inputs te bevragen.
• Wetenschappelijke Rigor: Door af te zien van aannames over causale mechanismen of out-of-distribution gedrag, biedt ROT een robuustere baseline voor het genereren van wetenschappelijke hypothesen vergeleken met sensitiviteitsgebaseerde methoden.
• Praktische Implementatie: ROT wordt gepresenteerd als een "drop-in replacement" voor bestaande XAI-codebases die model-agnostisch, sneller en in staat is om systemen te verklaren (zoals API-only LLM's) die voorheen onverklaarbaar waren.

De auteurs benadrukken dat ROT niet beweert causale inferentie op te lossen, maar een betrouwbare methode biedt om modelgedrag te begrijpen op basis van geobserveerde data-voorspelbaarheid, wat het uniek geschikt maakt voor de beperkingen van moderne, propriëtaire AI-systemen.