🔢 mathematics

When Are AI Explanations Recoverable? Identifiability, Stability, and Transfer from an Inverse-Problem Perspective

Dit artikel vestigt een wiskundig kader voor het bepalen van de herstelbaarheid van AI-uitleg door deze te formuleren als inverse problemen, waarbij een volledige trichotomie van identificeerbaarheid en stabiliteitscondities voor lineaire en niet-lineaire systemen wordt afgeleid, en expliciete grenzen worden geboden die intrinsieke onderbepaaldheid onderscheiden van algoritmische variabiliteit.

Oorspronkelijke auteurs: Chibuike Chiedozie Ibebuchi

Gepubliceerd 2026-08-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chibuike Chiedozie Ibebuchi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie wordt een model vaak beoordeeld op hoe goed het de toekomst kan voorspellen. Als een systeem accuraat de gezondheidsuitkomst van een patiënt of de koers van een aandeel kan voorspellen, neigen we naar het vertrouwen in zijn oordeel. Maar vertrouwen in een voorspelling is iets anders dan vertrouwen in een uitleg. Wanneer een model een beslissing neemt, willen we vaak weten waarom. Vertrouwde het op een specifiek symptoom? Weegde het één factor zwaarder dan een andere? Deze uitleg is bedoeld om de interne logica van de machine te onthullen, als een venster naar zijn redenering. Er bestaat echter een verontrustende realiteit: twee verschillende modellen kunnen exact dezelfde voorspellingen doen voor elke denkbare casus, maar toch volkomen verschillende redenen aanvoeren voor het doen daarvan. Het ene model kan een specifieke eigenschap de schuld geven, terwijl het andere die volledig negeert, ook al komen beiden tot hetzelfde juiste antwoord. Dit creëert een fundamenteel puzzelstuk: als het waarneembare gedrag identiek is, kunnen we dan ooit zeker weten welke uitleg de ware is?

Deze vraag staat in het hart van een nieuwe studie die de zoektocht naar AI-uitleg niet behandelt als een kwestie van betere software, maar als een probleem van fysica en geometrie. De onderzoeker, Chibuike Chiedozie Ibebuchi van Morgan State University, benaderde het probleem door het te kaderen als een invers probleem. In de wetenschap vraagt een voorwaarts probleem wat er gebeurt wanneer je op een knop drukt; een invers probleem vraagt wat er binnenin de machine moet zijn gebeurd om het resultaat te produceren dat je ziet. De studie vraagt zich af of het "waarom" van een voorspelling uniek en stabiel kan worden teruggewonnen uit het "wat" van de voorspelling. Het antwoord, zo stelt de auteur, is niet een simpel ja of nee. In plaats daarvan hangt de herstelbaarheid van een uitleg volledig af van de wiskundige vorm van de data waarop het model is getraind. De studie bewijst dat voor sommige soorten vragen het antwoord in het volle zicht ligt, terwijl het voor andere vragen wiskundig gezien onmogelijk te vinden is, ongeacht hoeveel rekenkracht men toepast.

De onderzoeker ontwikkelde een precieze manier om de grenzen van uitleg te meten. Ze stelden zich een scenario voor waarin twee AI-systemen zo vergelijkbaar zijn dat hun voorspellingen slechts een minuscuul, bijna onzichtbaar verschil vertonen. Vervolgens vroegen ze: hoeveel kunnen de uitleg van deze twee systemen verschillen? Als de uitleg wild kan uiteenlopen, zelfs wanneer de voorspellingen nagenoeg identiek zijn, dan is de uitleg instabiel. Als de uitleggen volkomen verschillend kunnen zijn, zelfs wanneer de voorspellingen exact hetzelfde zijn, dan is de uitleg onidentificeerbaar. De studie stelt een duidelijke grens vast tussen deze toestanden. Het laat zien dat een uitleg alleen herstelbaar is als deze overeenkomt met de richtingen in de data die het model daadwerkelijk kan "zien". Als de uitleg afhankelijk is van een richting die het model niet kan zien, is de uitleg voorgoed verloren. Als de uitleg afhankelijk is van een richting die het model wel kan zien maar slechts zwak, dan bestaat de uitleg in theorie, maar is deze zo gevoelig voor ruis dat hij in de praktijk onbruikbaar is.

In het specifieke geval van lineaire modellen, die veel voorkomen in veel statistische toepassingen, heeft de auteur een exacte formule afgeleid die fungeert als een liniaal voor deze onzekerheid. Deze formule koppelt de stabiliteit van een uitleg direct aan de geometrie van de relaties in de data. Wanneer de kenmerken van de data sterk gecorreleerd zijn, een situatie bekend als collineariteit, laat de liniaal zien dat uitleggen steeds instabieler worden. De studie demonstreert dat naarmate de correlatie tussen datapunten groter wordt, de onzekerheid in de uitleg evenredig meegroeit, om uiteindelijk oneindig te worden als de correlatie perfect wordt. De onderzoeker testte deze theorie met computersimulaties. Ze creëerden scenario's waarin de relaties in de data werden bijgesteld van perfect helder naar bijna onmogelijk te onderscheiden. In elk geval kwam het gedrag van de computer exact overeen met de wiskundige voorspelling. Wanneer de data goed geordend waren, waren de uitleggen stabiel. Wanneer de data op verschillende manieren bijna identiek waren, divergeerden de uitleggen wild, wat bevestigde dat de instabiliteit geen fout in de software was, maar een fundamentele eigenschap van de beschikbare informatie.

De studie onderzocht ook wat er gebeurt wanneer de AI complexere, niet-lineaire regels gebruikt om beslissingen te nemen. Men zou kunnen hopen dat een complexer model de verwarring veroorzaakt door rommelige data kan ontwarren. De onderzoeker vond echter dat complexiteit de verwarring niet kan oplossen als een uitleg verloren is gegaan. Als een stuk informatie in de eerste plaats ontbreekt in de data, kan geen enkele hoeveelheid niet-lineaire vervorming het terugbrengen. De studie bewijst dat als een uitleg afhankelijk is van een verborgen variabele die het model niet kan observeren, een niet-lineair model nog steeds zal falen om deze te identificeren. De uitleg blijft net zo onzichtbaar als in het simpelere lineaire geval. Deze bevinding is cruciaal omdat het de opvatting weerlegt dat complexere algoritmen problemen kunnen oplossen die fundamenteel onderbepaald zijn door de data.

Verder behandelt het onderzoek de kwestie van transfer, waarbij wordt gevraagd of een uitleg die in de ene situatie werkt, standhoudt als de data licht verandert. De auteur stelde vast dat stabiliteit niet gegarandeerd wordt door kleine veranderingen in de data. Als de onderliggende datadistributie zelfs maar een fractie verschuift, kan een uitleg die voorheen stabiel was, plotseling onmogelijk te herstellen zijn. Dit gebeurt wanneer de verschuiving in de data het probleem naar een grens duwt waar informatie verloren gaat. De studie biedt een specifieke voorwaarde, een "spectrale marge", die in stand gehouden moet worden om ervoor te zorgen dat uitleggen betrouwbaar blijven wanneer men overgaat van de ene dataset naar de andere. Zonder deze marge kan zelfs een minuscule verandering in de data het vermogen om het gedrag van het model te verklaren vernietigen.

Het werk concludeert door te herformuleren hoe we de benadering van verklaarbare kunstmatige intelligentie moeten aanpakken. In plaats van onmiddellijk te zoeken naar het beste algoritme om een uitleg te genereren, suggereert de studie dat we eerst moeten vragen of een uitleg überhaupt mogelijk is om te vinden. Voordat we een kenmerktoeschrijving of een gevoeligheidsscore vertrouwen, moeten we bepalen of de informatie die nodig is om deze te genereren, daadwerkelijk aanwezig is in de waarneembare voorspellingen. De studie scheidt de variabiliteit die wordt veroorzaakt door de keuze van het algoritme van de intrinsieke onzekerheid die wordt veroorzaakt door de data zelf. Het biedt een wiskundige basis voor het weten wanneer een verklarende claim wordt ondersteund door het bewijs en wanneer deze fundamenteel onderbepaald is. Door de grenzen van wat bekend kan worden te definiëren, biedt het onderzoek een noodzakelijke fundering voor het opbouwen van vertrouwen in kunstmatige intelligentie, zodat we een stabiel algoritme niet verwarren met een stabiele waarheid.

Technische Samenvatting: Wanneer zijn AI-uitleg herstelbaar?

Probleemformulering
Het artikel behandelt een fundamentele kloof in Explainable Artificial Intelligence (XAI): de aanname dat voorspellende gelijkenis impliceert dat er ook overeenstemming is in de uitleg. De auteur stelt dat verschillende modellen observationeel ononderscheidbare voorspellingen kunnen opleveren, terwijl ze fundamenteel verschillende kenmerktoerekeningen (feature attributions), sensitiviteiten of rangschikkingen ondersteunen. De centrale vraag wordt geformuleerd als een invers probleem: gegeven een observatie-operator $\mathcal{A}$ (die het observeerbare modelgedrag vertegenwoordigt) en een uitleg-functional $\Psi$ (de grootheid die hersteld moet worden), onder welke voorwaarden is $\Psi(\theta)$ uniek en stabiel herstelbaar uit $\mathcal{A}(\theta)$ ?

De studie maakt onderscheid tussen drie vaak verwarde fenomenen:

Niet-identificeerbaarheid: De uitleg varieert tussen systemen met identieke observaties.
Slecht geconditioneerdheid (Ill-conditioning): De uitleg is uniek, maar oneindig gevoelig voor kleine observationele perturbaties.
Stabiel herstel: De uitleg is uniek bepaald en varieert continu (Lipschitz-stabiel) met de observaties.

Methodologie
Het raamwerk definieert een uitleg-specifieke identificeerbaarheidsmodulus, $\omega_{\Psi, \mathcal{A}}(\delta)$ , die de maximale mogelijke discrepantie in de uitleg-functional $\Psi$ kwantificeert tussen twee systemen waarvan de observaties verschillen met maximaal een tolerantie $\delta$ .

De analyse verloopt via vier theoretische stadia:

Lineaire Hilbertruimte-theorie: Het probleem wordt gemodelleerd met begrensde lineaire observatie-operators $A: \mathcal{H} \to \mathcal{Y}$ en lineaire uitleg-functionals $\Psi_a(\theta) = \langle a, \theta \rangle$ . De analyse steunt op de geometrie van de nulruimte $\ker(A)$ en het bereik van de geadjungeerde operator $\text{Range}(A^*)$ .
Einddimensionale specialisatie: Voor lineaire voorspellers met covariantie-geometrie $\Sigma$ , wordt de modulus afgeleid met behulp van de Moore-Penrose pseudoinversie $\Sigma^\dagger$ .
Nietlineaire uitbreidingen: De theorie wordt uitgebreid naar nietlineaire observatie-operators $F$ die lokaal bi-Lipschitz vergelijkbaar zijn met een lineaire operator $A$ . Dit maakt het mogelijk om de nietlineaire modulus te begrenzen met behulp van de lineaire tegenhanger, geschaald door de Lipschitz-constanten van de nietlineariteit.
Perturbatie-analyse: De studie onderzoekt hoe de herstelbaarheid van de uitleg overgaat bij distributieve veranderingen (bron $P$ naar doel $Q$ ) door de relatieve perturbaties van de covariantie-matrix te analyseren.

Belangrijkste Resultaten

De Trichotomie van Herstelbaarheid (Lineair geval):
Voor een lineaire uitlegrichting $a$ , geldt exact één van de drie regimes:
1. Niet-identificeerbaar: Als $a \notin (\ker A)^\perp$ , is de modulus oneindig voor elke $\delta \geq 0$ . De uitleg kan niet worden hersteld.
2. Identificeerbaar maar oneindig instabiel: Als $a \in (\ker A)^\perp$ maar $a \notin \text{Range}(A^*)$ , is de modulus nul bij $\delta=0$ , maar oneindig voor elke $\delta > 0$ . De uitleg is uniek in de ruisloze limiet, maar onherstelbaar onder perturbatie.
3. Lipschitz-stabiel: Als $a \in \text{Range}(A^*)$ , dan is de modulus $\omega_a(\delta) = \delta \|y_a^\dagger\|$ , waarbij $y_a^\dagger$ de oplossing met minimale norm is van $A^*y = a$ . Dit levert een exacte optimale stabiliteitsconstante.
Einddimensionale Pseudoinversie-formule:
In einddimensionale ruimtes, waar $\text{Range}(A^*)$ gesloten is, stort het tussenliggende instabiele regime in. Als de uitlegrichting in het observeerbare bereik ligt, wordt de modulus gegeven door:
$\omega_a(\delta) = \delta \sqrt{a^\top \Sigma^\dagger a}$
Dit koppelt de herstelbaarheid van de uitleg expliciet aan de covariantie-geometrie. Nabijheid van collineariteit (kleine eigenwaarden) leidt tot slechte conditionering (grote modulus), terwijl rangtekort in de richting van $a$ leidt tot niet-identificeerbaarheid.
Nietlineaire Grenzen:
Voor gegeneraliseerde lineaire modellen (bijv. logistische regressie) met een link-functie $g$ die afgeleide-grenzen heeft $m \leq g' \leq M$ , wordt de nietlineaire modulus begrensd door de lineaire modulus geschaald door $1/M$ en $1/m$ . Cruciaal is dat nietlineariteit de identificeerbaarheid die verloren is gegaan in de observationele nulruimte niet kan herstellen; als een richting onobserveerbaar is in de lineaire voorspeller, blijft deze onobserveerbaar na een monotone transformatie.
Transfer-certificaten:
Het artikel stelt vast dat de stabiliteit van de uitleg overgaat onder distributieve verschuiving alleen als de relatieve perturbatie van de covariantie-geometrie begrensd is weg van spectrale ineenstorting. Specifiek, als $\|E\|_{op} \leq \rho < 1$ (waarbij $E$ de relatieve perturbatie is), wordt de doel-modulus begrensd binnen een factor $1/\sqrt{1 \pm \rho}$ van de bron-modulus. Omgekeerd kunnen willekeurig kleine absolute perturbaties de identificeerbaarheid vernietigen als het bron-systeem zich nabij een rang-tekort grens bevindt.

Numerieke Verificatie
Vier gecontroleerde experimenten verifiëren de theoretische voorspellingen:

Spectrale Conditionering: De exacte lineaire modulus werd gereproduceerd met floating-point precisie over covariantie-conditienummers variërend van $1$ tot $10^6$ .
Nulruimte-falen: Verplaatsingen langs een nul-richting resulteerden in nul voorspellende discrepantie maar divergerende uitleg-discrepantie, wat exacte niet-identificeerbaarheid bevestigt.
Nietlineaire Grenzen: De numerieke moduli voor een logistisch model bleven strikt binnen de theoretische tweezijdige grenzen afgeleid van het lineaire geval.
Transfer-envelop: De gesamplede ratio's van doel-naar-bron moduli onder willekeurige covariantie-perturbaties bleven binnen de theoretische envelop voorspeld door het relatieve perturbatie-theorema.

Betekenis en Claims
Het artikel claimt een kwantitatieve invers-probleem-theorie te bieden voor een gespecificeerde uitleg-functional relatief aan een gespecificeerde observatie-operator. De primaire bijdrage is niet een nieuw attributie-algoritme, maar een wiskundig raamwerk om a priori te bepalen of een verklarende doelstelling herstelbaar is vanuit beschikbare voorspellende informatie.

De auteur betoogt dat dit raamwerk algoritmische variabiliteit (verschillen voortvloeiend uit de keuze van een uitlegmethode) scheidt van intrinsieke slechte conditionering en niet-identificeerbaarheid (fundamentele limieten opgelegd door de data en de modelstructuur). Het werk stelt dat men, voordat men uitleg-algoritmen selecteert of vergelijkt, eerst moet bepalen of het verklarende doel identificeerbaar en stabiel is onder de gegeven informatie-structuur. Als het doel buiten het observeerbare bereik valt of in een instabiel regime verkeert, kan geen enkel algoritme het betrouwbaar herstellen, ongeacht het ontwerp ervan.

De studie concludeert dat de betrouwbaarheid van de uitleg een eigenschap is van het inverse probleem zelf, en niet slechts een eigenschap van het algoritme dat wordt gebruikt om het op te lossen. Dit herkadert de betrouwbaarheid van XAI-claims: deze worden alleen ondersteund wanneer de verklarende grootheid stabiel herstelbaar is uit het observeerbare voorspellende gedrag.

Technische Samenvatting: Wanneer zijn AI-uitleg herstelbaar?

Meer zoals dit