Prediction certification cannot replace explanation certification: a competence envelope for trustworthy AI under compound stress

Kunstmatige intelligentie is verhuisd van het domein van sciencefiction naar de stille, kritieke machinerie van het moderne leven. We vertrouwen op deze systemen om te beslissen welke patiënten verslechteren, welke gebouwen veilig zijn om na een ramp te betreden, en of een afbeelding echt is of een fabricage. Jarenlang was de standaardmanier om deze machines te vertrouwen door te kijken naar wat ze zeggen. Als een systeem vaak genoeg correct voorspelt, als zijn vertrouwen overeenkomt met zijn succespercentage, en als het een juist bereik aan antwoorden dekt, hebben we het als veilig beschouwd. Deze benadering behandelt de machine als een zwarte doos: we hoeven niet te weten hoe het denkt, alleen dat de antwoorden statistisch betrouwbaar zijn. Maar deze methode gaat ervan uit dat de wereld waarin de machine opereert precies hetzelfde zal zijn als de wereld waarop hij is getraind, en dat niemand de invoer heeft gemanipuleerd. In de momenten met hoge inzet, waar levens en middelen op het spel staan, vallen deze aannames vaak tegelijkertijd weg. Wanneer een diagnostisch hulpmiddel geconfronteerd wordt met een nieuw type patiënt, of een systeem voor schadebeoordeling een ramp tegenkomt die het nog nooit heeft gezien, kan de machine blijven voortkomen in zelfverzekerde, goed uitgelegde antwoorden die volkomen fout zijn. Het gevaar is niet dat de machine faalt, maar dat hij stilzwijgend faalt, door een overtuigende reden te geven voor een fout die niemand vermoedt totdat het te laat is.

Een nieuwe studie daagt de langgehouden overtuiging uit dat het controleren van de antwoorden van een model voldoende is om de veiligheid ervan te garanderen. Onderzoekers hebben bewezen dat een machine perfect kan zijn in het voorspellen van uitkomsten, terwijl hij in het geheim vertrouwt op een defecte of gemanipuleerde manier van denken. Ze hebben aangetoond dat het mogelijk is om twee versies van een model te creëren: één die betrouwbaar is en één die gecompromitteerd is. Wanneer ze op hun antwoorden worden getest, zien deze twee modellen er identiek uit. Ze hebben dezelfde nauwkeurigheid, hetzelfde vertrouwensniveau en dezelfde statistische dekking. Toch is het gecompromitteerde model geheim veranderd om te vertrouwen op een verborgen, nutteloze aanwijzing die alleen onder specifieke, stressvolle omstandigheden verschijnt. Omdat de standaardcontroles alleen naar de uiteindelijke antwoorden kijken, kunnen ze het verschil niet zien. Het gecompromitteerde model slaagt voor elke test, maar zal catastrofaal falen op het moment dat de verborgen aanwijzing in de echte wereld verschijnt. De onderzoekers hebben aangetoond dat je om dit soort falen te vangen niet alleen moet luisteren naar wat de machine zegt; je moet kijken naar hoe hij beslist. Je moet de interne logica onderzoeken, de specifieke kenmerken waarop hij leunt, en de redenen die hij geeft voor zijn keuzes.

Om dit op te lossen, introduceerde het team een nieuw kader genaamd de "competentie-envelop" (competence envelope). Stel je een kaart voor die precies definieert waar een machine veilig te gebruiken is. Deze kaart wordt niet getekend door enkel te kijken naar hoe vaak de machine het juiste antwoord geeft. In plaats daarvan wordt deze getekend door twee dingen tegelijkertijd te controleren: de betrouwbaarheid van de voorspelling en de getrouwheid van de verklaring. De onderzoekers ontdekten dat deze twee controles op verschillende manieren falen. Wanneer de data in de loop van de tijd verandert, zoals wanneer de toon van een nieuwsfeed verschuift, falen de voorspellingscontroles eerst. Wanneer data schaars wordt of wanneer de machine gedwongen wordt te draaien op beperkte rekenkracht, falen de verklaringscontroles eerst. Een machine kan nog steeds correcte antwoorden geven terwijl zijn interne redenering instabiel is geworden, of hij kan stabiele redenen geven voor antwoorden die niet langer betrouwbaar zijn. Door te eisen dat beide controles slagen, creëert de competentie-envelop een veilige zone. Als de machine buiten deze zone stapt, weet het systeem dat het moet stoppen en moet zeggen: "Ik weet het niet", in plaats van een zelfverzekerde maar gevaarlijke gok te doen.

De onderzoekers testten dit idee bij veel verschillende soorten data en modellen, van eenvoudige tekstclassificaties tot complexe taalmodellen. In één experiment simuleerden ze een scenario waarin een aanvaller een zeldzame, verborgen frase in de trainingsdata plantte. De machine leerde deze frase te gebruiken als een snelkoppeling om het juiste antwoord te raden. Wanneer de machine op schone data werd getest, zag hij er perfect uit. Zijn nauwkeurigheid was hoog en zijn verklaringen leken redelijk. Maar toen de onderzoekers de verborgen frase tijdens het werkelijke gebruik introduceerden, veranderde het gedrag van de machine volledig. Hij begon fouten te maken die onzichtbaar waren voor standaardcontroles. Echter, de nieuwe verklaringscontrole ving hem onmiddellijk. Het merkte op dat de interne focus van de machine was verschoven naar de verborgen frase, een teken dat het besluitvormingsproces was gekaapt. Dit gebeurde zelfs terwijl de antwoorden van de machine statistisch normaal leken. De studie bevestigde dat het vertrouwen op voorspellingscontroles alleen is als het controleren van een brug door enkel te tellen hoeveel auto's er veilig overheen rijden, terwijl men negeert of de stalen balken zijn gaan roesten.

De kracht van deze benadering ligt in het vermogen om "stille fouten" te detecteren voordat ze schade veroorzaken. In een test met real-world data uit oorlogsgebieden en klimaatdiscussies, voorspelde het nieuwe systeem wanneer een model fouten zou gaan maken, maanden voordat de fouten daadwerkelijk verschenen. Dit deed het door de stabiliteit van de redenering van de machine in de gaten te houden. Wanneer de data schaars werd of de omgeving veranderde, begon de interne logica van de machine te wankelen, zelfs als de antwoorden nog een tijdje correct bleven. Het systeem gebruikte deze vroege waarschuwing om de machine te stoppen met het nemen van beslissingen die hij niet kon onderbouwen. In multimodale systemen, waarbij een machine zowel tekst als afbeeldingen gebruikt, stelde de methode het systeem in staat om een falende sensor te negeren en te vertrouwen op de sensor die nog wel functioneerde. Dit voorkwam dat de machine werd misleid door een enkele defecte invoer, een veelvoorkomende foutmodus in complexe omgevingen.

De implicaties van dit werk reiken veel verder dan academische theorie. De onderzoekers pasten hun kader toe op een real-world scenario met betrekking tot de beoordeling van beschadigde bruggen in Oekraïne. In deze omgeving met hoge inzet heeft elke beslissing over de vraag of een brug veilig is om over te steken of reparatie nodig heeft, een zware prijs. Standaardmethoden zouden een brug als beschadigd kunnen verklaren op basis van een enkele sensoraflezing, zelfs als die aflezing afkomstig is van een gecompromitteerde of onbetrouwbare bron. De nieuwe competentie-envelop benadering fungeert als een poortwachter. Het controleert niet alleen het schade-signaal, maar ook de betrouwbaarheid van de data en de stabiliteit van de redenering achter het oordeel. In hun analyse van zeventien bruggen identificeerde het systeem correct de gevallen waarin de data te onbetrouwbaar was om een oordeel te vellen, en droeg de beslissing over aan menselijke ingenieurs in plaats van een vals oordeel te riskeren. Dit vermogen om "Ik weet het niet" te zeggen wanneer de omstandigheden onzeker zijn, is het kenmerk van een werkelijk veerkrachtig systeem.

Uiteindelijk vestigt dit onderzoek de stelling dat vertrouwen in kunstmatige intelligentie niet alleen op antwoorden kan worden gebouwd. Een machine kan het juiste zeggen om de verkeerde redenen, en die verkeerde redenen kunnen leiden tot stille, catastrofale fouten. De studie bewijst dat om veiligheid te garanderen, we de redenen moeten certificeren die een machine geeft, en niet alleen de resultaten die hij produceert. Door controles op wat een model voorspelt te combineren met controles op hoe het denkt, kunnen we een duidelijke competentiegrens definiëren. Binnen deze grens is het systeem veilig te gebruiken. Buiten deze grens weet het systeem dat het moet terugstappen. Deze verschuiving van blinde zelfverzekerdheid naar geverifieerd begrip biedt een pad vooruit voor de inzet van kunstmatige intelligentie in de meest kritieke hoeken van onze wereld, waarbij wordt gewaarborgd dat wanneer de inzet het hoogst is, de machines die we vertrouwen niet alleen zelfverzekerd zijn, maar ook werkelijk competent.