Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation

Stel je voor dat je een goocheltruc probeert uit te leggen aan een sceptische vriend. Je zegt: "De goochelaar zwaaide niet alleen met een toverstaf; hij gebruikte een specifieke verborgen hendel onder het podium." Maar dan vraagt je vriend: "Hoe weten we dat die hendel? Wat als ik naar een ander deel van het podium kijk, of een andere zaklamp gebruik, of een andere goochelaar vraag om te controleren?" Als je uitleg volledig verandert afhankelijk van hoe je naar het geheim zoekt, kun je het dan wel echt een feit noemen? Dit is de kern van een nieuwe studie in de wereld van Kunstmatige Intelligentie (AI).

In het vakgebied van "mechanistic interpretability" proberen wetenschappers in de AI-hersenen te gluren (zoals het beroemde GPT-2 model) om de specifieke "circuits" te vinden — kleine netwerken van verbindingen — die de AI doen wat hij doet. Het is alsof je probeert de exacte elektrische bedrading in een huis in kaart te brengen om uit te leggen waarom een lamp aanging. De Europese Unie heeft een nieuwe wet waarin staat dat als een AI een beslissing met hoge inzet neemt (zoals het weigeren van een lening), het bedrijf een rapport moet indienen waarin wordt uitgelegd hoe de AI die beslissing heeft genomen. De voor de hand liggende manier om dit te doen, is door een kaart van de interne circuits van de AI in te dienen. Maar dit artikel stelt een moeilijke vraag: Als twee slimme experts dezelfde AI en dezelfde tools gebruiken, maar net iets andere, redelijke keuzes maken over hoe ze naar de circuits zoeken, zullen ze dan dezelfde kaart vinden? Of zullen ze twee totaal verschillende verhalen vinden?

De auteur van dit artikel besloot dit te testen door een enorm "kies-je-eigen-avontuur"-experiment op te zetten. Ze keken niet slechts één keer naar de AI; ze keken er 15.840 keer naar. Ze creëerden een raster van zeven verschillende manieren om de AI te analyseren, waarbij ze elke instelling van bestaande, gepubliceerde tools gebruikten. Ze vroegen zich af: "Als we de metriek, de seed, de grootte van het circuit of de manier waarop we het testen veranderen, blijft het verhaal dat we over de hersenen van de AI vertellen dan hetzelfde?"

Het antwoord is helaas een luid "Nee".

Toen de onderzoekers hun experiment uitvoerden, ontdekten ze dat het bewijs ongelooflijk wankel is. Van alle verschillende manieren waarop ze de gegevens hadden kunnen analyseren, veranderde het verhaal dat ze over het circuit van de AI vertelden naar een compleet andere versie in 73,2% van de gevallen. Dat betekent dat als twee controleurs naar dezelfde AI zouden kijken met dezelfde tools maar net iets andere instellingen, ze waarschijnlijk twee totaal verschillende rapporten zouden indienen. Zelfs toen ze probeerden extreem strikt te zijn en de belangrijkste keuzes te standaardiseren, daalde het omslagpercentage slechts naar 59,4%.

Om er zeker van te zijn dat dit geen toevalstreffer was, controleerden ze of de circuits die ze vonden daadwerkelijk hetzelfde waren, maar in andere woorden beschreven. Dat waren ze niet. De circuits waren structureel bijna volledig verschillend (ze deelden slechts ongeveer 4% van hun onderdelen) en functioneel niet gecorreleerd. Het is alsof de ene auditor een kaart van de bedrading in de keuken vond, en de andere een kaart van de waterleidingen, en beiden claimden: "Dit is het geheim van hoe het huis werkt!"

Het artikel ontdekte ook dat een van de zeven belangrijkste tools die ze gebruikten om deze circuits te vinden, helemaal niet werkte op de taak die ze testten; het crashte onmiddellijk. Bovendien werd meer dan de helft van de potentiële verklaringen weggegooid omdat ze niet voldeden aan de strikte regels van de test.

Dus, wat betekent dit voor de toekomst? De auteur zegt niet dat AI kapot is of dat we het niet kunnen begrijpen. De auteur zegt dat de huidige "bonnen" die we hebben om te bewijzen hoe AI werkt, nog niet klaar zijn om bij een overheidsinstantie te worden ingediend. Als je vandaag een kaart van een circuit aan een rechter overhandigt, en een tweede rechter gebruikt dezelfde tools maar een net iets andere methode, kan hij jouw kaart afwijzen en zeggen: "Dit is niet de juiste uitleg." Het onderzoek suggereert dat voordat we deze AI-verklaringen kunnen vertrouwen in de rechtbank of bij veiligheidscontroles, we moeten uitzoeken hoe we de kaarten stabiel kunnen maken, ongeacht wie de zaklamp vasthoudt.