Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits

Wanneer een computerprogramma een zin leest en bepaalt wat deze betekent, moeten we vaak raden waarom het die keuze heeft gemaakt. We kunnen kijken naar de getallen die het programma gebruikt om verschillende woorden te wegen, maar die getallen zijn slechts schattingen; ze vertellen ons niet precies welke woorden tot het uiteindelijke antwoord hebben geleid. Dit is een probleem voor kunstmatige intelligentie, vooral wanneer we een beslissing van een machine moeten vertrouwen. Wetenschappers proberen al lang modellen te bouwen die niet alleen accuraat zijn, maar ook transparant, zodat we het exacte pad kunnen zien van de woorden op het scherm naar de conclusie die de machine bereikt. De uitdaging is dat het meest voorkomende type taalmodel vertrouwt op een wiskundige truc om de keuzes te verzachten, een truc die het erg moeilijk maakt om de invloed van een enkel woord te traceren. Als we willen weten waarom een machine denkt dat een verhaal waar of onwaar is, hebben we een manier nodig om de bijdrage van elk woord te meten zonder het draad kwijt te raken in een wolk van benaderingen.

Een team van onderzoekers heeft een nieuw soort taalmodel gebouwd dat dit probleem oplost door de manier waarop de machine denkt te veranderen. In plaats van de standaard wiskundige trucs te gebruiken die het redeneren verbergen, hebben ze een systeem geconstrueerd waarbij elke stap in het denkproces een directe meting is van licht of kwantumdeeltjes. In dit nieuwe ontwerp raadt de machine niet hoeveel een woord belangrijk is; de machine meet het. De onderzoekers vervingen de gebruikelijke verzachtende stappen door een natuurkundige regel die de kracht van een signaal kwadrateert, een regel die al een eeuw lang bekend is in de natuurkunde. Door dit te doen, creëerden ze een model waarbij het uiteindelijke antwoord een precieze som is van de bijdragen van elk afzonderlijk woord. Toen ze dit systeem testten op een taak die vraagt of een zin volgt uit een andere, presteerde de machine net zo goed als de beste standaardmodellen, maar met een cruciaal verschil: het kon hen precies vertellen welke woorden de uitkomst bepaalden, en die verklaringen telden perfect op tot de uiteindelijke score.

De onderzoekers testten hun creatie op een dataset van bijna tienduizend zinnenparen, waarbij menselijke annotatoren al de specifieke woorden hadden gemarkeerd die het verschil maakten tussen een zin die waar, onwaar of ongerelateerd was. Ze vergeleken hun nieuwe model met een standaardmodel dat de gebruikelijke verzachtingstricks gebruikt. Beide modellen gaven ongeveer 77 procent van de tijd het juiste antwoord, wat aantoont dat het nieuwe ontwerp de nauwkeurigheid niet heeft opgeofferd voor helderheid. Echter, toen de onderzoekers de modellen vroegen om zichzelf uit te leggen, was het verschil groot. In het standaardmodel veranderden de woorden die het beweerden dat het belangrijkst waren, niet altijd het antwoord wanneer ze werden verwijderd. In het nieuwe model veranderde het verwijderen van het woord dat het systeem als belangrijkste identificeerde het antwoord in 4 de 45 procent van de gevallen, een veel sterker teken dat de uitleg daadwerkelijk de beslissing aanstuurde. Bovendien kwamen de woorden die het nieuwe model aanwees dichter bij de woorden die mensen hadden gemarkeerd dan het standaardmodel deed.

Wat dit werk uniek maakt, is dat de uitleg geen gedachte achteraf is die later wordt toegevoegd; het is ingebouwd in de zeer eigen structuur van de machine. De onderzoekers ontwierpen het model zo dat de wiskunde die het antwoord beschrijft een eenvoudige polynoom is, een type vergelijking waarbij de variabelen de signaalwaarden van de woorden zijn. Hierdoor kunnen ze de exacte bijdrage van elk woord berekenen door kleine stukjes van de berekening bij elkaar op te tellen, een proces dat geen ruimte laat voor fouten. Ze verifieerden dit door het model te draaien op een kwantumcomputer, een machine die de vreemde eigenschappen van subatomaire deeltjes gebruikt om informatie te verwerken. Ze draaiden niet het hele model op de kwantumcomputer, wat met de huidige technologie te moeilijk zou zijn, maar ze draaiden wel de onderdelen die meten hoe woorden zich tot elkaar verhouden. De kwantumcomputer gaf dezelfde antwoorden als het perfecte wiskundige model, en toen ze een kernwoord verwijderden, veranderde de kwantummachine van gedachten precies zoals het perfecte model dat deed. Dit bewees dat het ontwerp niet alleen in theorie werkt, maar ook op echte hardware.

De onderzoekers toonden ook aan dat dezezelfde set getallen gebruikt kan worden om een machine te bouwen die met licht werkt. Ze brachten de gewichten van het model in kaart op een ontwerp dat gebouwd kan worden met spiegels en lasers, waarbij de woorden worden gerepresenteerd door lichtbundels en de relaties tussen hen worden gemeten door hoe de lichtgolven met elkaar interfereren. Hoewel ze deze optische versie op een computer simuleerden, toonde de wiskunde aan dat het exact hetzelfde zou werken als de kwantumversie. Deze dubbele mogelijkheid suggereert dat het model niet gebonden is aan één specifiek type hardware; het is een ontwerp dat kan draaien op licht, op kwantumdeeltjes of op klassieke computers, waarbij het altijd dezelfde heldere, exacte uitleg geeft voor zijn antwoorden.

Een van de meest opvallende bevindingen was dat de standaardmanier om naar deze modellen te kijken, door te controlen naar welke woorden de machine de meeste aandacht besteedde, misleidend was. In het nieuwe model waren de woorden die de meeste aandacht kregen niet altijd even goed in staat om het antwoord te verklaren als de woorden die het model als bewijs identificeerde. Sterker nog, het verwijderen van het woord met de hoogste aandachtsscore veranderde het antwoord minder vaak dan het verwijderen van het woord met de hoogste bewijsscore. Dit suggereert dat de aandachtgewichten, die vaak worden gebruikt om uit te leggen hoe een model werkt, kunnen lijken op een menselijke redenering, maar er niet daadwerkelijk toe leiden. Het bewijs van het nieuwe model was daarentegen een ware verantwoording van het antwoord.

Het werk beweert niet alle problemen van kunstmatige intelligentie te hebben opgelost, en de onderzoekers zijn voorzichtig in het benoemen van de beperkingen van hun huidige experimenten. De kwantumcomputertests werden uitgevoerd op slechts twee korte zinnen, en de optische versie is alleen gesimuleerd, niet gebouwd. Het systeem vereist ook veel metingen om te werken op een kwantumcomputer, wat momenteel traag en duur is. Desalniettemin bewijst de studie dat het mogelijk is om een taalmodel te bouwen dat zowel accuraat als perfect uitlegbaar is. Door de verborgen wiskundige trucs te vervangen door directe fysieke metingen, hebben de onderzoekers een machine gecreëerd die niet alleen een antwoord geeft, maar ook zijn werk laat zien op een manier die exact, verifieerbaar en begrijpelijk is. Dit opent een pad naar kunstmatige intelligentie die we kunnen vertrouwen, niet omdat het een zwarte doos is die werkt, maar omdat we precies kunnen zien hoe het werkt.