Can Interpretation Predict Behavior on Unseen Data?
Dit artikel toont aan dat aandachtspatronen die worden waargenomen tijdens training binnen de distributie succesvol het out-of-distribution gedrag van een Transformer-model kunnen voorspellen, waarmee een nieuw interpreteerbaarheidsdoel wordt vastgesteld waarbij observationele analyse de betrouwbaarheid onder distributieverschuiving voorspelt, zelfs wanneer causale mechanistische verbanden ontbreken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te begrijpen hoe een mysterieuze, superintelligente robot denkt. Lange tijd geloofden wetenschappers dat je een robot echt moest "kennen" door erin te prikken, aan de draden te draaien of specifieke onderdelen uit te schakelen om te zien wat er kapot ging. Dit is als een monteur die een automotor uit elkaar haalt om te begrijpen hoe hij werkt: als je de bougie verwijdert en de auto stopt, weet je dat de bougie essentieel was. In de wereld van kunstmatige intelligentie wordt dit "causale interpretatie" genoemd. Maar er is een addertje onder het gras: deze robots zijn zo complex dat er in ze prikken vaak verwarrende antwoorden oplevert, of de robot heeft gewoon een back-upplan waar je niets van wist. Dus is er een nieuwe vraag ontstaan: Kunnen we een robot begrijpen door simpelweg naar hem te kijken terwijl hij normaal werkt, zonder hem uit elkaar te halen? Specifiek: kunnen we kijken naar hoe hij een taak afhandelt die hij eerder heeft gezien, en raden hoe hij zich zal gedragen bij een gloednieuwe, vreemde taak die hij nog nooit heeft gezien? Dit is het grote puzzelstuk waar dit artikel een oplossing voor zoekt, een beweging van "dingen kapotmaken om te leren" naar "patronen observeren om te voorspellen."
De onderzoekers achter deze studie besloten een spelletje te spelen met honderden kleine AI-robots (Transformers) om te zien of ze het toekomstige gedrag van de robots konden voorspellen door alleen naar hun "gedachten" te kijken terwijl ze een eenvoudige, bekende taak uitvoerden. Ze leerden deze robots een spel met haakjes, zoals (( )) of ()(). Het lastige deel was dat het trainingsspel ambigu was: de robots konden winnen door simpelweg het totaal aantal open en gesloten haakjes te tellen (een eenvoudige, vlakke regel), of door te controleren of de haakjes perfect genest waren in elkaar als een boom (een complexe, hiërarchische regel). Beide regels werkten perfect op de trainingsdata.
To even gaf de onderzoekers de robots een verrassing. Ze gaven de robots een nieuwe set haakjes die de juiste totale telling hadden, maar die op een manier waren gehusseld die de "boom"-regel verbrak. Dit was de "onbekende data." Sommige robots hielden vast aan de eenvoudige telregel en faalden de nieuwe test. Anderen begrepen de boomregel en slaagden er wel in. De grote vraag was: Konden de onderzoekers de interne "aandacht" (waar de robot op focuste) van de robots observeren terwijl ze nog steeds het oude, gemakkelijke spel speelden, en zo voorspellen welke regel ze zouden gebruiken op de nieuwe, moeilijke game?
Het antwoord is een verrassend "ja." Het team ontdekte dat ze, door simpelweg te observeren hoe de robots zich op de haakjes concentreerden tijdens het gemakkelijke proces, met hoge nauwkeurigheid konden voorspellen of de robot zou slagen of falen op de nieuwe, lastige data. Het is als het kijken naar een student die een wiskundeprobleem oplost op een werkblad; als je ziet dat ze een specifieke, slimme methode gebruiken op de makkelijke problemen, kun je raden dat ze diezelfde slimme logica zullen gebruiken op de moeilijke toets, zelfs als je de toets nog niet hebt gezien.
Echter, het artikel ontdekte ook iets dat onze gebruikelijke manier van denken over het "begrijpen" van een machine uitdaagt. Normaal gesproken, als we zien dat een robot een specifiek deel van zijn brein gebruikt om een probleem op te lossen, nemen we aan dat dat deel de oorzaak van de oplossing is. Maar hier ontdekten de onderzoekers dat de "aanwijzing" die ze zagen (een specifiek aandachtspatroon) niet noodzakelijkerwijs de motor was die het succes dreef. In sommige gevallen gebruikte de robot een patroon dat de prestaties zelfs verslechterde, maar omdat dit patroon gecorreleerd was met de slimme robots, gebruikten de onderzoekers het toch om een correcte voorspelling te doen. Het is als het zien van een geluksbrenger bij een winnend paard; de brenger maakte het paard niet sneller, maar als je de brenger zag, kon je nog steeds correct voorspellen dat het paard zou winnen.
De auteurs argumenteren expliciet tegen het idee dat je een machine moet breken (causale interventie) om haar te begrijpen. Ze laten zien dat het breken van de machine weliswaar één manier is om te leren, maar dat het niet de enige manier is, en soms ook misleidend kan zijn. In hun simulaties vonden ze dat het verwijderen van de "geluksbrenger"-patronen de robot soms zelfs beter liet presteren, wat bewees dat het patroon niet de oorzaak van het succes was, ook al was het een perfecte voorspeller ervan.
Dus, wat is de kernboodschap? Het artikel suggereert een nieuwe manier om AI te beoordelen: in plaats van alleen te vragen "Hebben we de exacte oorzaak gevonden?", zouden we moeten vragen "Kunnen we voorspellen wat er hierna gebeurt?" Als we de interne patronen van een AI op bekende data kunnen observeren en accuraat kunnen raden hoe deze de onbekende situatie zal afhandelen, dan is dat een krachtige vorm van begrip, zelfs als we het mechanische "waarom" erachter niet volledig begrijpen. De onderzoekers voerden deze experimenten uit op 270 verschillende modellen en vonden dat deze voorspellende benadering consistent werkt, wat een nieuw hulpmiddel biedt om te spotten wanneer AI in de echte wereld zou kunnen falen voordat we het zelfs inzetten. Ze beweren niet dat ze het mysterie van het AI-bewustzijn hebben opgelost of een perfecte kaart van elke neurale verbinding hebben, maar ze hebben bewezen dat het observeren van de "dans" van de data ons veel kan vertellen over de volgende zet van de danser.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.