For What Reason? Interpreting Models' Encoding of Causation and Antithesis
Dit artikel onderzoekt hoe instructie-getunede Transformer-modellen causaliteit en antithetische discoursrelaties coderen, waarbij wordt onthuld dat voorspellende beslissingen in verschillende stadia over de lagen heen worden genomen en dat deze modellen een asymmetrische representatie van discoursgebaseerd redeneren vertonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gesprek probeert te begrijpen, niet alleen door de woorden te horen, maar door de onzichtbare draden te voelen die ze met elkaar verbinden. In de wereld van kunstmatige intelligentie worden deze draden "discourse relations" (discoursrelaties) genoemd. Beschouw ze als de lijm die een verhaal bij elkaar houdt, die je vertelt of de ene zin de reden is voor de volgende, of dat het een verrassing is die de vorige zin tegenspreekt. Voor een computer om echt nuttig en veilig te zijn, moet hij deze verbindingen begrijpen, niet alleen de woordenboekdefinities van de woorden. Als een robot het verschil niet kan zien tussen "Ik heb gestudeerd, dus ik ben geslaagd" (een gelukkige oorzaak-gevolg) en "Ik heb gestudeerd, toch ben ik gezakt" (een droevige tegenstelling), kan hij je vreselijk advies geven of je gevoelens verkeerd begrijpen. Dit artikel duikt in het "brein" van moderne AI om te zien hoe het deze lastige relaties daadwerkelijk verwerkt.
De onderzoekers, Abhidip Bhattacharyya en Shira Wein, besloten een detective te spelen in twee populaire AI-modellen (LLaMA en Mistral) om te ontdekken hoe ze onderscheid maken tussen causatie (dingen gebeuren omdat iets anders gebeurt) en antithese (dingen gebeuren ondanks iets anders). Ze zetten een simpel spel op: laat de AI een zin zien met een gat, zoals "John heeft hard gestudeerd, dus hij was ___ om te slagen," en vraag de AI om het gat in te vullen met ofwel "in staat" of "niet in staat." Door de verbindingswoorden te wisselen (het veranderen van "dus" naar "toch") of de betekenis van de werkwoorden om te draaien, konden ze precies zien hoe de interne tandwielen van de AI draaiden om de juiste keuze te maken.
Hier is wat ze vonden, en het is een beetje als het ontdekken van hoe een lopende band in een fabriek werkt.
De Lopende Band van het Denken
Het team ontdekte dat de AI zijn beslissing niet in één keer neemt. In plaats daarvan is het een estafette. Wanneer de AI aanwijzende woorden zoals "dus" of "toch" leest, beginnen de vroege en middelste lagen van zijn brein (denk aan de eerste paar verdiepingen van een wolkenkrabber) onmiddellijk de lokale betekenis te begrijpen. Zij zijn degenen die zeggen: "Oh, 'dus' betekent meestal een goed resultaat, terwijl 'toch' een wending betekent!"
Deze vroege lagen hebben echter niet het laatste woord. Terwijl de informatie omhoog reist naar de hogere lagen, wordt de beslissing vastgelegd. De onderzoekers ontdekten dat zodra de middelste lagen hun werk hebben gedaan, de bovenste lagen de beslissing vooral alleen maar doorzetten naar de finishlijn. Als je probeert de bovenste lagen te verstoren door hun "gedachten" te wisselen met een andere zin, verandert de AI van gedachten — het is te laat; de beslissing is al genomen. Maar als je de middelste lagen verstoort op het moment dat de AI het woord "dus" of "toch" ziet, kun je het antwoord van de AI daadwerkelijk omdraaien. Dit suggereert dat de middelste lagen de echte besluitvormers zijn voor deze specifieke aanwijzingen.
De Geheime Vooringenomenheid
Een van de meest interessante bevindingen is dat de AI niet perfect neutraal is. De onderzoekers ontdekten dat bepaalde lagen een ingebouwde bias (vooringenomenheid) hebben. Sommige lagen lijken een sterke voorkeur te hebben voor het antwoord "niet in staat", terwijl andere zwaar leunen naar "in staat", ongeacht wat de zin daadwerkelijk zegt. Het is als een team van rechters waarbij sommigen van nature chagrijnig zijn en "nee" willen zeggen, terwijl anderen optimistisch zijn en "ja" willen zeggen. Het uiteindelijke antwoord is een touwtrekken tussen deze vooringenomen lagen totdat de waarheid wint.
De Rol van het Werkwoord
De studie toonde ook aan dat de AI slim genoeg is om verder te kijken dan alleen de verbindingswoorden. Als de zin een negatief werkwoord gebruikt (zoals "regels overtreedt" in plaats van "hard gestudeerd"), moet de AI harder werken om te achterhalen of "in staat" of "niet in staat" past. De onderzoekers vonden dat de AI verschillende interne paden gebruikt, afhankelijk van of het werkwoord positief of negatief is. Wanneer de werkwoorden negatief waren, waren de verbindingen binnen het brein van de AI minder stabiel en chaotischer, wat suggeredt dat negatieve emoties of acties het redeneerproces van de AI een beetje wankeler maken.
De Kern van het Verhaal
Kortom, dit artikel suggereert dat AI-modellen het antwoord niet gewoon "weten"; ze bouwen het stap voor stap op. De vroege delen van het brein herkennen de aanwijzingen, de middelste delen nemen de beslissing, en de bovenste delen leveren alleen het eindoordeel. Hoewel de AI erg goed is in deze taak (hij heeft bijna altijd gelijk), vertrouwt hij op specifieke, soms vooringenomen interne circuits om dit te doen. Dit helpt ons te begrijpen dat voor AI om werkelijk in lijn te zijn met menselijke waarden, we niet alleen moeten weten wat het antwoordt, maar ook hoe het beslist, omdat de weg naar het antwoord net zo belangrijk is als het antwoord zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.