Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
Dit artikel introduceert het "semantic bandit"-raamwerk om aan te tonen dat de exploratie-exploitatie-afwegingen van grote taalmodellen significant worden beïnvloed door semantische priors afgeleid van pre-training, waarbij informatieve labels de prestaties kunnen verbeteren of verslechteren afhankelijk van de afstemming met beloningen, en negatieve beloningen onevenredig veel exploratie triggeren vanwege verwachte schaalbiases.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een computerprogramma voor dat bijna elk boek, artikel en website op het internet heeft gelezen. Het kan poëzie schrijven, wiskundige problemen oplossen en gesprekken voeren die opmerkelijk menselijk aanvoelen. Dit is een groot taalmodel. Stel je nu voor dat je dit programma een baan geeft waarbij het een reeks keuzes moet maken om de best mogelijke beloning te krijgen, zoals een boer die beslist in welk veld hij gewassen moet planten, of een aanbevelingsmotor die kiest welk shirt hij aan een klant laat zien. Dit is een besluitvormingstaak. In de wereld van de informatica is er een klassieke manier om te testen hoe goed een agent leert van ervaring: het multi-armed bandit probleem. Het is vernoemd naar een rij gokautomaten in een casino, elk met een verschillende, onbekende uitbetaling. Om het meeste geld te winnen, moet je twee concurrerende behoeften in evenwicht houden: vasthouden aan de machine die op dit moment het meest lijkt uit te betalen, en de andere machines proberen voor het geval een van hen eigenlijk beter is. Dit evenwicht wordt exploratie versus exploitatie genoemd. Decennialang hebben onderzoekers bestudeerd hoe je dit wiskundig kunt oplossen. Maar toen ze deze krachtige taalmodellen als besluitvormers gingen gebruiken, merkten ze iets vreemds op. De modellen keken niet alleen naar de cijfers; ze lazen de woorden.
Een team onderzoekers van de McGill University en Mila besloot dit fenomeen te onderzoeken door een nieuw soort test te creëren: de "semantische bandit". In een standaardtest zijn de keuzes gelabeld met neutrale codes zoals "Arm A" of "Arm B". In deze nieuwe test gaven de onderzoekers de keuzes namen die betekenis dragen, zoals "goddelijk", "mild" of "vies". Ze wilden zien of de computer de betekenis van deze woorden zou laten overheersen over de werkelijke data die het verzamelde. Ze zetten een scenario op waarbij de computer optrad als een boer die koos tussen drie velden. Elk veld produceerde een willekeurige hoeveelheid oogst, en het doel was om de totale oogst in de loop van de tijd te maximaliseren. De onderzoekers gaven de velden namen die hun kwaliteit suggereerden. In één versie was het beste veld "goddelijk" genoemd en het slechtste "vies". In een andere versie draaiden ze de namen om, zodat het beste veld "vies" werd genoemd en het slechtste "goddelijk".
De resultaten waren opmerkelijk. Wanneer de namen overeenkwamen met de realiteit van de velden — wanneer het "goddelijke" veld daadwerkelijk de meeste gewassen produceerde — leerde de computer ongelooflijk snel. Het stopte bijna onmiddellijk met het proberen van de andere velden en hield vast aan het "goddelijke" veld, waarbij het een perfecte score behaalde met zeer weinig trial-and-error. Echter, wanneer de namen misleidend waren, maakte de computer een catastrofale fout. Het raakte ervan overtuigd dat het veld genaamd "goddelijk" het beste was, zelfs nadat de data lieten zien dat het de slechtste oogst produceerde. Het negeerde het bewijs en bleef het "goddelijke" veld kiezen, terwijl het veld genaamd "vies" (dat eigenlijk het beste was) ongemoeid werd gelaten. De computer handelde niet op basis van de cijfers; het handelde op basis van de associaties die het had geleerd tijdens het lezen van miljarden woorden tijdens de training. Het had geleerd dat "goddelijk" meestal goed betekent en "vies" meestal slecht, en het paste die regel toe zelfs wanneer de specifieke cijfers voor het oog het tegendeel bewezen.
De onderzoekers ontdekten ook dat de computer anders reageerde op positieve en negatieve getallen. Wanneer de computer een negatieve beloning ontving — een verlies of een straf — werd het plotseling veel nieuwsgieriger. Het begon weer alle verschillende opties te proberen, waarbij het de onbekende velden met hoge energie verkende. Maar wanneer het een positieve beloning ontving, zelfs een kleine, had het de neiging om te stoppen met verkennen en vast te houden aan wat het wist. Dit suggereert dat de computer getallen niet ziet als abstracte signalen in een vacuüm. In plaats daarvan lijkt het een interne verwachting te hebben van hoe een "normale" beloning eruitziet, waarschijnlijk gevormd door de manier waarop beloningen in de tekst worden beschreven waarop het getraind is. Een negatief getal doorbreekt die verwachting zo ernstig dat het de computer dwingt alles opnieuw te evalueren, terwijl een positief getal veilig aanvoelt en het aanmoedigt om het pad te blijven volgen.
Dit gedrag was niet beperkt tot één specifiek computermodel. De onderzoekers testten drie verschillende grote taalmodellen, variërend van open-source systemen tot geavanceerde commerciële versies, en ze vertoonden allemaal dezelfde bias. Het effect was zo sterk dat het een eenvoudige besluitvormingsprobleem in een falen kon veranderen. In een taak waarin een klassiek computerprogramma het probleem in enkele stappen zou oplossen, kon het taalmodel volledig falen als de woorden licht misleidend waren. De onderzoekers vonden dat ze dit gedeeltelijk konden oplossen door de computer expliciet in zijn instructies te vertellen de namen te negeren en te blijven verkennen, maar de bias zat diep geworteld. Zelfs met waarschuwingen hadden de modellen vaak moeite om de betekenis van de woorden te scheiden van de realiteit van de cijfers.
De studie concludeert dat het gebruik van taal om een besluitvormingsomgeving te beschrijven onvermijdelijke vooroordelen introduceert. Omdat deze modellen zijn getraind op de co-occurrentie van woorden in menselijke teksten, dragen ze een reeks aannames over hoe de wereld werkt. Wanneer die aannames overeenkomen met de taak, is het model een genie en leert het sneller dan elk traditioneel algoritme. Wanneer ze botsen, wordt het model koppig en negeert het duidelijk bewijs omdat het te druk is met het volgen van het verhaal dat de woorden vertellen. Dit is geen bug in de code, maar een kenmerk van hoe deze systemen leren van taal. Terwijl deze modellen worden ingezet in echte situaties, van financieel advies tot autonoom rijden, is het begrijpen van wanneer hun linguïstische intuïtie helpt en wanneer het hen de verkeerde kant op leidt, cruciaal. De onderzoekers vonden dat in het simpelst mogelijke besluitvormingsscenario, een computer erdoor getrickst kan worden om de slechtst mogelijke keuze te maken, simpelweg door de naam op een knop te veranderen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.