Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs
Deze crosslinguïstische studie toont aan dat hoewel GPT-2 small bepaalde menselijke inductieve biases vertoont door onderscheid te maken tussen attestatie-talen en typologisch onmogelijke talen, deze biases imperfect zijn en zwakker zijn dan die bij menselijke leerlingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, zeer snelle robot hebt die leren spreken door miljoenen boeken te lezen. Wetenschappers discussiëren erover of deze robot echt taal "begrijpt" zoals mensen dat doen, of dat het slechts een statistische papegaai is die alles kan nabootsen wat hij ziet, zelfs onzin.
Sommige critici zeggen dat de robot te flexibel is: "Hij kan even gemakkelijk wartaal leren als echt Engels, dus dat bewijst niets over hoe menselijke hersenen werken."
Dit artikel stelt dat idee op de proef. De onderzoekers vroegen zich af: Kan deze robot het verschil zien tussen een echte taal en een verzonnen, onmogelijke taal?
Hier is een uitsplitsing van hun experimenten en wat ze vonden, met gebruik van alledaagse analogieën.
De Opstelling: De "Taalgym"
De onderzoekers bouwden een gym voor hun robot (een klein AI-model genaamd GPT-2). Ze gebruikten niet alleen Engels; ze gebruikten 12 verschillende talen uit de hele wereld (zoals Turks, Chinees, Duits en Arabisch) om er zeker van te zijn dat de resultaten niet slechts een toevalstreffer waren van één specifieke taal.
Ze creëerden twee soorten "workouts" voor de robot:
- Echte Talen: Normale zinnen gesproken door mensen.
- Onmogelijke Talen: Dit waren echte zinnen die waren gehusseld. Stel je voor dat je een zin als "De kat zat op de mat" neemt en de woorden door elkaar husselt totdat er "mat op de zat kat de" staat. Of de woorden omdraait. Dit zijn "onmogelijke" zinnen omdat geen enkel menselijk brein ze ooit natuurlijk zou leren of spreken.
Ze testten ook "Niet-gevestigde" Talen. Dit zijn talen die logischerwijs zouden kunnen bestaan, maar die toevallig nooit door mensen zijn gebruikt. Het is als een puzzelstukje dat in het plaatje past, maar dat niemand ooit in het kader heeft gelegd.
Experiment 1: De "Scrambled Egg" Test
De Vraag: Als je de robot een gehusselde versie van een taal voert, merkt hij dan dat het kapot is?
De Analogie: Stel je voor dat je een hond leert om een bal te halen. Als je de bal gooit, haalt de hond hem. Als je een steen gooit, haalt hij hem misschien nog steeds, maar misschien minder enthousiast. De onderzoekers wilden zien of de robot een voorkeur heeft voor de bal (echte taal) boven de steen (gehusselde taal).
Het Resultaat:
- Meestal Ja: In bijna elke taal leerde de robot de echte zinnen veel sneller en beter dan de gehusselde zinnen. Hij raakte "verward" (gemeten met een score genaamd perplexity) wanneer de woorden in de verkeerde volgorde stonden.
- De Kanttekening: De robot was niet perfect. Soms, als het husselen maar een klein beetje was (zoals het wisselen van slechts twee woorden), merkte de robot het verschil niet zo duidelijk op als een mens dat zou doen. Het was een beetje alsof een persoon kan horen dat een liedje vals is, maar het misschien mist als slechts één noot een klein beetje afwijkt.
Experiment 2: De "Globale Vergelijking"
De Vraag: Als we alle echte talen en alle gehusselde talen mengen, kan de robot ze dan in twee nette stapels sorteren?
De Analogie: Stel je een bibliothecaris voor die probeert een stapel echte boeken te sorteren van een stapel boeken waarvan de pagina's willekeurig zijn uitgerukt en weer aan elkaar geplakt. Kan de bibliothecaris zien welke stapel welke is, alleen door naar de boeken te kijken?
Het Resultaat:
- Niet Perfect: De robot kon het verschil meestal wel zien, maar niet 100%. Sommige gehusselde talen leken zo erg op echte talen dat de robot ze door elkaar haalde.
- De Les: De robot heeft een "zachte" voorkeur voor echte talen, maar hij heeft niet de strikte, hard-wired regels die menselijke hersenen lijken te hebben. Het is een beetje als een muziekliefhebber die de voorkeur geeft aan echte liedjes boven lawaai, maar nog steeds van een vreemde remix kan genieten als die pakkend genoeg is.
Experiment 3: De "Grammatica Puzzel"
De Vraag: Mensen hebben een natuurlijke voorkeur voor bepaalde woordvolgordes. Bijvoorbeeld, in het Engels zeggen we "The red car" (Bijvoeglijk naamwoord-Zelfstandig naamwoord). In sommige andere talen zeggen ze "Auto rood". Maar er zijn combinaties die mensen nooit gebruiken, zoals "Rood auto de". Kan de robot deze vreemde, ongebruikte patronen net zo goed leren als de normale?
De Analogie: Stel je voor dat je een kind leert om blokken te stapelen. Mensen hebben van nature een voorkeur om ze stabiel te stapelen (groot blok onderop, klein blok bovenop). Als je probeert ze ondersteboven te stapelen, hebben ze moeite daarmee. De onderzoekers wilden zien of de robot zou worstelen met het "ondersteboven" stapelen of dat hij het gewoon zou doen zonder te klagen.
Het Resultaat:
- Het Verwarrende Deel: Wanneer ze alleen keken naar hoe snel de robot leerde (perplexity), leek het alsof de robot de vreemde, ongebruikte woordvolgordes net zo gemakkelijk leerde als de normale. Het was alsof de robot niet gaf om de "regels" van stabiliteit.
- De Onthulling: Echter, toen ze de bekwaamheid van de robot om te generaliseren (wat hij leerde toe te passen op nieuwe situaties) testten, kwam er een ander beeld naar voren. De robot deed het daadwerkelijk beter met de woordvolgordes die mensen van nature gebruiken. Hij vertoonde een subtiele, menselijke bias, maar deze was veel zwakker dan wat we bij echte mensen zien.
Het Eindoordeel: "Alles Kan?"
Het artikel concludeert dat de robot niet een "onbeschreven blad" is dat alles even goed kan leren.
- De "Alles Kan" Mythe: Het idee dat de robot wartaal net zo gemakkelijk kan leren als echte taal is onwaar. De robot vertoont inderdaad enkele "menselijke" instincten; hij geeft de voorkeur aan echte talen en heeft meer moeite met onmogelijke talen.
- De Realiteit: Deze instincten zijn echter zwak. Ze zijn niet zo sterk of rigide als de regels in een menselijk brein. De robot is als een zeer getalenteerde student die de regels van de grammatica heeft bestudeerd, maar niet het diepe, intuïtieve gevoel voor taal heeft waarmee mensen worden geboren.
Kortom: De robot is niet magisch, en hij is geen perfecte kopie van een menselijke geest. Hij zit ergens in het midden: hij heeft enkele van de "regels" van de menselijke taal geleerd, maar hij mist nog steeds het diepe, intuïtieve begrip dat menselijk leren zo uniek maakt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.