Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models
Dit artikel betoogt dat de homogeniteit van de output in grote taalmodellen niet primair wordt veroorzaakt door het alignmentproces, maar in plaats daarvan wordt geleerd tijdens de pretraining en slechts wordt onthuld of versterkt door daaropvolgende instructieafstemming en alignmentstadia.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, bruisende bibliotheek binnenloopt waar elke seconde miljoenen boeken worden geschreven. Dit is geen bibliotheek van papier en inkt, maar een digitale wereld waar computers genaamd "Large Language Models" (LLM's) leren spreken, schrijven en creëren door bijna alles te lezen wat ooit op het internet is geplaatst. Denk aan deze modellen als ongelooflijk snelle, super obsessieve studenten die de hele bibliotheek lezen om te leren hoe ze een zin afmaken. Maar de laatste tijd merken mensen iets vreemds op: ongeacht de vraag die je stelt, beginnen de antwoorden van deze digitale studenten hetzelfde te klinken. Ze kiezen allemaal dezelfde metaforen, gebruiken dezelfde beleefde zinnen en vermijden de vreemde, wilde of creatieve ideeën. Het is alsof je tien verschillende chefs vraagt om een broodje te maken, en ze besluiten allemaal precies hetzelfde brood, hetzelfde ham en dezelfde mosterd te gebruiken, tot aan het exacte aantal plakjes aan toe.
Wetenschappers noemen dit "output homogeniteit" of "semantische convergentie". Het is een grote zorg, want als onze AI-assistenten allemaal op exact dezelfde smalle manier gaan denken en praten, verliezen we misschien de vonk van menselijke creativiteit. Lange tijd dachten mensen dat dit saaie, repetitieve gedrag kwam door de "training" die de modellen krijgen nadat ze de bibliotheek hebben gelezen. Deze tweede fase, genaamd "alignment" (afstemming), is als een strenge leraar die ingrijpt om te zeggen: "Zeg niet dat vreemde ding; zeg dit beleefde ding in plaats." De algemene overtuiging was dat de student oorspronkelijk een wilde, creatieve genie was, en dat de regels van de leraar die creativiteit onderdrukten. Maar wat als de student al saai was voordat de leraar überhaupt binnenkwam? Wat als de "leraar" de saaiheid alleen maar luider maakte?
Dit artikel, getiteld "Is Convergence Inevitable?", gaat op een detective-zoektocht om uit te zoeken waar deze gelijkvormigheid daadwerkelijk begint. De auteurs, onderzoekers van de Universiteit van British Columbia, wilden twee grote ideeën testen. Ten eerste wilden ze zien of het "alignment"-proces (de regels van de leraar) de schurk is die de creativiteit doodt. Ten tweede wilden ze zien of de "pretraining"-fase (het lezen van de bibliotheek door de student) de saaiheid al vanaf het begin in het brein van het model had gebakken. Om dit mysterie op te lossen, vroegen ze de modellen niet alleen vragen; ze voerden een reeks slimme experimenten uit met metaforen als proefkonijn. Ze behandelden de modellen als proefdieren in een laboratorium, waarbij ze hen specifieke instructies gaven om te zien of ze hen in creativiteit konden lokken of dat ze vastzaten in een lus.
Dit is wat ze vonden, en het is een beetje een plotwending.
Eerst keken ze naar de modellen in verschillende stadia van hun "schooling". Ze controleerden de modellen direct nadat ze klaar waren met het lezen van de bibliotheek (het "base model"), daarna nadat ze leerden om instructies op te volgen (de "SFT"-fase), en tot slot nadat ze waren afgestemd om behulpzaam en veilig te zijn (de "DPO" en "RL"-stadia). De resultaten waren schokkend. Zelfs na de allereerste stap van het leren opvolgen van instructies — nog voordat er strikte veiligheidsregels of "behulpzame" filters werden toegevoegd — spuugden de modellen al bijna identieke antwoorden uit. Wanneer gevraagd werd om een metafoor over "tijd" te schrijven, klonken de modellen niet alleen vergelijkbaar; het leek alsof ze uit hetzelfde script voorlazen. De auteurs suggereren dat het "alignment"-proces de creativiteit niet is die de diversiteit verplettert; het is slechts een vergrootglas dat een patroon onthult dat er al was, verborgen in het volle zicht.
Om dit te bewijzen, speelden de onderzoekers een spel van "verschil zoeken" met de trainingsdata. Ze namen een model en probeerden het een nieuwe manier van denken te leren. Ze creëerden een speciale set instructies waarbij ze het model vertelden een specifieke, vreemde metafoor voor "tijd" te gebruiken (zoals "Tijd is een sandwich") die het model nog nooit eerder had gezien. Ze hoopten dat ze, door het model te dwingen deze nieuwe gedachte te onthouden, het patroon konden doorbreken. Maar het model weigerde in te wijken. Het negeerde de nieuwe "sandwich"-gedachte en bleef vasthouden aan de oude, saaie "rivier"-metafoor waar het blijkbaar al vanaf het begin van hield. De onderzoekers ontdekten dat het model versterkt kon worden — om hetzelfde nog luider te zeggen — maar dat het niet geïntroduceerd kon worden aan een nieuwe manier van denken als dat idee niet al in zijn geheugen sluimerde. Het is als proberen een hond te leren miauwen; hoeveel je hem ook prijst, hij zal het gewoon niet doen omdat miauwen niet in zijn DNA zit.
Ten slotte gingen ze terug naar het prille begin: de "base models" die nog nooit instructies hadden gekregen om op te volgen of beleefd te zijn. Ze dachten dat deze rauwe modellen wild en divers zouden zijn. Maar wanneer ze een speciale truc gebruikten — door zich voor te doen als een behulpzame assistent of het model een paar voorbeelden te geven van hoe het antwoorden moest, — zagen ze dezelfde saaie patronen verschijnen. Zelfs zonder leraar, wanneer het rauwe model een duwtje in de juiste richting kreeg, verviel het van nature in dezelfde "rivier"-metafoor. Dit suggereert dat de neiging om te convergeren naar dezelfde antwoorden geen fout is gemaakt door de leraren; het is een natuurlijke gewoonte die de modellen leerden terwijl ze simpelweg de bibliotheek lazen.
Dus, wat betekent dit allemaal? Het artikel suggereert dat de gelijkvormigheid die we in AI zien, niet alleen een bijproduct is van het veilig of beleefd maken van hen. In plaats daarvan lijkt het een fundamenteel onderdeel te zijn van hoe deze modellen leren het volgende woord in een zin te voorspellen. Wanneer je een model traint op een enorme hoeveelheid menselijke tekst, leert het dat het meest "waarschijnlijke" antwoord vaak het meest voorkomende antwoord is. Het "alignment"-proces zet simpelweg het volume van deze natuurlijke neiging harder. De auteurs concluderen dat het oplossen van dit probleem niet makkelijk zal zijn. Je kunt niet simpelweg de uiteindelijke "leraar"-regels aanpassen om de AI creatiever te maken, omdat de creativiteit er eigenlijk nooit was geweest om te beginnen. De "saaiheid" zit in het recept gebakken, en wordt niet pas aan het einde toegevoegd. Hoewel dit misschien een beetje somber klinkt, is het een cruciale ontdekking. Het vertelt ons dat als we echt diverse en creatieve AI willen, we misschien de manier waarop we hen onderwijzen opnieuw moeten bedenken, in plaats van alleen maar te proberen hun gedrag achteraf te corrigeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.