The One-Word Census: Answer-Choice Conformity Across 44 Language Models
Dit artikel introduceert de "One-Word Census", een minimaal instrument dat gebruikmaakt van 31 enkelvoudige woordprompts om aan te tonen dat hoewel 44 taalmodellen een extreme convergentie vertonen op specifieke antwoorden (bijv. "serendipity" in 41% van de gevallen), de mate van conformiteit aanzienlijk varieert per model-afstamming en afstemming, waarbij nieuwere vlaggenschepen over het algemeen conformistischer zijn dan op persoonlijkheid afgestemde modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een kamer binnenloopt met 44 verschillende robots, elk uit een andere fabriek en gebouwd over de afgelopen vijf jaar. Je geeft ze allemaal een papiertje waarop staat: "Noem een boom. Slechts één woord."
Je zou een chaotische explosie van antwoorden verwachten: eik, esdoorn, den, wilg, baobab, redwood. Maar wanneer de robots spreken, valt er een stilte in de kamer. Bijna al hun robots zeggen "eik". Sterker nog, 94% van hen zegt "eik".
Als je om een gereedschap vraagt, zegt 94% "hamer". Als je om een bloem vraagt, zegt 91% "roos". Als je om een groente vraagt, zegt 90% "wortel".
Dit is geen glitch; het is een patroon. Dit papier, genaamd "The One-Word Census", is als een grote presentielijst om te zien hoeveel deze taalmodellen elkaars huiswerk kopiëren. De onderzoekers ontdekten dat wanneer deze AI-hersenen moeten kiezen uit een enorme lijst met mogelijkheden, ze niet zomaar een antwoord kiezen—ze kiezen allemaal hetzelfde antwoord, keer op keer.
Het "meest saaie" antwoord wint
Het vreemde is: het antwoord dat ze kiezen is niet altijd het meest voorkomende ding in de echte wereld. Het is het "wrijvingsloze" antwoord—het antwoord dat het veiligst en meest voor de hand liggend voelt.
Als je bijvoorbeeld om een vrucht vraagt, zeggen de modellen bijna altijd "appel". Maar als je om een groente vraagt, zeggen ze "wortel". Waarom niet "tomaat"? Nou, tomaten zijn botanisch gezien vruchten, dus de modellen raken in de war en slaan ze volledig over. Waarom niet "sinaasappel"? Misschien omdat "sinaasappel" ook een kleur is, en de modellen haten het om dingen te mengen. Ze zijn geprogrammeerd om het antwoord te vermijden dat aanvoelt als een valstrik of een debat. Ze willen het antwoord dat 100% correct is en 0% controversieel.
Zelfs wanneer je ze geen enkele regel geeft en alleen maar zegt: "Kies een willekeurig woord uit de Engelse taal," vult de kamer zich niet met willekeurige woorden. In plaats daarvan roepen 41% van de robots tegelijkertijd hetzelfde woord uit: "serendipity". Het is alsof ze allemaal hetzelfde woordenboek hebben gelezen en besloten dat dit het meest interessante woord was om te kiezen.
De "Erfstuk" versus de "Fabriek" Modellen
De onderzoekers telden niet alleen de antwoorden; ze scoorden de robots op hoe "conformistisch" ze zijn. Denk aan een test waarbij je punten krijgt voor het uniek zijn.
- De Conformisten (De Fabriekmodellen): De nieuwste, krachtigste modellen van de grootste labs (zo als de nieuwste versies van GPT en Claude) zijn het meest saai. Ze zijn zo braaf dat ze bijna nooit iets zeggen wat andere robots niet al hebben gezegd. Als je hen om een condiment vraagt, zullen ze elke keer "ketchup" zeggen. Ze zijn zo afgestemd op de groep dat ze nul "nieuwheid" hebben.
- De Rebellen (De Erfstukmodellen): Aan de andere kant van het spectrum staan oudere of door de gemeenschap getunede modellen (zoals "Hermes" of "WizardLM"). Dit zijn de "erfstukmodellen"—als zeldzame groenten die boeren zijn gestopt met verbouwen omdat ze niet uniform genoeg waren. Deze modellen zijn eerder geneigd om "gouda" te zeggen wanneer iedereen "cheddar" zegt, of "mosterd" wanneer iedereen "ketchup" zegt. Zij zijn de enigen die af en toe de betovering verbreken.
Het artikel suggereert dat naarmate deze modellen nieuwer worden en meer "post-training" ondergaan (waarbij mensen hen leren hoe ze behulpzaam en veilig kunnen zijn), ze saaier worden, niet minder. Het is als een fabriek die vroeger iets verschillende speeltjes maakte, maar nu exact hetzelfde speeltje in elke kleur maakt.
De "Runner-Up" Club
Hier is de meest verrassende wending: zelfs wanneer een model besluit niet het populairste antwoord te geven, gaat het niet wild te werk. Het kiest bijna altijd het tweede meest populaire antwoord.
Als de menigte "ketchup" zegt, zeggen de rebellen 95% van de tijd "mosterd". Als de menigte "wortel" zegt, zeggen ze 83% van de tijd "broccoli". Zelfs de rebellen volgen een script. Ze verkennen niet de diepe, vreemde uithoeken van het woordenboek; ze kiezen gewoon het volgende meest voor de hand liggende ding.
Hoe verhoudt dit zich tot mensen?
De onderzoekers vergeleken deze robots met echte mensen die jaren geleden soortgelijke tests maakten. Het verschil is enorm.
- Mensen: Wanneer gevraagd naar een boom, gaven mensen een grote verscheidenheid aan antwoorden. Het populairste antwoord ("eik") werd door slechts 31% van de mensen gekozen.
- Robots: De robots kozen "eik" in 94% van de gevallen.
De robots zijn twee keer zo geconcentreerd als mensen. Ze zijn minder divers dan een groep mensen. Het artikel suggereert dat dit komt omdat de robots getraind zijn op data die al vol zit met de antwoorden van andere robots, wat een lus creëert waarin ze steeds weer dezelfde veilige, saaie ideeën kopiëren.
Wat dit betekent (en wat het niet betekent)
Het artikel zegt niet dat de robots "kapot" zijn of dat ze niet kunnen denken. Het laat alleen zien dat wanneer ze gedwongen worden om een enkele keuze te maken, ze allemaal in pas marcheren.
- Wat bewezen is: De robots convergeren naar dezelfde antwoorden. De nieuwste modellen zijn het meest conformistisch. De "erfstuk"-modellen zijn het meest divergent.
- Wat gesuggereerd wordt maar niet bewezen is: Het artikel vermoedt dat dit gebeurt door de manier waarop de modellen worden getraind (specifiek de "post-training" fase waarin ze worden afgestemd om behulpzaam te zijn). Het suggereert ook dat als we robots blijven trainen op data geschreven door robots, ze hun vermogen om creatief te zijn volledig kunnen verliezen, zoals een foto die steeds opnieuw wordt gekopieerd tot hij wazig wordt.
- Wat wordt uitgesloten: Het artikel sluit de gedachte uit dat dit komt omdat de robots "dom" zijn of een gebrek aan kennis hebben. Ze weten wel degelijk alles over "tomaten" en "sinaasappels", maar ze kiezen ervoor om ze niet te noemen. Het sluit ook de gedachte uit dat vragen om "ongebruikelijk" te zijn het probleem oplost; als je om een "ongebruikelijke vrucht" vraagt, kiezen ze gewoon de meest voorkomende ongebruikelijke vrucht (zoals "duriaan") en zeggen ze allemaal dat in plaats daarvan.
Kortom, als je 44 AI-modellen vraagt om een woord te kiezen, krijg je niet 44 verschillende ideeën. Je krijgt één idee, 44 keer herhaald, met een paar rebellen die het op één na meest voorkomende idee kiezen. De "magie" van AI-diversiteit verbergt zich momenteel in de trainingslabs, niet in de antwoorden die we krijgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.