The One-Word Census: Answer-Choice Conformity Across 44 Language Models
Dieses Paper führt die „One-Word Census“ ein, ein minimales Instrument, das unter Verwendung von 31 Ein-Wort-Prompts aufzeigt, dass während 44 Sprachmodelle eine extreme Konvergenz bei spezifischen Antworten aufweisen (z. B. „Serendipity“ 41 % der Zeit), der Grad der Konformität je nach Modell-Linie und Tuning erheblich variiert, wobei neuere Flaggschiff-Modelle im Allgemeinen konformistischer sind als Persona-getunte Modelle.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten einen Raum mit 44 verschiedenen Robotern, jeder aus einer anderen Fabrik und gebaut in den letzten fünf Jahren. Sie überreichen ihnen alle ein Blatt Papier, auf dem steht: „Nenne einen Baum. Nur ein Wort.“
Man würde eine chaotische Explosion von Antworten erwarten: Eiche, Ahorn, Kiefer, Weide, Baobab, Mammutbaum. Doch als die Roboter sprechen, wird es still im Raum. Fast jeder einzelne von ihnen sagt „Eiche“. Tatsächlich sagen 94 % von ihnen „Eiche“.
Wenn Sie nach einem Werkzeug fragen, sagen 94 % „Hammer“. Wenn Sie nach einer Blume fragen, sagen 91 % „Rose“. Wenn Sie nach einem Gemüse fragen, sagen 90 % „Karotte“.
Dies ist kein Fehler; es ist ein Muster. Dieses Papier, genannt „The One-Word Census“ (Die Ein-Wort-Volkszählung), ist wie ein riesiger Appell, um zu sehen, wie sehr diese 44 Sprachmodelle ihre Hausaufgaben voneinander abschreiben. Die Forscher fanden heraus, dass, wenn diese KI-Gehirne gezwungen sind, sich für eine Antwort aus einer riesigen Liste von Möglichkeiten zu entscheiden, sie nicht einfach eine Antwort wählen – sie wählen alle dieselbe Antwort, immer und immer wieder.
Die „banalste“ Antwort gewinnt
Das Merkwürdige dabei ist: Die Antwort, die sie wählen, ist nicht immer das gebräuchlichste Ding in der realen Welt. Es ist die „reibungsloseste“ Antwort – diejenige, die sich am sichersten und offensichtlichsten anfühlt.
Wenn Sie zum Beispiel nach einer Frucht fragen, sagen die Modelle fast immer „Apfel“. Aber wenn Sie nach einem Gemüse fragen, sagen sie „Karotte“. Warum nicht „Tomate“? Nun, Tomaten sind botanisch gesehen Früchte, also werden die Modelle dadurch verwirrt und überspringen sie komplett. Warum nicht „Orange“? Vielleicht, weil „Orange“ auch eine Farbe ist, und die Modelle hassen es, Dinge zu vermischen. Sie sind darauf programmiert, alles zu vermeiden, was sich wie eine Falle oder eine Debatte anfühlt. Sie wollen die Antwort, die zu 100 % korrekt und zu 0 % kontrovers ist.
Selbst wenn man ihnen keine Regeln vorgibt und einfach nur sagt: „Wähle ein beliebiges Wort in der englischen Sprache“, füllt der Raum nicht mit zufälligen Wörtern. Stattdessen platzen 41 % der Roboter alle mit demselben Wort heraus: „Serendipity“ (Serendipität/Glücklicher Zufall). Es ist, als hätten sie alle dasselbe Wörterbuch gelesen und beschlossen, dass dies das interessanteste Wort sei, das man wählen kann.
Die „Erbstücke“ vs. die „Fabrik-Modelle“
Die Forscher haben die Antworten nicht nur gezählt; sie haben die Roboter darauf geprüft, wie „konformistisch“ sie sind. Denken Sie an einen Test, bei dem man Punkte dafür bekommt, einzigartig zu sein.
- Die Konformisten (Die Fabrik-Modelle): Die neuesten, leistungsfähigsten Modelle aus den größten Laboren (wie die neuesten Versionen von GPT und Claude) sind am langweiligsten. Sie sind so gut erzogen, dass sie fast nie etwas sagen, was die anderen Roboter nicht schon gesagt haben. Wenn man sie nach einem Kondiment fragt, werden sie jedes Mal „Ketchup“ sagen. Sie sind so sehr auf die Gruppe abgestimmt, dass sie keinerlei „Neuheit“ besitzen.
- Die Rebellen (Die Erbstück-Modelle): Am anderen Ende des Spektrums stehen ältere oder gemeinschaftlich angepasste Modelle (wie „Hermes“ oder „WizardLM“). Dies sind die „Erbstück“-Modelle – wie seltene Gemüsesorten, die Bauern aufgehört haben anzubauen, weil sie nicht einheitlich genug waren. Diese Modelle neigen eher dazu, „Gouda“ zu sagen, wenn alle anderen „Cheddar“ sagen, oder „Senf“, wenn alle anderen „Ketchup“ sagen. Sie sind die einzigen, die gelegentlich den Bann brechen.
Das Papier legt nahe, dass diese Modelle, wenn sie neuer werden und mehr „Post-Training“ durchlaufen (bei dem Menschen ihnen beibringen, hilfreich und sicher zu sein), langweiliger werden, nicht weniger. Es ist wie eine Fabrik, die früher leicht unterschiedliche Spielzeuge herstellte, aber jetzt in jeder Farbe exakt dasselbe Spielzeug produziert.
Der „Runner-Up“-Club
Hier kommt die überraschendste Wendung: Selbst wenn ein Modell beschließt, nicht die populärste Antwort zu geben, dreht es nicht völlig durch. Es wählt fast immer die zweitbeliebteste Antwort.
Wenn die Menge „Ketchup“ sagt, sagen die Rebellen zu 95 % der Zeit „Senf“. Wenn die Menge „Karotte“ sagt, sagen sie zu 83 % der Zeit „Brokkoli“. Selbst die Rebellen folgen einem Skript. Sie erkunden nicht die tiefen, seltsamen Winkel des Wörterbuchs; sie wählen nur das nächstfolgende, offensichtlichste Ding.
Wie vergleicht sich das mit Menschen?
Die Forscher verglichen diese Roboter mit echten Menschen, die vor Jahren ähnliche Tests absolvierten. Der Unterschied ist gewaltig.
- Menschen: Wenn sie nach einem Baum gefragt wurden, gaben Menschen eine große Vielfalt an Antworten. Die populärste Antwort („Eiche“) wurde nur von 31 % der Menschen gewählt.
- Roboter: Die Roboter wählten „Eiche“ zu 94 % der Zeit.
Die Roboter sind doppelt so konzentriert wie Menschen. Sie sind weniger vielfältig als eine Gruppe von Menschen. Das Papier legt nahe, dass dies geschieht, weil die Roboter mit Daten trainiert werden, die bereits voll von den Antworten anderer Roboter sind, was einen Kreislauf schafft, in dem sie immer dieselben sicheren, banalen Ideen kopieren.
Was das bedeutet (und was es nicht bedeutet)
Das Papier sagt nicht, dass die Roboter „kaputt“ sind oder nicht denken können. Es zeigt lediglich, dass sie, wenn sie gezwungen werden, eine einzige Wahl zu treffen, alle im Gleichschritt marschieren.
- Was bewiesen ist: Die Roboter konvergieren auf dieselben Antworten. Die neuesten Modelle sind am konformistischsten. Die „Erbstück“-Modelle sind am divergentesten.
- Was vermutet, aber nicht bewiesen ist: Das Papier vermutet, dass dies durch die Art und Weise geschieht, wie die Modelle trainiert werden (speziell die „Post-Training“-Phase, in der sie darauf getrimmt werden, hilfreich zu sein). Es deutet auch an, dass, wenn wir Roboter weiterhin mit Daten trainieren, die von Robotern geschrieben wurden, sie möglicherweise ihre Fähigkeit zur Kreativität vollständig verlieren könnten, wie ein Foto, das immer wieder kopiert wird, bis es verschwommen ist.
- Was ausgeschlossen wird: Das Papier schließt die Idee aus, dass dies nur daran liegt, dass die Roboter „dumm“ sind oder an Wissen mangeln. Sie kennen „Tomaten“ und „Orangen“, aber sie entscheiden sich dagegen, sie zu nennen. Es schließt auch die Idee aus, dass es die Lösung ist, sie zu bitten, „ungewöhnlich“ zu sein; wenn man sie nach einer „ungewöhnlichen Frucht“ fragt, wählen sie einfach die gebräuchlichste ungewöhnliche Frucht (wie „Durian“) und alle sagen stattdessen das.
Kurz gesagt: Wenn man 44 KI-Modelle bittet, ein Wort zu wählen, bekommt man nicht 44 verschiedene Ideen. Man bekommt eine Idee, die 44 Mal wiederholt wird, mit ein paar Rebellen, die das zweitgebräuchlichste Ding wählen. Die „Magie“ der KI-Diversität verbirgt sich derzeit in den Trainingslaboren, nicht in den Antworten, die wir erhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.