Post-training makes large language models less human-like
Die Arbeit stellt den Psych-201-Datensatz vor, um zu zeigen, dass Nachtrainierungsprozesse, die große Sprachmodelle auf Nützlichkeit optimieren, deren Fähigkeit, menschliches Verhalten präzise zu simulieren, konsequent beeinträchtigen – ein Problem, das in neueren Modellgenerationen bestehen bleibt und sich verschlimmert und nicht durch Persona-Induktionstechniken gelöst werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen brillanten, chaotischen und unglaublich kreativen Lehrling, der fast jedes Buch in der Bibliothek gelesen hat. Dieser Lehrling ist ein Basis-Modell. Er ist roh, ungefiltert und spricht genau so, wie ein Mensch es tun würde: voller Eigenheiten, Fehler, Zögern und der chaotischen Logik des echten Lebens. Wenn Sie ihn eine Frage stellen, könnte er ins Stolpern geraten, raten oder eine Antwort geben, die technisch „falsch" ist, sich aber sehr menschlich anfühlt.
Dann entscheiden Sie sich, diesen Lehrling zu einem nützlichen Assistenten auszubilden. Sie lehren ihn, strikten Regeln zu folgen, die „richtige" Antwort zu geben und höflich und logisch zu handeln. Dieser Prozess wird Nachtraining genannt.
Die von Ihnen geteilte Arbeit mit dem Titel „Nachtraining macht große Sprachmodelle weniger menschenähnlich" enthüllt eine überraschende und kontraintuitive Wahrheit: Je mehr man diese Modelle zu perfekten Assistenten trainiert, desto weniger klingen sie wie echte Menschen.
Hier ist die Aufschlüsselung ihrer Erkenntnisse anhand einfacher Analogien:
1. Der „perfekte Schüler" vs. der „echte Mensch"
Die Forscher bauten einen riesigen Testbereich namens Psych-201 auf. Stellen Sie sich dies als eine gigantische Bibliothek vor, die über 200.000 Transkripte echter Menschen enthält, die psychologische Tests machen, Spiele spielen und Rätsel lösen. Es ist wie eine „Kontrollgruppe" der Menschheit, mit der man vergleichen kann.
Sie testeten zwei Arten von KI:
- Das Basis-Modell: Der rohe Lehrling, der durch das Lesen von Büchern gelernt hat.
- Das nachtrainierte Modell: Derselbe Lehrling, nachdem er zum hilfsbereiten, regelkonformen Assistenten ausgebildet wurde.
Das Ergebnis: Jedes einzelne Mal war der „perfekte Schüler" (nachtrainiert) schlechter darin, vorherzusagen, was ein echter Mensch sagen oder tun würde, als der „rohe Lehrling" (Basis). Indem sie versuchten, die KI beim Assistenten-Sein „besser" zu machen, entfernten sie versehentlich genau die menschähnlichen Verhaltensweisen, die sie zu einem guten Simulator von Menschen machten.
2. Das „Unheimliche Tal" der Logik
Warum passiert das?
- Basis-Modelle sind wie ein Spiegel der menschlichen Sprache. Sie haben alle unsere Vorurteile, unsere Abkürzungen, unsere „Bauchgefühle" und unsere Fehler absorbiert. Wenn ein Mensch aufgrund von Müdigkeit oder Verwirrung falsch rät, tut das Basis-Modell es auch.
- Nachtraining ist wie das Aufsetzen eines Filters auf diesen Spiegel. Es zwingt die KI, „normativ korrekt" zu sein. Es lehrt die KI, menschliche Eigenheiten zu ignorieren und sich auf die „richtige" Antwort zu konzentrieren.
Die Arbeit ergab, dass diese „Korrektur" in zwei Bereichen am schädlichsten ist:
- Psycholinguistik (Wie wir Wörter verwenden): Menschen verwenden Sprache chaotisch. Nachtrainierte Modelle verwenden sie zu perfekt.
- Schlussfolgern: Menschen machen oft logische Fehler oder nutzen Abkürzungen (Heuristiken). Nachtrainierte Modelle werden gezwungen, logisch perfekt zu sein, was sie weniger wie einen menschlichen Denkprozess und mehr wie einen Taschenrechner klingen lässt.
3. Das Paradoxon „Je neuer, desto schlechter"
Man könnte denken, dass KI, je intelligenter sie wird, besser darin ist, Menschen nachzuahmen. Die Arbeit sagt: Nicht ganz.
- Die Basis-Modelle (die rohen Lehrlinge) werden mit jeder neuen Generation besser darin, Menschen nachzuahmen.
- Der Nachtrainings-Prozess (das „Assistenten"-Training) wird jedoch aggressiver. Die Lücke zwischen dem „rohen Lehrling" und dem „perfekten Assistenten" vergrößert sich. Je neuer das Modell ist, desto „roboterhafter" und weniger menschenähnlich wird es, sobald man die „Assistenten"-Funktionen aktiviert.
4. Der „Persona"-Trick funktioniert nicht
Es gibt einen beliebten Trick namens Persona-Induktion. Dabei sagt man der KI: „Stell dir vor, du bist eine 35-jährige Lehrerin aus Brasilien", in der Hoffnung, dass sie sich wie diese spezifische Person verhält.
Die Forscher testeten dies im großen Maßstab. Sie gaben der KI detaillierte Profile echter Menschen (Alter, Nationalität, Ausbildung) und baten sie vorherzusagen, wie diese spezifischen Personen antworten würden.
Das Ergebnis: Es half nicht. Das Wissen um die „Persona" machte die KI nicht besser darin, individuelles menschliches Verhalten vorherzusagen. Es ist wie einem Schauspieler ein Thesaurus zu geben; es macht ihn nicht zu einem besseren Improvisator.
Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass genau die Werkzeuge, die wir verwenden, um KI hilfreich zu machen (Instruction Tuning, Training des Schlussfolgerns, Sicherheitsfilter), dieselben Werkzeuge sind, die sie zu einem schlechten Werkzeug für die Simulation menschlichen Verhaltens machen.
Wenn Sie wollen, dass eine KI wie ein hilfreicher Assistent agiert, sollten Sie die nachtrainierte Version verwenden.
Aber wenn Sie wollen, dass eine KI wie ein Mensch agiert (zum Beispiel, um zu simulieren, wie ein Patient in einer Therapiesitzung reagiert oder wie ein Schüler lernt), sollten Sie tatsächlich das Basis-Modell verwenden (die rohe, untrainierte Version), da es sich noch daran erinnert, wie man chaotisch, unvollkommen und menschlich ist.
Kurz gesagt: Um KI nützlicher zu machen, haben wir sie weniger menschlich gemacht. Um sie wieder menschenähnlicher zu machen, müssten wir vielleicht aufhören, sie so stark zu „reparieren".
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.