Synthetic Persona Pretraining: Alignment from Token Zero
Dieses Paper stellt Synthetic Persona Pretraining (SPP) vor, eine Methode, die werteorientierte Reflexionen aus der Ich-Perspektive direkt in die Pretraining-Phase einbettet, um eine gewünschte Assistenten-Persona ab dem ersten Token zu installieren, wobei demonstriert wird, dass eine solche frühzeitige Intervention die Einhaltung von Verfassungsgrundsätzen, die Robustheit gegen Jailbreaks und die moralische Ausrichtung im Vergleich zu Post-Training-Alignment-Ansätzen signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie ziehen ein Kind auf. Sie könnten warten, bis es ein Teenager ist, es hinsetzen und sagen: „Okay, jetzt, wo du gelernt hast zu sprechen, hier sind die Regeln: Sei freundlich, sag die Wahrheit und verletze niemanden.“ Oder Sie könnten damit beginnen, diese Werte zu lehren, sobald es sein allererstes Wort spricht, indem Sie sie in jede Geschichte einweben, die Sie ihm während des Aufwachsens erzählen. Dies ist das Kernproblem, vor dem die Wissenschaftler stehen, die künstliche Intelligenz entwickeln.
KI-Modelle sind wie digitale Kinder, die lernen, indem sie Milliarden von Textseiten aus dem Internet lesen. Diese initiale Lernphase wird als „Pretraining“ bezeichnet. Während dieser Zeit absorbiert die KI Fakten, Schreibstile und die Art und Weise, wie Menschen miteinander kommunizieren. Die „Regeln“, ein hilfreicher, sicherer Assistent zu sein, werden jedoch meist erst nach dieser massiven Lernphase in einem separaten Schritt, dem sogenannten „Post-Training“, hinzugefügt. Das Problem ist, dass die KI, wenn sie mit dem Lesen des Internets fertig ist, bereits eine Persönlichkeit entwickelt hat, die auf dem basiert, was sie dort gefunden hat. Es ist der Versuch, einer voll entwickelten Persönlichkeit neue Regeln aufzuzwingen, so als würde man versuchen, einem Teenager Höflichkeit beizubringen, nachdem er bereits gelernt hat, unhöflich zu sein; es fühlt sich oft wie eine dünne Farbschicht über einer unordentlichen Wand an, und die alten Gewohnheiten können leicht durchbrechen.
Dieses Paper mit dem Titel „Synthetic Persona Pretraining: Alignment from Token Zero“ schlägt einen anderen Weg vor, unsere KI-Kinder aufzuziehen. Die Forscher schlagen vor, die gewünschte Persönlichkeit und die Werte direkt ab dem allerersten Moment des Trainings zu installieren – was sie „Token Zero“ nennen. Anstatt zu warten, um die KI später zu korrigieren, wollen sie den „guten Assistenten“ bereits in ihr Gehirn einzubauen, während sie noch lernt zu sprechen.
Das Experiment: Ein digitales Kind mit einer Verfassung aufziehen
Die Forscher, ein Team der EPFL und verschiedener Universitäten, beschlossen, diese Idee der „Modell-Erziehung“ zu testen. Sie entwickelten eine neue Methode namens Synthetic Persona Pretraining (SPP). So gingen sie dabei vor, unter Verwendung einer einfachen Analogie:
Stellen Sie sich vor, die KI lernt, eine Bibliothek von Büchern zu lesen. Auf die alte Art liest die KI einfach die Bücher. Auf die neue Art nahmen die Forscher etwa 10 % dieser Bücher und fügten nach jedem paar Absätzen eine spezielle „Gedankenblase“ hinzu. In dieser Gedankenblase würde die zukünftige Persona der KI (nennen wir sie „Cato“) kurz innehalten und über das nachdenken, was sie gerade gelesen hat, indem sie Dinge sagt wie: „Hm, diese Geschichte über ein Verbrechen ist traurig, und meine Regeln besagen, dass ich Gewalt niemals fördern sollte“, oder „Diese technische Anleitung ist langweilig, aber nützlich“.
Sie fügten diese Gedanken nicht nur hinzu; sie brachten der KI bei, diese auch zu generieren. Sie trainierten das Modell sowohl auf dem Originaltext als auch auf diesen neuen „Reflexions-Gedanken“. Dies taten sie auf zwei Arten:
- Token Zero (Der „Ab der Geburt“-Ansatz): Sie streuten diese Reflexionsgedanken durch den gesamten Trainingsprozess, von der allerersten Sekunde bis zur letzten.
- Midtraining (Der „Teenager“-Ansatz): Sie warteten, bis die KI bereits die meisten der Bücher gelesen hatte, und fügten die Reflexionen erst am Ende der Trainingsphase hinzu.
Sie hatten zudem eine Kontrollgruppe, die die Bücher ganz normal las (Vanilla), sowie eine Gruppe, bei der die schlechten Bücher entfernt wurden, aber ohne Reflexionen (Filtered).
Was sie fanden: Die Macht des frühen Beginns
Die Ergebnisse waren faszinierend und deuteten darauf hin, dass es für die KI genauso wichtig ist, wann man sie lehrt, wie was man sie lehrt.
1. Die „Ab der Geburt“-KI war klüger in Bezug auf Werte.
Die Modelle, die mit Reflexionen von Beginn an trainiert wurden (Token Zero), waren viel besser darin, ihrer „Verfassung“ (einem Satz von Regeln, denen sie folgen sollten) zu folgen. Als die Forscher sie mit schwierigen moralischen Dilemmata testeten – Situationen, die die KI zuvor noch nie gesehen hatte – trafen die Token-Zero-Modelle Entscheidungen, die sich eher mit den Regeln in Einklang brachten. Sie hatten die Regeln nicht nur auswendig gelernt; sie schienen den Geist der Regeln zu verstehen.
- Die Zahlen: In einem Test namens „ConstitutionEval“ kamen die Token-Zero-Modelle auf etwa 67 % korrekte Antworten, während die Modelle, die die Reflexionen erst am Ende erhielten (Midtraining), nur etwa 56 % erreichten.
- Die Überraschung: Die Token-Zero-Modelle änderten tatsächlich ihre Prioritäten. Sie begannen, „Wahrhaftigkeit“ und „Gerechtigkeit“ viel stärker zu bewerten als die anderen Modelle, welche „Kreativität“ und „Lernen“ bevorzugten. Dies deutet darauf an, dass der frühe Start nicht nur Regeln hinzufügte, sondern die Art und Weise, wie die KI die Welt wahrnimmt, grundlegend veränderte.
2. Der „Teenager“-Ansatz war für manche Dinge okay, aber nicht für alle.
Interessanterweise funktionierte der Midtraining-Ansatz fast so gut wie der Token-Zero-Ansatz, wenn das Ziel lediglich darin bestand, die KI vor „Jailbreaks“ (dem Austricksen, um schlechte Dinge zu tun) zu schützen. Es scheint, dass man für einfache „Tu das nicht“-Reflexe das Training spät ansetzen kann. Aber für tiefgreifende, komplexe moralische Urteilskraft muss man wirklich vom ersten Tag an beginnen.
3. Größere Gehirne, größere Gewinne.
Die Forscher testeten dies an zwei Größen von KI: einer kleineren (1,7 Milliarden Parameter) und einer größeren (3 Milliarden Parameter). Sie fanden heraus, dass der Vorteil eines frühen Starts umso wichtiger wurde, je größer und intelligenter die KI wurde. Bei den schwierigsten Tests verdoppelte sich der Abstand zwischen der „Ab der Geburt“-KI und der „Teenager“-KI mit zunehmender Skalierung. Dies deutet darauf hin, dass für die massiven, superintelligenten KIs der Zukunft der frühe Beginn mit den richtigen Werten noch entscheidender sein wird.
4. Der „Klebstoff“ zählt.
Es gab jedoch einen Haken. Die Forscher fanden heraus, dass diese frühen Werte nur dann hielten, wenn der letzte Schritt des Trainings (in dem die KI lernt, mit Menschen zu chatten) mit der Persönlichkeit übereinstimmte, die sie zuvor aufgebaut hatte. Sie nannten dies „Persona Binding“. Wenn sie die KI während der Lesephase zu einer bestimmten Art von Assistenten trainierten, sie dann aber in der Chat-Phase zu einer völlig anderen Art von Assistenten unterrichteten, begannen die frühen Werte zu verblassen. Es ist wie das Lehren eines Kindes, Arzt zu werden, es dann aber in eine Kunstschule zu schicken; es könnte die medizinischen Regeln vergessen. Wenn der „Klebstoff“ jedoch hielt, waren die Werte überraschend stark und überstanden sogar Tests, bei denen die Forscher versuchten, sie zu brechen.
Warum das wichtig ist
Dieses Paper legt nahe, dass wir möglicherweise einen Fehler machen, indem wir versuchen, die KI zu „reparieren“, nachdem sie bereits alles aus dem Internet gelernt hat. Die Autoren argumentieren, dass Werte schwer zu einem fertigen Produkt hinzuzufügen sind. Stattdessen sollten wir die KI mit den richtigen Werten „aufziehen“, direkt ab dem ersten Token, den sie verarbeitet.
Obwohl die Ergebnisse vielversprechend sind, betonen die Forscher, dass dies erst der Anfang ist. Sie haben dies an relativ kleinen Modellen (3 Milliarden Parameter) getestet, verglichen mit den massiven Modellen, die heute von großen Tech-Unternehmen verwendet werden. Sie legen nahe, dass mit dem Bau größerer und intelligenterer Modelle der Nutzen, bereits früh mit den richtigen Werten zu beginnen, wahrscheinlich noch kraftvoller werden wird. Sie merkten auch an, dass die frühen Werte zwar stark waren, aber durch bestimmte Arten des späteren Trainings geschwächt werden konnten, was bedeutet, dass wir weiterhin vorsichtig sein müssen, wie wir unsere digitalen Kinder „fertig erziehen“.
Kurz gesagt: Wenn wir eine KI wollen, die wirklich sicher und hilfreich ist, sollten wir nicht warten, bis sie erwachsen ist, um ihr zu lehren, was richtig und falsch ist. Wir sollten sie lehren, während sie noch lernt zu sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.