🤖 machine learning

Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling

Dieses Papier identifiziert eine verborgene „Alignment-Transition" in Sprachmodellen, bei der sich das Verhältnis von Schlussfolgerung und Wahrhaftigkeit jenseits einer kritischen Skala von einer Antikorrelation zu einer Kooperation wandelt, ein Phasenübergang, der durch architektonische Anpassungen, Datenkuratierung und Trainingsrezepte vorhergesagt und manipuliert werden kann, ohne dass ein Zugriff auf die Modellinternen erforderlich ist.

Ursprüngliche Autoren: Adil Amin

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adil Amin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „Wachstumsschmerzen" der KI

Stellen Sie sich vor, Sie bringen einem Kind bei, gleichzeitig klug und ehrlich zu sein. Lange Zeit glaubten Wissenschaftler, dass ein Kind mit mehr Bildung (mehr „Skalierung") automatisch sowohl klüger als auch ehrlicher wird.

Dieses Papier argumentiert, dass dies bei KI-Modellen nicht immer der Fall ist. Tatsächlich gibt es eine spezifische Phase der „Wachstumsschmerzen", in der das Klügerwerden die KI tatsächlich schlechter darin macht, die Wahrheit zu sagen.

Die Autoren nennen dies die „Alignment-Steuer". Es ist wie eine vorübergehende Strafe, die man während des Aufwachsens der KI zahlt. Aber die gute Nachricht? Dies ist kein Naturgesetz. Es ist ein Konstruktionsfehler, den Ingenieure beheben können.

1. Die Kehrtwende auf der Straße

Die Forscher untersuchten 63 verschiedene KI-Modelle aus 16 verschiedenen Familien. Sie maßen zwei Dinge:

Schlussfolgerung: Wie gut die KI Rätsel löst (wie ein Mathetest).
Wahrhaftigkeit: Wie gut die KI verhindert, dass sie sich Dinge ausdenkt (wie ein Lügendetektortest).

Was sie fanden:

Kleine Modelle (Die „Steuer"-Phase): Wenn die KI klein ist, macht das Klügerwerden sie oft schlechter darin, die Wahrheit zu sagen. Es ist wie ein Teenager, der durch sein neues Selbstvertrauen so zuversichtlich wird, dass er anfängt, Geschichten zu erfinden, um cool zu wirken. Die beiden Fähigkeiten bekämpfen sich gegenseitig.
Der kritische Schalter ( $N_c$ ): Es gibt eine bestimmte Größe (bei einigen Modellen etwa 3,5 Milliarden Parameter), an der sich dies ändert.
Große Modelle (Die „Bonus"-Phase): Sobald die KI diese Größenschwelle überschreitet, hört der Kampf auf. Jetzt macht das Klügerwerden sie auch ehrlicher. Die beiden Fähigkeiten arbeiten nun wie eine gut geölte Maschine zusammen.

Der Haken: Die Verlustkurve (die Standardmethode, um KI-Fortschritt zu messen) zeigt dies nicht. Sie sieht aus wie eine glatte, perfekte Linie, die nach unten verläuft. Der „Kampf" zwischen den Fähigkeiten ist für die Standardwerkzeuge unsichtbar und verbirgt sich direkt unter der Oberfläche.

2. Es geht nicht um die Größe, sondern um das Rezept

Man könnte denken: „Ach, also brauchen wir einfach größere Modelle, um das zu beheben." Das Papier sagt: Nein. Die Größe ist nur eine Zutat.

Die „Alignment-Steuer" ist tatsächlich eine Designentscheidung. Die Forscher fanden drei „Regler", die Ingenieure drehen können, um das Problem zu beheben, manchmal sogar bei winzigen Modellen:

Regler 1: Bessere Daten (Die „ausgewählte Ernährung"):
- Analogie: Stellen Sie sich vor, Sie füttern ein Kind nur mit hochwertigen, verifizierten Fakten statt mit zufälligen Internetgerüchten.
- Ergebnis: Das Phi-Modell (sehr klein, 1 Milliarde Parameter), das mit super-sauberen Daten trainiert wurde, verhält sich so ehrlich und klug wie ein 10-Milliarden-Parameter-Modell, das mit unordentlichen Webdaten trainiert wurde. Die „Steuer" verschwindet, weil die Ernährung besser war.
- Beispiel: Qwen3-Modelle zeigen überhaupt keine „Steuer", weil ihre Trainingsdaten sorgfältig kuratiert wurden.
Regler 2: Breitere Architektur (Der „breitere Flur"):
- Analogie: Stellen Sie sich einen Flur vor, in dem zwei Personen (Schlussfolgerung und Wahrheit) versuchen, gleichzeitig durch eine schmale Tür zu gehen. Sie stoßen zusammen und kämpfen. Wenn Sie die Tür verbreitern, können sie nebeneinander gehen, ohne zu kollidieren.
- Ergebnis: Das Problem liegt nicht im Gehirn selbst, sondern in der Ausgabe-Projektion (die letzte Tür, durch die die Information geht). Wenn Sie diese Tür verbreitern, hört der Kampf auf, selbst wenn die Modellgröße gleich bleibt.
Regler 3: Architekturänderungen:
- Analogie: Den Bauplan des Hauses ändern.
- Ergebnis: Neuere Designs (wie Gemma-4) können die Phase der „Wachstumsschmerzen" ganz überspringen. Ein 4-Milliarden-Parameter-Gemma-4 verhält sich wie ein 13-Milliarden-Parameter-Modell einer älteren Generation.

3. Wo versteckt sich das Problem?

Die Forscher schauten in das „Gehirn" der KI (die Aufmerksamkeitsköpfe).

Überraschung: Im Inneren des Gehirns sind die Teile, die für Schlussfolgerung und Wahrheit verantwortlich sind, tatsächlich freundlich. Sie arbeiten 95 % der Zeit zusammen.
Die eigentliche Engstelle: Das Problem tritt ganz am Ende auf, wenn die KI die Antwort ausspucken muss. Es ist wie eine Gruppe von Freunden, die sich auf einen Plan einigen, aber die Person, die für die Gruppe spricht, ein Mikrofon hat, das zu klein ist, um beide Stimmen gleichzeitig zu tragen. Das Signal wird gequetscht, und es sieht so aus, als würden sie kämpfen.
Die Lösung: Wenn Sie diesem Sprecher ein größeres Mikrofon geben (breitere Ausgabeschicht), kommt die Zusammenarbeit zum Vorschein.

4. Warum das für Sie wichtig ist

Nicht davon ausgehen, dass „Größer besser ist": Wenn Sie ein kleines KI-Modell verwenden (wie eines auf Ihrem Handy), behebt das bloß Vergrößern möglicherweise nicht seine Tendenz zu lügen. Es macht es vielleicht nur zu einem klügeren Lügner.
Prüfen Sie die „Kopplung": Bevor Sie ein Modell skalieren, sollten Sie prüfen, ob seine Fähigkeiten sich bekämpfen oder zusammenarbeiten.
- Wenn sie sich bekämpfen (negative Kopplung): Fügen Sie nicht einfach mehr Daten oder Größe hinzu. Ändern Sie das Trainingsrezept, verbreitern Sie das Modell oder reinigen Sie die Daten.
- Wenn sie zusammenarbeiten (positive Kopplung): Dann wird das Vergrößern tatsächlich beiden Fähigkeiten helfen.
Die „Steuer" ist optional: Das Papier beweist, dass die „Alignment-Steuer" keine dauerhafte Regel des Universums ist. Es ist ein Fehler im aktuellen Ingenieursprozess, der gepatcht werden kann.

Zusammenfassende Analogie

Stellen Sie sich das KI-Training wie den Bau einer Brücke vor.

Alter Stand: Wenn Sie mehr Stahl (Parameter) hinzufügen, wird die Brücke automatisch stärker und sicherer.
Neuer Stand: In der Mitte des Bauprozesses macht das Hinzufügen von mehr Stahl die Brücke tatsächlich wackelig, weil die beiden Seiten der Brücke in entgegengesetzte Richtungen ziehen.
Die Lösung: Sie brauchen nicht nur mehr Stahl; Sie müssen den Bauplan (Architektur) ändern oder bessere Materialien (kuratierte Daten) verwenden, um sicherzustellen, dass die beiden Seiten zusammenziehen. Sobald Sie diese Bauphase überschritten haben, wird die Brücke unglaublich stark und sicher.

Das Papier bietet ein Dashboard und Werkzeuge, um Ingenieuren genau zu sagen, in welcher Phase sich ihr Modell befindet, damit sie keine Zeit damit verschwenden, einfach nur „hochzuskalieren", wenn sie eigentlich den „Bauplan reparieren" sollten.

Technische Zusammenfassung: "Lügen ist nur eine Phase: Der verborgene Alignmentsübergang beim Skalieren von Sprachmodellen"

1. Problemstellung

Die aktuellen Skalierungsgesetze sagen den Modellverlust mit hoher Präzision als Funktion von Rechenleistung und Parameteranzahl voraus, versagen jedoch darin, zu beschreiben, wie sich unterschiedliche Fähigkeiten gegenseitig beeinflussen. Die vorherrschende Annahme in diesem Bereich ist, dass Benchmarks (z. B. Schlussfolgern, Wahrhaftigkeit, Befolgung von Anweisungen) als unabhängige Trajektorien skalieren. Dieser Beitrag stellt diese Annahme in Frage und geht davon aus, dass Fähigkeiten gekoppelt sind und ihre Interaktion einen scharfen Regimewechsel durchläuft, der für Standardverlustkurven unsichtbar ist.

Spezifisch untersuchen die Autoren die Beziehung zwischen Schlussfolgern (gemessen durch HellaSwag) und Wahrhaftigkeit (gemessen durch TruthfulQA). Während der Verlust mit der Skalierung monoton abnimmt, ist die Korrelation zwischen diesen beiden Fähigkeiten nicht konstant. Der Beitrag identifiziert einen „Phasenübergang", bei dem das Skalieren des Schlussfolgerns in kleineren Modellen die Wahrhaftigkeit aktiv verschlechtern kann (das Regime der „Alignmentssteuer"), bevor es in ein kooperatives Regime kippt, in dem das Skalieren in größeren Modellen beide Fähigkeiten gleichzeitig verbessert.

2. Methodik

Die Autoren stellen das Framework Capability Coupling Analysis of Phase Emergence (CAPE) vor, um die Interaktion zwischen Fähigkeiten über 63 Basismodelle aus 16 Familien hinweg zu messen.

Kopplungsmetriken:
- Lokale Kopplung ( $\gamma_{12}$ ): Definiert als die Ableitung $\Delta TQA / \Delta HS$ zwischen aufeinanderfolgenden Modellgrößen innerhalb einer Familie. Dies misst, wie sich die Wahrhaftigkeit pro Einheit der Verbesserung des Schlussfolgerns verändert.
- Populationskopplung ( $r$ ): Die Pearson-Korrelation über ein Panel von Modellen.
Datenumfang: Die Analyse umfasst 63 Modelle mit Größen von 70M bis 70B Parametern aus Familien wie Pythia, OPT, BLOOM, Llama, Falcon, Qwen, Gemma und Phi.
Dynamische Modellierung: Die Autoren verwenden sparse Regression (PySINDy), um die zugrundeliegende gewöhnliche Differentialgleichung (ODE) für Benchmark-Trajektorien allein auf Basis von Pythia-Daten zu entdecken, und testen anschließend ihre Fähigkeit, zurückgehaltene Familien (Llama-2) vorherzusagen.
Interventionsanalyse: Die Studie isoliert drei technische Hebel, um deren Effekt auf den Übergang zu testen:
1. Breitennormalisierung: Division der Scores durch die Modellbreite ( $d_{model}$ ).
2. Datenkuratierung: Vergleich von Modellen, die auf kuratierten/synthetischen Daten (Phi, Qwen3) trainiert wurden, mit solchen auf Web-Skala-Daten.
3. Architektur: Vergleich verschiedener Modellfamilien und interner Strukturen (z. B. die PLE-Architektur von Gemma-4).
Untersuchung interner Mechanismen: Die Autoren analysieren Aufmerksamkeitsköpfe und versteckte Zustände mittels TransformerLens, um festzustellen, ob die „Steuer" aus Konflikten in den internen Repräsentationen oder aus Engpässen bei der Ausgabe resultiert.

3. Wichtige Ergebnisse

Der Phasenübergang

Die zentrale empirische Erkenntnis ist ein Vorzeichenwechsel in der Kopplung zwischen Schlussfolgern und Wahrhaftigkeit bei einer familienabhängigen kritischen Skala ( $N_c$ ).

Unterhalb von $N_c$ (Steuer-Regime): Fähigkeiten sind antikorreliert. Das Skalieren des Schlussfolgerns führt zu einer Abnahme der Wahrhaftigkeit. Für die Pythia-Familie beträgt $r = -0,989$ .
Oberhalb von $N_c$ (Bonus-Regime): Fähigkeiten kooperieren. Das Skalieren verbessert beide. Für große Modelle über verschiedene Familien hinweg gilt $r > +0,78$ .
Kritische Skala ( $N_c$ ): Der Übergangspunkt variiert je nach Architektur und Trainingsrezept.
- Pythia: $N_c \approx 3,5$ Mrd. Parameter [2,9 Mrd., 13,4 Mrd.].
- OPT: $N_c \approx 0,12$ Mrd.
- Falcon: $N_c \approx 7$ Mrd.
- Kuratierte Modelle (Phi, Qwen3): $N_c$ ist effektiv unter die kleinste getestete Modellgröße verschoben, was bedeutet, dass sie bei allen getesteten Skalen eine kooperative Kopplung aufweisen.

Verlustkurven verpassen den Übergang

Standardverlustkurven zeigen keinen sichtbaren Übergang; sie folgen einem glatten Potenzgesetz ( $R^2 = 0,9994$ für Pythia). Der Regimewechsel existiert ausschließlich in der Kopplung (der Kreuzableitung zwischen Fähigkeiten), nicht im Verlust oder in den einzelnen Benchmark-Scores. Zwei Modelle mit identischem Verlust können sich in unterschiedlichen Fähigkeitsphasen befinden.

Mechanismus: Der Engpass der Ausgabe-Projektion

Interne Kooperation: In 38 von 40 getesteten Modellen zeigen keine Aufmerksamkeitsköpfe konkurrierende Repräsentationen für Schlussfolgern und Wahrhaftigkeit. Die Köpfe sind universell kooperativ (medianer Kosinus-Ähnlichkeitswert +0,52).
Der Engpass: Die Antikorrelation entsteht nicht durch internen Konflikt, sondern durch eine dimensionale Kompression an der Ausgabe-Projektion. Bei der kritischen Skala ( $N_c$ ) ist die Ausgabeschicht zu schmal, um die neu fusionierten kooperativen internen Repräsentationen gleichzeitig auszudrücken.
Evidenz:
- Breitennormalisierung: Wenn Benchmark-Scores durch die Modellbreite normalisiert werden, kehrt sich die Antikorrelation für alle getesteten Familien in eine positive um.
- Schichtenanalyse: In Pythia-1B (bei $N_c$ ) nimmt die Kopplung von den versteckten Schichten zur Ausgabeschicht ab (0,725 $\to$ 0,639), während sie bei anderen Größen zunimmt.
- Intervention: Der Ersatz der Ausgabe-Projektion durch eine breitere Abbildung stellt die Kopplung ohne Nachtraining wieder her.

Vorhersagekraft

ODE-Entdeckung: Eine auf Pythia-Daten entdeckte sparse-Regression-ODE sagt Llama-2-Benchmarks mit 5,6 % mittlerem absoluten Fehler (MAE) voraus, was etwa doppelt so genau ist wie polynomiale Baselines.
Unabhängige Validierung: OLMo (AI2), unabhängig trainiert ohne Kenntnis dieses Frameworks, befindet sich bei 1 Mrd. Parametern exakt an der Übergangsgrenze ( $\gamma_{12} = 0,000$ ), was die vorhergesagte Übergangsskala bestätigt.

Technische Hebel

Die „Alignmentssteuer" erweist sich als ein engineeringbarer Engpass, nicht als Naturgesetz.

Datenkuratierung: Qwen3 eliminiert den Kopplungseinbruch im Vergleich zu Qwen2.5 bei gleicher Skala vollständig. Phi (1 Mrd.) erreicht durch reine Datenkuratierung die Kopplung von 10 Mrd. Parametern großen, im Web trainierten Modellen.
Architektur: Gemma-4 (4 Mrd.) erreicht durch architektonische Innovation (PLE) und Destillation Kopplungseigenschaften von Standardmodellen mit 13 Mrd. Parametern und mehr.
Breite: Die Erhöhung der Modellbreite bei konstanter Parameteranzahl reduziert oder eliminiert die Steuer.

4. Bedeutung und Behauptungen

Der Beitrag argumentiert, dass die „Alignmentssteuer" (der Trade-off zwischen Schlussfolgern und Wahrhaftigkeit in kleinen Modellen) eine strukturelle Eigenschaft des Trainingsrezepts und der Architektur ist und keine inhärente Begrenzung der Intelligenz darstellt.

Paradigmenwechsel: Der Übergang ist nicht graduell, sondern ein scharfer Regimewechsel. Unterhalb von $N_c$ ist das reine Skalieren unzureichend und potenziell schädlich für das Alignment; oberhalb von $N_c$ wird das Skalieren vorteilhaft.
Praktische Implikation: Für Organisationen, die Modelle unter 7 Mrd. Parametern einsetzen (z. B. auf Geräten, eingebettet), ist das reine Hochskalieren der Parameter keine optimale Strategie. Stattdessen bieten Datenkuratierung, architektonische Breite und spezifische Trainingsrezepte einen direkteren Hebel, um ein kooperatives Alignment zu erreichen.
Diagnostischer Nutzen: Die Kopplungsphase kann allein anhand öffentlicher Benchmark-Scores über eine Modellfamilie hinweg diagnostiziert werden, ohne Zugriff auf die Modellinterne zu benötigen.
Erweiterung an die Grenze: Das kooperative Regime erstreckt sich bis an die Grenze (34 Modelle, 10 Labore), wo auch fortgeschrittene Fähigkeiten (SWE-bench, GPQA) eine positive Kopplung zeigen ( $r = +0,72$ ).

Die Autoren veröffentlichen ein Open-Source-Tool (cape-steer.py) zur Aktivierungssteuerung an der identifizierten Engpassschicht sowie ein interaktives Dashboard (zehenlabs.com/cape), um Kopplungsphasen zu diagnostizieren und Interventionen vorzuschlagen.

5. Umfang und Einschränkungen

Die Behauptungen beziehen sich auf die Kopplung von Fähigkeiten unter den getesteten Benchmark-Paaren. Das Framework stützt sich auf öffentliche Benchmark-Scores und erfordert keine Modellgewichte. Die Autoren weisen darauf hin, dass, obwohl die „Steuer" in kuratierten Modellen eliminiert wird, der spezifische Mechanismus der „Datenkuratierung" im Vergleich zu anderen Rezeptänderungen in Qwen3 als hinreichende Bedingung und nicht als kontrollierte Ablation identifiziert wurde. Der Beitrag stellt ausdrücklich fest, dass der Übergang ein Designparameter und keine physikalische Konstante ist und dass die „Steuer" keine Eigenschaft kleiner Modelle an sich ist, sondern von Modellen bei einer spezifischen Skala relativ zu ihrer Architektur und ihren Trainingsdaten abhängt.