Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models
Diese Arbeit zeigt, dass zwar prozedurale-Fertigkeiten-SFT bei Qwen3.5-Modellen im Bereich von 0,8 bis 4 Milliarden Parametern zu einheitlichen absoluten Verbesserungen führt, die resultierende Leistungsentwicklung jedoch ein W-förmiges Muster aufweist, das durch regime-asymmetrische Basiskapazitäten getrieben wird, wobei SFT Modellen, die anfangs Schwierigkeiten mit der Prozedur haben, die bedeutendste absolute Verbesserung bietet.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Ein Rezept an verschiedene Köche vermitteln
Stellen Sie sich drei Köche mit unterschiedlichem Erfahrungslevel vor:
- Der Anfänger (0,8B): Ein Küchenhelfer, der eifrig ist, aber leicht überwältigt wird.
- Der Lehrling (2B): Ein Koch, der die Grundlagen beherrscht, aber manchmal faul wird oder Schritte überspringt.
- Der Sous-Chef (4B): Ein sehr kompetenter Koch, der die Dinge normalerweise selbst herausfinden kann.
Die Forscher wollten herausfinden, was passiert, wenn sie allen drei Köchen ein spezifisches, schriftliches 5-Schritte-Rezept (eine „prozedurale Fähigkeit") geben, das sie für 200 verschiedene Kochherausforderungen befolgen sollen. Sie wollten wissen: Hilft es ihnen tatsächlich, besser zu kochen, wenn sie das Rezept erhalten, oder tun sie nur so, als würden sie es befolgen?
Die Hauptentdeckung: Die „W"-Form
Die Forscher stellten etwas Überraschendes fest. Bevor sie jemandem das Rezept gaben, folgte die Fähigkeit der Köche, die Aufgabe zu bewältigen, wenn man sie vom kleinsten zum größten betrachtete, einer seltsamen „W"-Form:
- Der Anfänger (0,8B): Wenn sie das Rezept vor dem Training erhielten, schnitten sie tatsächlich schlechter ab. Die 5 Schritte waren zu kompliziert; sie gerieten bereits bei Schritt 1 in Verwirrung und verdarben das ganze Gericht. Das Rezept war eine Last.
- Der Lehrling (2B): Wenn sie das Rezept erhielten, schnitten sie besser ab. Sie befanden sich im „Sweet Spot". Das Rezept wirkte wie Stützräder, half ihnen, ihre Arbeit zu überprüfen und Fehler zu vermeiden, die sie normalerweise machten.
- Der Sous-Chef (4B): Wenn sie das Rezept vor dem Training erhielten, schnitten sie leicht schlechter ab (oder blieben gleich). Sie waren bereits so gut im Kochen, dass das Lesen des Rezepts sich wie zusätzliche Bürokratie anfühlte. Es verlangsamte sie, ohne einen Mehrwert zu bieten.
Die Wendung: Nachdem die Forscher die Köche mit dem Rezept trainiert hatten (ein Prozess namens SFT), geschah etwas Magisches. Die Höhe der Verbesserung war für alle drei Köche fast gleich.
- Der Anfänger lernte, die Schritte zu befolgen, ohne verwirrt zu werden.
- Der Lehrling wurde etwas schärfer.
- Der Sous-Chef lernte, das Rezept nicht mehr als lästige Bürokratie zu betrachten, sondern als hilfreiches Werkzeug zu nutzen.
Die Lehre: Das Training (SFT) wirkt dort am stärksten, wo der Koch am meisten kämpft. Es behebt die Verwirrung des Anfängers und die Faulheit des Sous-Chefs, was zu einem ähnlichen „Boost" für alle führt, obwohl sie von sehr unterschiedlichen Ausgangspunkten starteten.
Die „Format"-Falle (Ein großer Fehler, den sie korrigierten)
Das Papier hebt einen riesigen Fehler hervor, den sie fast gemacht hätten.
Stellen Sie sich einen strengen Richter vor, der nur Antworten akzeptiert, die auf einer bestimmten Zeile stehen: „ANTWORT: [Name des Gerichts]".
- Der Anfänger und der Sous-Chef schrieben die Antwort oft in einem Satz wie: „Ich komme zu dem Schluss, dass das Gericht Pizza ist."
- Der strenge Richter (ein Computerskript) konnte das Wort „ANTWORT" nicht finden und bewertete sie als Fehler, obwohl sie die richtige Antwort hatten.
- Der Lehrling schrieb zufällig genau im Format, das der Richter wollte, und sah daher wie der Gewinner aus.
Die Forscher erkannten, dass ihr „Richter" voreingenommen war. Er maß nicht die Kochfähigkeit, sondern die Tippfähigkeit.
Die Lösung: Sie wechselten zu einem menschenähnlichen Richter (eine KI, die den ganzen Satz liest).
- Ergebnis: Die Punktzahlen des Anfängers und des Sous-Chefs sprangen nach oben!
- Die Verzerrung: Der strenge Richter hatte die Köche, die in „freien" Sätzen schrieben, ungerechterweise bestraft. Die Forscher stellten fest, dass die „kuratierte" (rezeptfolgende) Gruppe vom strengen Richter tatsächlich stärker bestraft wurde, weil ihre detaillierten Erklärungen die finale Antwort oft im Text begruben.
Die „Decke" und die „Grenze"
Die Forscher verglichen ihren trainierten Sous-Chef (4B) mit einem weltberühmten Prominenten-Koch (genannt „Haiku-4-5").
- Vor dem Training war der Sous-Chef gut, aber nicht ganz auf dem Niveau des Prominenten-Kochs.
- Nach dem Training mit dem Rezept glich der Sous-Chef den Prominenten-Koch aus. Beide erhielten 197 von 200 Gerichten perfekt.
- Dies beweist, dass das Training den Sous-Chef nicht nur dazu brachte, so zu tun, als würden sie Schritte befolgen; es machte sie tatsächlich für diese spezifischen Aufgaben so gut wie die Besten der Welt.
Was nicht funktionierte (die „negativen" Ergebnisse)
Die Forscher versuchten, den Anfänger (0,8B) zu verbessern, indem sie das Trainingsrezept änderten (den Text änderten, Teile der Schritte entfernten usw.).
- Ergebnis: Nichts funktionierte. Der Anfänger konnte die Gerichte immer noch nicht perfekt kochen.
- Warum: Der Anfänger hatte einfach nicht genug Gehirnleistung (Kapazität), um alle Schritte gleichzeitig im Kopf zu behalten. Egal wie sie versuchten, ihn zu unterrichten, die „Decke" waren die eigenen Grenzen des Anfängers, nicht die Lehrmethode.
Zusammenfassung der wichtigsten Erkenntnisse
- Training hilft allen, aber aus unterschiedlichen Gründen: Es rettet die Verwirrten, schärft die Kompetenten und bindet die übermäßig Selbstbewussten wieder ein. Der „Boost" ist überraschend ähnlich.
- Verlassen Sie sich nicht auf starre Richter: Wenn Sie nur auf ein bestimmtes Format achten (wie „ANTWORT: X"), könnten Sie übersehen, dass ein Modell das Problem tatsächlich korrekt gelöst hat.
- Die Größe ist wichtig, aber nicht so, wie man denkt: Ein winziges Modell kann lernen, ein Verfahren genauso gut zu nutzen wie ein großes, aber es kann die gesamte Aufgabe nicht unbedingt perfekt ausführen, wenn die Aufgabe für seine Gehirngröße zu schwer ist.
- Die „W"-Kurve: Kleine Modelle werden durch Verfahren verwirrt; mittlere Modelle lieben sie; große Modelle finden sie lästig, bis sie trainiert werden, den Wert zu erkennen.
Kurz gesagt: Das Papier zeigt, dass das Lehren eines schrittweisen Prozesses ein mächtiges Werkzeug ist, aber man muss es fair messen (starre Formatregeln ignorieren) und verstehen, dass die Größe eines Modells bestimmt, wie gut es die Schritte ausführen kann, auch wenn es lernt, sie genauso gut zu befolgen wie ein größeres Modell.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.