FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale
Das Papier stellt FineInstructions vor, eine Methode zur Generierung von Milliarden synthetischer Instruktions-Antwort-Paare aus Pre-training-Korpora, die es großen Sprachmodellen ermöglicht, ausschließlich auf einem Instruction-Tuning-Ziel von Grund auf vortrainiert zu werden, was zu einer überlegenen Leistung bei Benchmarks für freie Antworten im Vergleich zu Standard-Pre-training-Ansätzen führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem superintelligenten Roboter beizubringen, wie man mit Menschen chattet. Normalerweise machen wir das so, dass wir dem Roboter eine riesige Bibliothek voller Bücher geben und sagen: „Lies alles und rate das nächste Wort.“ Das nennt man Pre-training. So lernt der Roboter Fakten, Geschichte und wie Sätze funktionieren. Aber hier ist der Haken: Nachdem er Millionen von Büchern gelesen hat, ist der Roboter zwar großartig darin, Sätze zu vervollständigen, aber schrecklich darin, tatsächlich Fragen zu beantworten oder Anweisungen zu folgen. Es ist wie ein Schüler, der die gesamte Enzyklopädie auswendig gelernt hat, aber einfriert, wenn man ihn fragt: „Was ist der beste Pizzaladen in meiner Nähe?“
Um das zu beheben, geben wir dem Roboter normalerweise eine winzige, spezielle Auswahl an „Anweisungskarten“ – Fragen und perfekte Antworten – und sagen: „Lerne diesen Stil!“ Aber es gibt ein Problem: Wir haben nicht genug dieser Karten. Wir haben vielleicht nur ein paar tausend oder vielleicht ein paar Millionen, was so ist, als würde man eine ganze Schule von Schülern mit nur einem einzigen Lehrbuch unterrichten wollen.
Die große Idee: Die „Rezeptbuch“-Revolution
Die Autoren dieser Arbeit, veröffentlicht bei COLM 2026, kamen auf eine verrückte Idee: Warum verwandeln wir nicht die gesamte Bibliothek von Büchern in Anweisungskarten?
Sie bauten eine Maschine namens FineInstructions. Stellen Sie sich das wie eine magische Küche vor.
- Die Zutaten: Sie nahmen einen riesigen Haufen echter Dokumente aus dem Internet (etwa 300 Milliarden Wörter an Text).
- Die Rezeptkarten: Sie begannen mit etwa 18 Millionen echten Fragen und Prompts, die echte Menschen online gestellt haben (wie „Wer ist einflussreicher: Messi oder Ronaldo?“). Diese verwandelten sie in „Rezeptkarten“ (Templates), indem sie die spezifischen Namen durch Platzhalter ersetzten. Zum Beispiel: „Zwischen
und , wer ist mehr ?“ - Das Kochen: Die Maschine schaut sich ein Dokument an (zum Beispiel einen Blogpost über Smartwatches) und fragt: „Passt dieser Blogpost zu einer unserer Rezeptkarten?“ Wenn der Blog über eine Apple Watch und eine Garmin schreibt, passt er zum Rezept „Welcher ist robuster?“.
- Die Mahlzeit: Die Maschine füllt dann die Lücken mithilfe des Blogposts auf, um ein perfektes Frage-Antwort-Paar zu erstellen. Es ist, als würde der Blogpost plötzlich zu einer Q&A-Sitzung werden.
Das Ergebnis: Eine Milliarde neue Lektionen
Dadurch erschufen sie einen Datensatz namens FineInstructions, der über 1 Milliarde synthetische Instruktions-Antwort-Paare enthält. Das ist gewaltig! Es ist, als würde man die gesamte Bibliothek in eine Milliarde Karteikarten verwandeln.
Was sie herausfanden (Der Beweis)
Das Team trainierte kleine Roboter-Gehirne (Modelle mit 1,8 Milliarden Parametern) von Grund auf neu, indem sie ausschließlich diese neuen Anweisungskarten verwendeten. Sie nutzten überhaupt nicht die alte „Rate das nächste Wort“-Methode.
- Die Punktzahl: Als sie ihre Roboter auf Benchmarks testeten, die messen, wie gut sie echte menschliche Fragen beantworten (wie MixEval, MT-Bench-101 und AlpacaEval), knackten die mit FineInstructions trainierten Roboter die Konkurrenz.
- Der Vergleich: Sie verglichen ihre Methode mit anderen ausgeklügelten Wegen, Bücher in Fragen umzuwandeln (wie die IPT- und Nemotron-CC-Methoden). Die FineInstructions-Roboter gewannen mit deutlichem Vorsprung. Beispielsweise verbesserten sie die Leistung auf dem MixEval-Benchmark um etwa 39 % gegenüber der Nemotron-CC-Methode und um 69 % gegenüber dem Standardtraining.
- Die „Gewinnrate“: In einem direkten Chat-Duell gegen andere Modelle gewannen die FineInstructions-Modelle etwa 76 % der Fälle gegen die Nemotron-CC-Baseline.
Was sie explizit NICHT behaupten
Es ist wichtig zu wissen, was diese Arbeit nicht behauptet.
- Es geht nicht um „Perplexity“: Die Autoren geben zu, dass, wenn man die Fähigkeit des Roboters misst, das nächste Wort in einem Satz vorherzusagen (ein Standardtest namens Perplexity), ihre Methode im Vergleich zur alten Methode tatsächlich schlechter sein könnte. Sie kümmern sich nicht um diesen Test. Ihnen geht es darum, dass der Roboter für Menschen nützlich ist.
- Es ist keine „Magie“ oder „Destillation“: Einige frühere Methoden versuchten, einen superintelligenten Roboter zu nutzen, um alle Fragen zu schreiben. Die Autoren argumentieren, dass dies den neuen Roboter nur dazu bringt, den Stil des alten zu kopieren, ohne wirklich etwas Neues zu lernen. Ihre Methode ist anders, weil sie echte menschliche Fragen verwendet und die Antworten in echten Dokumenten verankert, statt in erfundenen Geschichten.
- Es ist kein „gelöstes Problem“: Die Arbeit legt nahe, dass dieser Ansatz ein großer Schritt nach vorne ist, merkt aber an, dass komplexe Templates immer noch schwer perfekt abzustimmen sind. Sie geben auch zu, dass ihr derzeitiges Setup einige manuelle Anpassungen (wie die Wahl eines spezifischen Matching-Scores von 0,865) erfordert, die vielleicht noch nicht die absolut perfekte Einstellung ist.
Das Fazit
Die Arbeit legt nahe, dass wir, indem wir die Art und Weise umstrukturieren, wie wir Roboter mit Daten füttern – indem wir Rohtext in eine Milliarde realistische Q&A-Paare verwandeln –, sie viel besser darin machen können, Anweisungen zu befolgen und Menschen zu helfen, selbst wenn wir dafür das traditionelle „Rate das nächste Wort“-Training überspringen müssen. Es ist ein Wechsel von der Lehre des Roboters, ein „Leser“ zu sein, hin zur Lehre, ein „Helfer“ zu sein.
Die Autoren sind aufgrund ihrer kontrollierten Experimente zuversichtlich, bei denen jeder Roboter exakt die gleiche Menge an Text lernte, nur in einem anderen Format. Die Daten zeigen, dass das „Instruktions-only“-Format zu klügeren, hilfreicheren Robotern für reale Aufgaben führt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.