Unfolding Scientific Papers into Multi-Turn Generation Trajectories for Continued Pre-Training
Dieses Paper führt eine Pipeline ein, die strukturierte wissenschaftliche Arbeiten in Multi-Turn-Generierungstrajektorien für das Continued Pre-training und Benchmarking transformiert und zeigt, dass dieser Ansatz die akademischen Schreibfähigkeiten signifikant verbessert, während das allgemeine logische Denken und das Verständnis langer Dokumente erhalten bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle, die leistungsstarken Computerprogramme, die Geschichten schreiben, Probleme lösen und Fragen beantworten können, haben einen Punkt erreicht, an dem ihnen frischer, hochwertiger menschlicher Text zum Lernen ausgeht. Jahrelang haben Forscher diese Systeme mit riesigen Mengen an Büchern, Websites und Artikeln gefütet. Jetzt, da das beste menschliche Schreiben knapp wird, wenden sich Wissenschaftler synthetischen Daten zu – Texten, die von Computern selbst erstellt wurden. Ein gängiger Ansatz bestand darin, bestehende kurze Webartikel zu nehmen und sie in sauberere, eher lehrbuchähnliche Formate umzuschreiben. Diese Methode verändert jedoch den ursprünglichen Inhalt und behandelt Dokumente als einfache Wortströme, wobei sie ignoriert, wie ein menschlicher Autor ein Stück tatsächlich geplant und strukturiert hat. Eine neuere Idee schlägt vor, dass wir anstatt nur den fertigen Text umzuschreiben, versuchen sollten, den verborgenen Denkprozess zu rekonstruieren, der dazu geführt hat. Die Herausforderung bestand darin, dass die meisten existierenden Texte zu kurz sind, um eine komplexe Struktur aufzuweisen, was wenig Raum lässt, um den ursprünglichen Plan des Autors wiederherzustellen.
Ein Forschungsteam hat dieses Konzept nun ergriffen und auf wissenschaftliche Arbeiten angewendet, die mit einer klaren, einheitlichen Struktur und dichten, komprimierten Ideen geschrieben sind. Sie entwickelten eine Methode, um eine fertige wissenschaftliche Arbeit in die mehrstufige Reise ihrer Entstehung „aufzufalten“. Stellen Sie sich ein fertiges Haus vor; anstatt nur die Wände zu betrachten, rekonstruiert dieser Prozess die ursprüngliche Skizze des Architekten, die Materialliste, die Notizen, die vor dem Legen jedes Ziegels gemacht wurden, und die Endabnahme, die zum Bauplan führte. Die Forscher bauten ein System, das eine echte wissenschaftliche Arbeit nimmt und rückwärts arbeitet, um die Schreibanfrage zu generieren, die sie startete, den globalen Plan für ihre Abschnitte und die spezifischen Gedanken, die ein Autor vor dem Schreiben jedes Absatzes gehabt hätte. Entscheidend ist, dass der eigentliche Text der Arbeit exakt so bleibt, wie die ursprünglichen Autoren ihn geschrieben haben; das System erfindet lediglich den umgebenden Denkprozess, der erklärt, wie dieser Text zustande kam.
Das Team wandte diesen Entfaltungsprozess auf 1,8 Millionen wissenschaftliche Arbeiten aus dem arXiv-Repository an, einer massiven Sammlung von Pre-Print-Forschungen. Durch die Durchführung dieser Rekonstruktion an Papieren von 2006 bis Anfang 2026 transformierten sie 30 Milliarden Wörter an rohem Paper-Text in einen neuen Trainingsdatensatz, der etwa 60 Milliarden Wörter an „Trajektorien“ enthält. Jede Trajektorie ist ein langer, mehrstufiger Dialog, bei dem ein Computer als Lehrer fungiert, der zuerst nach einem Paper fragt, dann einen Plan entwirft, dann über die Schreibweise jedes Abschnitts debattiert, bevor er schließlich den echten Text produziert. Dieser Prozess verdoppelte effektiv die Größe der Trainingsdaten und verlängerte gleichzeitig die Länge der Dokumente, die die Modelle verarbeiten mussten, wobei sich das durchschnittliche Trainingsdokument von etwa 11.000 Wörtern auf fast 29.000 Wörter erhöhte. Die Forscher fanden heraus, dass die Verwendung dieses rekonstruierten Denkprozesses den Modellen half, viel besser zu schreiben, als wenn man ihnen dieselben Paper einfach als reinen Text füttern würde.
Die Ergebnisse zeigten, dass diese Methode die Schreibfähigkeiten der Modelle flächendeckend verbesserte, einschließlich akademischer und ingenieurwissenschaftlicher Kontexte, ohne ihre Fähigkeit zum logischen Denken oder zum Lösen von Logikrätseln zu beeinträchtigen. Selbst wenn die Modelle später auf anderen öffentlichen Schreibdatensätzen feinjustiert wurden, schnitten die Modelle, die zuerst von diesen „entfalteten“ Trajektorien gelernt hatten, besser ab als jene, die dies nicht getan hatten. Die Studie demonstrierte auch, dass dieselbe Reverse-Engineering-Technik verwendet werden kann, um neue Arten von Instruktionsdaten und sogar ein neues Testfeld für akademisches Schreiben zu schaffen. Indem das System ein Paper, das das Modell noch nie gesehen hat, nimmt, kann es eine spezifische Frage dazu sowie eine detaillierte Checkliste und einen Bewertungsleitfaden zur Bewertung der Antwort generieren. Dies schuf einen Benchmark namens PAW-Bench, der fast 3.000 Aufgaben enthält, die in realer Forschung verankert sind.
Eine der überraschendsten Erkenntnisse war, dass die Größe des Computermodells, das den Denkprozess generiert, weniger wichtig war als die Methode selbst. Die Forscher verwendeten drei verschiedene Modelle, um die Denkdaten zu erstellen: ein kleines, ein mittleres und ein großes. Entgegen der Intuition, dass ein intelligenteres, größeres Modell bessere Trainingsdaten produzieren würde, lieferte das kleinste Modell tatsächlich die besten Ergebnisse für Schreiben und logisches Denken. Die von den größeren Modellen generierten Daten waren zu gleichförmig und repetitiv, während die Daten des kleineren Modells mehr Vielfalt und „Überraschungen“ enthielten, die das Lernmodell zwangen, härter zu arbeiten und effektiver zu lernen. Dies deutet darauf hin, dass der Wert in der Struktur der Rekonstruktion liegt – im Akt des Entfaltens des Schreibprozesses – und nicht in der Intelligenz der Maschine, die die Entfaltung vornimmt.
Die Forscher beobachteten auch, dass diese Methode den Modellen half, lange Dokumente besser zu verstehen. Da die rekonstruierten Trajektorien signifikant länger waren als die ursprünglichen Paper, wurden die Modelle komfortabler darin, tausende von Wörtern auf einmal zu lesen und darüber zu schlussfolgern. Diese Verbesserung der Long-Context-Fähigkeit wurde nicht bei Modellen beobachtet, die mit denselben Papern, aber als reiner Text trainiert wurden. Die Studie kommt zu dem Schluss, dass, indem man echtes menschliches Schreiben als die endgültige Antwort betrachtet und die Schritte rekonstruiert, die zu ihr führten, Forscher eine leistungsstarke neue Form von Trainingsdaten schaffen können. Dieser Ansatz ermöglicht es künstlicher Intelligenz, nicht nur zu lernen, was zu schreiben ist, sondern wie man über das Schreiben nachdenkt, und schließt damit die Lücke zwischen Rohinformation und dem strukturierten, bewussten Prozess menschlicher Schöpfung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.