Große Sprachmodelle sind die leistungsstarken Motoren hinter vielen modernen Systemen der künstlichen Intelligenz und sind in der Lage, Texte zu generieren, Probleme zu lösen und Code zu schreiben. Jahrelang haben Forscher versucht, diese Systeme intelligenter zu machen, indem sie ihnen beibrachten, Probleme Schritt für Schritt durchzudenken – eine Methode, die als „Chain of Thought“ (Gedankenkette) bekannt ist. Das Lehren eines Modells, gut zu argumentieren, ist jedoch schwierig, da der Computer oft nur weiß, ob das Endergebnis richtig oder falsch ist, aber nicht, ob die zu diesem Ergebnis führenden Schritte logisch waren. Um dies zu beheben, haben Wissenschaftler zwei Hauptansätze ausprobiert. Der eine beinhaltet das Training des Modells mit Belohnungen erst am Ende einer Aufgabe, was instabil und ineffizient sein kann. Der andere nutzt einen separaten Leitfaden, um jeden einzelnen Schritt des Argumentationsprozesses zu überprüfen, doch die Erstellung eines solchen Leitfadens erfordert in der Regel teure menschliche Experten, die tausende Beispiele kennzeichnen müssen, und der Leitfaden versagt oft, wenn das Modell beginnt, auf neue Arten zu denken.

Ein Team von Forschern hat ein neues System namens AIRL-S vorgestellt, das diese beiden Ansätze in einem einzigen, selbstverbessernden Kreislauf vereint. Anstatt sich für jeden Schritt auf menschliche Kennzeichnungen zu verlassen, lernt das System, seinen eigenen internen Leitfaden zu erstellen, indem es hochwertige Beispiele für Argumentation beobachtet. Es nutzt diesen Leitfaden dann sowohl, um das Modell zu trainieren, als auch, um während der Anwendung in der realen Welt nach den besten Antworten zu suchen. In Tests über acht verschiedene Benchmarks hinweg, die Mathematik, Naturwissenschaften und Programmierung umfassten, stellten die Forscher fest, dass diese Methode die Leistung des Modells im Vergleich zu seiner Ausgangsversion um durchschnittlich neun Prozent verbesserte. Das resultierende System erreichte die Leistungsfähigkeit der fortschrittlichsten verfügbaren kommerziellen Modelle, wie etwa GPT-4o, ohne die kostspielige menschliche Aufsicht zu benötigen, die bisherige Methoden erforderlich machten.

Die zentrale Innovation liegt darin, wie das System lernt, seine eigene Arbeit zu beurteilen. Traditionell müssten Forscher, um ein Modell Schritt für Schritt argumentieren zu lehren, ein „Process Reward Model“ (Prozess-Belohnungsmodell) benötigen – ein separates Programm, das auf Daten trainiert wurde, bei denen Menschen jeden korrekten und jeden inkorrekten Schritt markiert haben. Dies ist langsam und teuer. Die neue Methode umgeht dies durch den Einsatz einer Technik namens „Adversarial Learning“ (kontradiktorisches Lernen). Stellen Sie sich vor, das System spielt ein Spiel, bei dem ein Teil versucht, Argumentationsschritte zu generieren, und ein anderer Teil versucht, zwischen diesen generierten Schritten und einem Satz hochwertiger Referenzbeispiele zu unterscheiden. Durch diesen Wettbewerb lernt das System, was einen guten Argumentationsschritt ausmacht, ohne jemals explizit von einem Menschen dazu angewiesen worden zu sein. Dieser gelernte Leitfaden, oder das Belohnungsmodell, wird dicht und detailliert und bietet Feedback zu jedem einzelnen Schritt des Argumentationsprozesses statt nur zum Endergebnis.

Sob�ste das System diesen internen Leitfaden gelernt hat, nutzt es ihn auf zwei Wegen gleichzeitig. Erstens nutzt es den Leitfaden, um das Hauptmodell zu trainieren, was es dazu ermutigt, während der Lernphase bessere Schritte zu vollziehen. Zweitens behält es denselben Leitfaden bei, um während der eigentlichen Problemlösungsphase als Verifizierer zu fungieren. Wenn das Modell gebeten wird, ein schwieriges Problem zu lösen, kann es viele verschiedene mögliche Lösungen generieren. Der gelernte Leitfaden bewertet dann jeden Schritt dieser potenziellen Lösungen und hilft dem System, den logischsten Pfad auszuwählen. Dies schafft eine einheitliche Pipeline, in der das Werkzeug, mit dem das Modell gelehrt wird, dasselbe Werkzeug ist, das ihm hilft, während eines Tests zu denken. Die Forscher demonstrierten, dass dieser Leitfaden robust ist; er funktioniert effektiv, selbst wenn er auf andere Modelle oder andere Suchstrategien angewendet wird, was darauf hindeutet, dass das gelernte Wissen allgemein und übertragbar ist.

Die Ergebnisse dieses Ansatzes wurden über ein breites Spektrum an anspruchsvollen Aufgaben gemessen. Die Forscher testeten ihr Modell auf acht Standard-Benchmarks, einschließlich komplexer Mathematikwettbewerbe, naturwissenschaftlicher Fragestellungen und Programmierherausforderungen. Das Modell, das als Standard-Open-Source-Sprachmodell begann, verbesserte seine durchschnittliche Genauigkeit nach dem Training mit dieser neuen Methode um neun Prozent. In spezifischen mathematischen und wissenschaftlichen Aufgaben war die Verbesserung mit dreizehn Prozent sogar noch höher. Im Vergleich zu anderen Modellen, die mit teuren, menschlich gekennzeichneten Daten oder anderen fortgeschrittenen Techniken des Reinforcement Learning trainiert wurden, schnitt dieses neue System konsistent besser ab. Es erreichte sogar die Leistung von GPT-4o, einem erstklassigen kommerziellen Modell, obwohl es deutlich weniger Parameter besitzt. Dies deutet darauf hin, dass die Qualität des Argumentationsprozesses, geleitet durch dieses selbst gelernte Belohnungssystem, wichtiger ist als einfach nur ein größeres Modell zu haben.

Eine zentrale Erkenntnis der Studie ist, wie die zwei verschiedenen Arten von Lernsignalen zusammenwirken. Das System kombiniert das detaillierte Feedback Schritt für Schritt aus seinem selbst gelernten Leitfaden mit den Endergebnis-Belohnungen aus traditionellen Methoden. Die Forscher fanden heraus, dass es weniger effektiv war, sich nur auf eine Art von Signal zu verlassen. Der schrittweise Leitfaden half dem Modell, bessere Argumentationspfade zu explorieren, während das Signal des Endergebnisses sicherstellte, dass das Modell darauf fokussiert blieb, die korrekte Antwort zu finden. Wenn diese beiden Signale korrekt ausbalanciert wurden, verstärkten sie sich gegenseitig, was zu einem stabileren Training und besseren Ergebnissen führte. Darüber hinaus zeigte das System, dass es diesen gelernten Leitfaden nutzen konnte, um verschiedene Suchmethoden zu verbessern, wie etwa solche, die viele verschiedene Lösungen gleichzeitig ausprobieren oder die einen Baum von Möglichkeiten aufbauen. Der Leitfaden war besonders effektiv in komplexen Suchszenarien, in denen das Modell den Wert von Zwischenschritten bewerten musste, um die beste Wahl zu treffen.

Die Auswirkungen dieser Arbeit reichen über das bloße Erzielen höherer Testwerte hinaus. Durch die Entfernung der Abhängigkeit von teuren menschlichen Annotationen für die schrittweise Argumentation bietet diese Methode einen skalierbareren und kosteneffizienteren Weg, um künstliche Intelligenz zu verbessern. Es deutet darauf sich, dass Modelle lernen können, ihre eigenen Lehrer zu sein, indem sie ihre Argumentationsfähigkeiten verfeinern, indem sie hochwertige Beispiele beobachten und gegen sich selbst antreten. Die Forscher merkten an, dass ihr Ansatz besonders gut für Aufgaben geeignet ist, bei denen das Endergebnis automatisch verifiziert werden kann, wie etwa in der Mathematik und beim Programmieren. Obwohl die Methode leistungsstark ist, räumten die Autoren ein, dass sie derzeit auf diese verifizierbaren Ergebnisse angewiesen ist und möglicherweise weitere Entwicklung benötigt, um offene Aufgaben zu handhaben, bei denen es keine einzelne korrekte Antwort gibt. Dennoch stellt die Fähigkeit, Training und Suche zur Laufzeit in ein einziges, effizientes System zu vereinen, einen bedeutenden Fortschritt dar, um große Sprachmodelle zu zuverlässigeren und fähigeren Argumentatoren zu machen.