Stellen Sie sich vor, Sie versuchen, einen verborgenen Schatz auf einer riesigen, nebligen Insel zu finden. In der Welt der Künstlichen Intelligenz sind Large Language Models (LLMs) wie unglaublich kluge Entdecker, die Karten lesen und erraten können, wo sich der Schatz befinden könnte. Lange Zeit war die beste Methode, diese Entdecker zu trainieren, darin, ihnen ein Problem zu zeigen, sie raten zu lassen und sie nur dann zu belohnen, wenn ihre eine beste Vermutung perfekt war. Diese Methode, bekannt als Reinforcement Learning (RL), ist wie ein strenger Trainer, der bei jeder falschen Antwort „Falsch!“ schreit und bei der einen richtigen Antwort „Perfekt!“ ruft. Das Problem dabei ist, dass dieser Trainer so besessen davon wird, die eine perfekte Antwort zu finden, dass der Entdecker aufhört, überall sonst nachzusehen. Er hört auf, die nebligen Ränder der Insel zu erkunden, an denen andere Schätze verborgen sein könnten, und konzentriert sich nur noch auf den einen Punkt, von dem er glaubt, dass er richtig ist.

Aber was, wenn der Schatz nicht nur eine einzige Sache ist? Was, wenn es viele verschiedene Wege gibt, ein mathematisches Problem zu lösen oder eine neue wissenschaftliche Tatsache zu entdecken? In diesen „Entdeckungsbereichen“ reicht es nicht aus, nur eine einzige perfekte Vermutung zu haben; man braucht ein breites Netz, um irgendeine korrekte Lösung einzufangen. Hier kommt eine neue Idee namens „Test-Time Scaling“ ins Spiel. Anstatt das Modell nur nach einer Antwort zu fragen, bitten wir es, Dutzende oder sogar Hunderte von verschiedenen Versuchen zu generieren und zu sehen, ob irgendeiner davon richtig ist. Die Forschungsarbeit, die Sie gleich lesen werden, untersucht, ob unser strenger Trainer (RL) oder eine andere Art der Trainingsmethode besser geeignet ist, dem Entdecker zu helfen, ein weites Netz auszuwerfen. Die Forscher fanden heraus, dass der strenge Trainer den Entdecker zwar sehr sicher an einem Ort macht, eine andere Methode namens Evolution Strategies (ES) den Entdecker jedoch neugierig und wanderlustig hält, sodass der Entdecker viel wahrscheinlicher eine Lösung findet, falls sie irgendwo im Nebel existiert.

Die Forschungsarbeit: Jenseits der besten Vermutung

Diese Arbeit befasst sich mit einem schwierigen Problem beim Training von KI: Wie stellen wir sicher, dass ein KI-Modell nicht nur wirklich gut darin wird, die eine richtige Antwort zu erraten, sondern tatsächlich seine Optionen offen hält, um jede richtige Antwort zu finden? Die Autoren, Forscher vom Cognizant AI Lab und der University of Texas at Austin, verglichen zwei Trainingsmethoden: das Standard-Reinforcement Learning (RL) und einen neueren Ansatz namens Evolution Strategies (ES).

Stellen Sie sich Reinforcement Learning wie einen Schüler vor, der für eine Prüfung lernt, indem er die exakte Antwortlösung auswendig lernt. Wenn der Schüler eine Frage richtig beantwortet, bekommt er eine Belohnung; wenn er sie falsch beantwortet, bekommt er nichts. Mit der Zeit wird der Schüler ein Meister bei dieser spezifischen Frage, hört aber auf, die zugrunde liegenden Konzepte zu verstehen. In der Welt der KI führt dies zu etwas, das man „Distribution Collapse“ nennt. Das Modell wird so sehr auf seine „beste Vermutung“ fixiert, dass es aufhört, vielfältige Antworten zu generieren. Es ist wie ein Musiker, der nur eine einzige Note spielt, weil dies die einzige ist, für die er Applaus bekommt, und dabei vergisst, wie man ein ganzes Lied spielt.

Evolution Strategies (ES) hingegen funktioniert eher wie ein natürliches Ökosystem. Anstatt ein einzelnes Modell zu trainieren, erschafft ES eine ganze „Population“ von leicht unterschiedlichen Versionen des Modells. Es verändert deren „Gehirne“ (Gewichte) zufällig, ähnlich wie die Mutation von Genen in der Natur, und sieht nach, welche Versionen am besten abschneiden. Entscheidend ist, dass es nicht nur den einzelnen Gewinner auswählt und den Rest verwirft; es lernt aus der gesamten Gruppe. Dies hält das „Gehirn“ der KI flexibel und vielfältig, was es der KI ermöglicht, viele verschiedene Wege zu einer Lösung zu erkunden.

Die Forscher testeten diese Methoden an mathematischen Problemen, die von einfacher Arithmetik bis hin zu komplexen Olympiade-Niveau-Herausforderungen reichten, unter Verwendung von Modellen unterschiedlicher Größe (von 1,5 Milliarden bis 32 Milliarden Parametern). Sie maßen den Erfolg anhand einer Metrik namens pass@k. Stellen Sie sich vor, Sie bitten die KI, 100 verschiedene Antworten auf ein Problem zu generieren. Pass@1 fragt: „Ist die allererste Antwort korrekt?“ Pass@k fragt: „Ist mindestens eine der 100 Antworten korrekt?“

Hier ist das, was sie fanden heraus:

1. Die Falle der „besten Vermutung“
Als die Forscher sich den pass@1 (die einzelne beste Vermutung) ansah, waren die mit RL trainierten Modelle oft sehr gut. Sie waren scharfinnig und selbstbewusst. Doch als die Forscher die Anzahl der Versuche (k) auf 2, 8, 16 oder sogar 128 erhöhten, stießen die RL-Modelle an eine Grenze. Ihre Leistung verbesserte sich nicht weiter. Tatsächlich waren die RL-Modelle bei einigen schwierigen Problemen sogar schlechter als das ursprüngliche, untrainierte Modell, wenn man ihnen viele Chancen zur Antwort gab. Das RL-Modell war in seinem Denken so eng geworden, dass es aufhörte, korrekte Antworten zu finden, die etwas von seiner „Lieblingsantwort“ abweichen.

2. Die Kraft der Vielfalt
Im Gegensatz dazu zeigten die mit ES trainierten Modelle ein anderes Muster. Obwohl sie ebenfalls gut darin waren, die erste Vermutung richtig zu treffen, zeigte sich ihre wahre Superkraft, wenn die Anzahl der Versuche zunahm. Als die Forscher immer mehr Stichproben (bis zu 128) verlangten, fanden die ES-Modelle immer wieder neue, korrekte Lösungen. Die Arbeit zeigt, dass ES konsistent höhere pass@k-Werte erzielte als RL über alle Modellgrößen und mathematischen Benchmarks hinweg, die sie getestet haben.

3. Warum das passiert
Die Autoren gingen der Frage nach, war warum dies geschah. Sie fanden heraus, dass das RL-Training dazu neigt, das Wissen der KI zu „beschneiden“. Es löscht die Pfade, die zu korrekten, aber weniger häufigen Antworten führen, was dazu führt, dass einige Probleme unlösbar werden, selbst wenn die KI 100 Mal versucht es. Die ES-Methode hingegen bewahrt die „Breite“ des Wissens der KI. Sie lernt nicht nur die richtige Antwort, sondern lernt, viele Türen offen zu halten. Als die Forscher die „Entropie“ der KI untersuchten (ein Maß dafür, wie vielfältig ihre Antworten sind), sahen sie, dass RL-Modelle, wenn sie scheiterten, selbstbewusst falsch lagen (geringe Diversität). Wenn ES-Modelle scheiterten, waren sie immer noch vielfältig und unsicher, was bedeutet, dass sie immer noch explorierten und eine bessere Chance hatten, die richtige Antwort zu finden, wenn man ihnen mehr Zeit oder Rechenleistung gegeben hätte.

4. Die Auswirkungen auf die reale Welt
Die Arbeit legt nahe, dass für Probleme, bei denen wir Neues entdecken müssen – wie das Lösen eines schwierigen mathematischen Beweises, das Schreiben von Code oder das Finden einer neuen wissenschaftlichen Tatsache – ein Modell, das eine große Vielfalt an korrekten Lösungen generieren kann, wertvoller ist als ein Modell, das nur sehr gut in einer spezifischen Vermutung ist. Durch die Verwendung von ES können wir bessere Ergebnisse in diesen Entdeckungsbereichen erzielen, da das Modell weniger wahrscheinlich in einer „lokalen Falle“ stecken bleibt und wahrscheinlicher die globale Lösung findet.

Zusammenfassend lässt sich sagen, dass die Arbeit argumentiert: Wenn Sie möchten, dass eine KI ein großartiger Entdecker im Unbekannten ist, sollten Sie sie nicht nur darauf trainieren, der beste Vermuter des Tages zu sein. Sie sollten sie darauf trainieren, ihre Optionen offen zu halten, ein wenig umherzuwandern und bereit zu sein, den Schatz zu finden, egal wo er sich versteckt. Evolution Strategies erweist sich als der bessere Coach für eine solche Abenteuerreise.