Große Sprachmodelle sind leistungsstarke Werkzeuge, die Geschichten schreiben, mathematische Probleme lösen und Computer-Code debuggen können. Sie funktionieren, indem sie das nächste Wort in einem Satz vorhersagen, wobei sie aus riesigen Mengen an Text lernen, um menschliches Denken nachzuahmen. Da diese Modelle jedoch Text basierend auf Wahrscheinlichkeiten generieren, sind sie nicht immer konsistent. Wenn man dieselbe Frage zweimal stellt oder das Modell bittet, mehrere Antworten gleichzeitig zu generieren, kann es jedes Mal unterschiedliche Antworten liefern. Einige dieser Antworten sind brillant, während andere subtile Fehler oder logische Lücken enthalten. Diese Zufälligkeit macht es schwierig, dem Output des Modells zu vertrauen, ohne eine Möglichkeit zu haben, zu prüfen, welche Version korrekt ist. Traditionell haben Forscher versucht, dies zu beheben, indem sie das Modell baten, viele Antworten zu generieren und die am häufigsten vorkommende auszuwählen, oder indem sie ein separates, spezialisiertes Computerprogramm trainierten, das als Richter fungiert. Aber diese Methoden scheitern oft bei Aufgaben, die offen gestaltet sind, wie etwa dem Schreiben eines Gedichts oder dem Generieren von komplexem Code, wo es keine einzelne „richtige“ Antwort gibt, die man zählen könnte, oder sie erfordern ein teures neues Training, das nicht immer möglich ist.

Ein Team von Forschern der Yonsei University und der KAIST hat einen neuen Weg vorgeschlagen, um dieses Problem zu lösen, ohne zusätzliches Training oder spezialisierte Richter zu benötigen. Sie nennen ihre Methode ReFeri, was für „Recycling Few-shot examples to verify LLM outputs“ steht. Die Kernidee ist überraschend einfach: Anstatt die dem Modell gegebenen Beispiele lediglich als Ausgangspunkt für die Generierung einer Antwort zu betrachten, entschieden sich die Forscher dazu, dieselben Beispiele als Maßstab zu verwenden, um die vom Modell erzeugten Antworten zu bewerten. Wenn ein Nutzer eine komplexe Frage stellt, liefert er meist einige Beispiele dafür, wie ähnliche Probleme zuvor gelöst wurden. Diese Beispiele dienen als Leitfaden und zeigen dem Modell die gewünschte Stilistik und Logik. Die Forscher erkannten, dass diese Beispiele verborgene Informationen darüber enthalten, wie eine gute Antwort aussehen sollte, und sie fanden einen Weg, diese Informationen zu nutzen, um schlechte Antworten herauszufiltern.

Der Prozess funktioniert dadurch, dass mehrere verschiedene Antworten auf dieselbe Frage generiert werden. Das System bewertet dann jede Antwort mithilfe zweier konkurrierender Signale, die aus den ursprünglichen Beispielen abgeleitet werden. Das erste Signal misst, wie gut die Antwort der Anleitung der Beispiele folgt, was im Wesentlichen fragt: „Sieht diese Antwort so aus, als würde sie zu diesem Satz gehören?“ Das zweite Signal fungiert als Strafe und prüft, ob die Antwort lediglich die Oberflächenmuster oder spezifischen Eigenheiten der Beispiele kopiert, anstatt das eigentliche Problem zu lösen. Wenn eine Antwort die Beispiele zu eng nachahmt, ohne das eigentliche Problem zu verstehen, erhält sie eine hohe Strafe. Der endgültige Score ist ein Gleichgewicht zwischen dem Befolgen der Anleitung und dem Vermeiden von blindem Nachahmen. Durch das Subtrahieren der Strafe vom Anleitungsscore wählt das System die Antwort aus, die die Beispiele am besten als logisches Fundament nutzt, anstatt sie als bloße Vorlage zu kopieren.

In ihren Experimenten testeten die Forscher diese Methode an drei verschiedenen großen Sprachmodellen bei sieben unterschiedlichen Aufgaben, die von der Lösung schwieriger mathematischer Probleme bis hin zur Beantwortung komplexer wissenschaftlicher Fragen und dem Schreiben von Code reichten. Sie fanden heraus, dass ReFeri die Genauigkeit der Modelle konsistent verbesserte. Im Durchschnitt steigerte die Methode die Leistung um 8,2 Prozent im Vergleich dazu, einfach eine zufällige Antwort aus den generierten Optionen auszuwählen. Selbst im Vergleich zu den stärksten existierenden Methoden, die kein Training erfordern, konnte ReFeri die Genauigkeit um zusätzliche 2,6 Prozent verbessern. Die Forscher waren besonders daran interessiert, ob dieser Ansatz auch dann gut funktioniert, wenn das Modell aus einer großen Anzahl von Optionen wählen muss. Sie testeten das System mit bis zu zwanzig verschiedenen Kandidatenantworten und fanden heraus, dass die Methode besser wurde, je mehr Optionen hinzugefügt wurden, während andere Methoden oft schlechter wurden, wenn die Anzahl der Auswahlmöglichkeiten zunahm. Dies deutet darauf hin, dass das System besser darin wird, die beste Antwort zu erkennen, wenn ihm mehr Vielfalt zur Auswahl gestellt wird.

Eine der bedeutendsten Erkenntnisse war, dass diese Verbesserung nicht von der Verwendung eines massiven, leistungsstarken Computers zur Überprüfung abhing. Die Forscher zeigten, dass ein viel kleineres, leichteres Modell die Verifizierung genauso effektiv durchführen konnte wie ein größeres Modell. Dies ist entscheidend, da es bedeutet, dass die Methode effizient und kostengünstig ist. Sie erfordert nicht die schweren Rechenressourcen, die normalerweise für das Training neuer Richter oder das Ausführen komplexer Verifikationssysteme nötig sind. Der Erfolg der Methode scheint in der klugen Art und Weise zu liegen, wie sie die Few-shot-Beispiele verwendet, und nicht aus der rohen Rechenleistung des prüfenden Computers. Die Forscher testeten die Methode auch bei offenen Aufgaben wie der Generierung personalisierter Schlagzeilen oder dem Schreiben von Code, bei denen traditionelle Abstimmungsmethoden versagen, weil es keine einzelne richtige Antwort zum Zählen gibt. In diesen Szenarien übertraf ReFeri dennoch andere Ansätze und demonstrierte damit seine Fähigkeit, komplexe, kreative Aufgaben zu bewältigen, bei denen die „richtige“ Antwort kein einfacher Fakt, sondern eine gut konstruierte Lösung ist.

Die Forscher untersuchten auch, warum die Methode so gut funktioniert, indem sie analysierten, was passiert, wenn sie die Beispiele absichtlich verschlechtern oder die Reihenfolge der Antworten ändern. Sie fanden heraus, dass das System robust blieb, selbst wenn die Beispiele nicht perfekt waren, und dass es nicht leicht durch die Reihenfolge, in der die Antworten präsentiert wurden, verwirrt werden konnte. Diese Stabilität deutet darauf hin, dass die Methode nicht nur Muster auswendig lernt, sondern tatsächlich die Beziehung zwischen den Beispielen und dem neuen Problem versteht. Durch das Recycling der Few-shot-Beispiele haben die Forscher ein Werkzeug geschaffen, das hilft, große Sprachmodelle zuverlässiger zu machen, ohne dass sie neu trainiert oder von Menschen supervidiert werden müssen. Dieser Ansatz bietet eine praktische Möglichkeit, bessere Ergebnisse mit bestehenden Modellen zu erzielen und sie somit vertrauenswürdiger für reale Anwendungen zu machen, bei denen Genauigkeit entscheidend ist. Die Arbeit unterstreicht, dass die Beispiele, die wir diesen Modellen geben, nicht nur Anweisungen für den Beginn einer Aufgabe sind, sondern auch wertvolle Ressourcen für die Qualitätsprüfung der von ihnen erzeugten Arbeit darstellen.