CEDAR-GRPO: Process-Aware Reinforcement Learning for General Abductive Reasoning in LLMs

In der weiten Landschaft der künstlichen Intelligenz versuchen Forscher ständig, Maschinen beizubringen, wie Menschen zu denken, und nicht nur, wie sie das nächste Wort in einem Satz vorherzusagen. Eine der menschlichsten Denkweisen wird als abduktives Schließen bezeichnet. Dies ist der mentale Prozess, bei dem man eine Reihe von Hinweisen oder Beobachtungen betrachtet und rückwärts arbeitet, um die wahrscheinlichste Erklärung für diese zu finden. So findet ein Arzt heraus, was mit einem Patienten nicht stimmt, basierend auf ein paar Symptomen, wie ein Detektiv einen Verbrechensfall aus verstreuten Beweisen rekonstruiert oder wie ein Ingenieur eine Maschine diagnostiziert, die plötzlich aufgehört hat zu arbeiten. Lange Zeit hatten Wissenschaftler damit zu kämpfen, große Sprachmodelle dazu zu bringen, dies gut zu beherrschen. Während diese Modelle exzellent darin sind, Fakten abzurufen oder strengen logischen Regeln zu folgen, stolpern sie oft, wenn sie gebeten werden, verborgene Ursachen aus unvollständigen Informationen abzuleiten. Sie neigen dazu, die richtige Antwort aus den falschen Gründen zu erraten, oder sie erfinden Fakten, die plausibel klingen, aber tatsächlich nicht zu den bereitgestellten Belegen passen.

Ein Team von Forschern der Sharif University of Technology und der University of Tehran setzte sich zum Ziel, dieses Problem zu lösen. Sie wollten wissen, ob sie diese KI-Modelle darauf trainieren könnten, besser im abduktiven Schließen zu werden, auf eine Weise, die ihnen helfen würde, neue, ungesehene Probleme zu lösen, anstatt nur die spezifischen Rätsel auswendig zu lernen, mit denen sie trainiert wurden. Sie entwickelten eine neue Trainingsmethode namens CEDAR-GRPO. Anstatt das Modell einfach nur dafür zu belohnen, dass es die endgültige Antwort richtig getätigt hat, entwarfen sie ein System, das das Modell auch dafür belohnt, wie es dorthin gelangt ist. Das System prüft zwei spezifische Dinge über den Denkprozess des Modells: erstens, ob das Modell tatsächlich jedes einzelne Detail in den bereitgestellten Belegen betrachtet und erklärt hat, und zweitens, ob das Modell seine Argumentation in die richtige Richtung gelenkt hat, indem es von den Beobachtungen aus begann und sich zu einer Schlussfolgerung hin aufbaute, anstatt mit einer Schlussfolgerung zu beginnen und zu versuchen, die Beweise passend zu machen.

Um dies zu testen, nahmen die Forscher vier verschiedene Open-Source-Sprachmodelle und trainierten sie auf einem sorgfältig gemischten Satz von Aufgaben. Diese Aufgaben umfassten alles von der Wahl der besten Erklärung für eine kurze Geschichte bis hin zum Schreiben von Code, der ein Muster in Daten erklärt. Entscheidend war, dass sie den Modellen nicht nur die Antworten zeigten; sie verwendeten eine Reinforcement-Learning-Technik, die wie ein Trainer fungierte und den Modellen Feedback zu ihren Denkschritten gab. Die Modelle lernten, dass eine korrekte Antwort nicht ausreichte, wenn sie ein wichtiges Detail ignoriert oder wenn ihre Logik rückwärts gelaufen war. Nach diesem Training testeten die Forscher die Modelle auf elf völlig anderen Aufgaben, die sie zuvor noch nie gesehen hatten. Diese neuen Aufgaben reichten von der Diagnose medizinischer Zustände über das Debugging von Computercode bis hin zum Lösen komplexer Rätsel und dem Verständnis langer, komplizierter Geschichten.

Die Ergebnisse zeigten eine klare Verbesserung über das gesamte Spektrum hinweg. Die mit der neuen Methode trainierten Modelle übertrafen sowohl ihre ursprünglichen Versionen als auch Modelle, die nur darauf trainiert wurden, die endgültige Antwort korrekt zu treffen. Im Durchschnitt verbesserte die neue Methode die Leistung um 7,4 Prozentpunkte gegenüber den ursprünglichen Modellen und um 2,7 Punkte gegenüber den Modellen, die nur auf Korrektheit trainiert wurden. In bestimmten Fällen war die Verbesserung so hoch wie 30,8 Punkte. Noch wichtiger ist, dass die Forscher den tatsächlichen Text analysierten, den die Modelle während ihres Denkprozesses schrieben. Sie fanden heraus, dass die trainierten Modelle sich mehr wie sorgfältige Ermittler verhielten. Sie neigten eher dazu, verschiedene Möglichkeiten zu untersuchen, bevor sie sich auf eine Antwort festlegten, verschiedene falsche Ideen explizit auszuschließen und zuzugeben, wenn sie unsicher waren. Sie zeigten auch eine viel stärkere Gewohnheit, ihre Schlussfolgerungen direkt mit den ihnen gegebenen spezifischen Fakten zu verknüpfen, anstatt sich auf vage Annahmen zu verlassen.

Die Studie schloss auch mehrere alternative Erklärungen für diesen Erfolg aus. Die Forscher bewiesen, dass die Verbesserung nicht einfach daraus resultierte, dass die Modelle mehr Beispiele sahen oder aus einer allgemeinen Steigerung der Denkfähigkeit. Als sie die Modelle mit einer ähnlichen Menge an allgemeinen Denkdaten trainierten, die nicht auf abduktive Aufgaben fokussiert waren, zeigten die Modelle nicht das gleiche Maß an Verbesserung bei den spezifischen Tests. Dies deutet darauf hin, dass die spezifische Art und Weise, wie die Modelle für ihren Denkprozess belohnt wurden, der entscheidende Faktor war. Die Ergebnisse zeigen, dass abduktives Schließen als eine allgemeine Fähigkeit gestärkt werden kann, die auf verschiedene Bereiche übertragbar ist, anstatt ein eng begrenzter Trick zu sein, der nur bei bestimmten Arten von Rätseln funktioniert. Indem sie die Modelle lehrten, die Beweise zu respektieren und einem logischen Pfad von der Beobachtung zur Erklärung zu folgen, haben die Forscher einen bedeutenden Schritt zur Schaffung einer künstlichen Intelligenz gemacht, die die Welt um sie herum wirklich verstehen und erklären kann.