Stellen Sie sich einen Computer vor, der ein Bild betrachten und eine Frage dazu beantworten kann oder eine in Worten formulierte Matheaufgabe lesen und lösen kann. Diese Systeme, bekannt als Vision-Language-Modelle, werden immer leistungsfähiger, aber sie machen immer noch Fehler. Manchmal bekommt sie die Antwort falsch, weil sie nicht gründlich genug nachdenkt; ein anderes Mal behaupten sie selbstbewusst Dinge, die schlichtweg nicht wahr sind – ein Problem, das als Halluzination bezeichnet wird. Um diese Modelle dazu zu bringen, besser zu denken, nutzen Forscher eine Methode namens Reinforcement Learning (bestärkendes Lernen). In diesem Prozess wird das Modell aufgefordert, viele verschiedene Versuche zur Lösung eines einzelnen Problems zu generieren. Wenn einige Versuche korrekt und andere falsch sind, lernt das Modell, den erfolgreichen Pfad zu bevorzugen. Damit dieses Lernen jedoch funktioniert, müssen die verschiedenen Versuche tatsächlich voneinander verschieden sein. Wenn das Modell denselben Gedankengang immer und immer wieder wiederholt, lernt es nichts Neues.

Die Herausforderung bestand darin, das Modell dazu zu zwingen, verschiedene Wege des Denkens zu erforschen. Traditionell haben Forscher versucht, die Dinge aufzumischen, indem sie die Temperatur des Entscheidungsprozesses des Computers veränderten oder das Eingabebild leicht verzerrten, wie etwa durch das Hinzufügen von statischem Rauschen zu einer Fotografie. Eine neue Studie von Forschern bei Amazon Web Services legt nahe, dass diese externen Änderungen nicht der effektivste Weg sind, um die Vielfalt des Denkens des Modells zu erhöhen. Stattdessen schlagen sie vor, dass die Variation innerhalb der eigenen internen Repräsentation des Problems des Modells geschehen sollte, direkt in dem Moment, in dem es beginnt, die Frage zu verarbeiten. Durch das Injizieren einer winzigen, kontrollierten Menge an zufälligem Rauschen in den verborgenen mentalen Zustand des Modells, bevor es mit der Generierung einer Antwort beginnt, fanden sie heraus, dass sie einen robusteren und genaueren Denker erschaffen konnten.

Die Forscher entwickelten eine Technik, die sie Noise-Contrastive Group Relative Policy Optimization nennen. Um zu verstehen, wie sie funktioniert, stellen Sie sich eine Gruppe von Schülern vor, die alle versuchen, dieselbe Geometrieaufgabe zu lösen. In einer Standard-Trainingssitzung löst jeder Schüler diese vielleicht zufällig etwas anders, aber alle beginnen mit demselben exakten Verständnis der Aufgabe. In diesem neuen Ansatz erhält die Hälfte der Schüler einen etwas anderen Ausgangspunkt. Die Forscher nehmen den internen Zustand des Modells – die Art und Weise, wie es das Problem in seinem „Geist“ kodiert hat – und fügen der Hälfte der Gruppe einen kleinen, zufälligen Stoß hinzu. Dieser Stoß ist keine Änderung des Bildes selbst und auch keine Änderung der Wörter auf der Seite. Es ist eine subtile Verschiebung der internen Perspektive des Modells, so als würde man einen Schüler bitten, das Problem aus einem leicht anderen Winkel zu betrachten, bevor er mit dem Schreiben beginnt.

Das Modell generiert dann Antworten aus diesen zwei Gruppen: eine Gruppe beginnt mit dem normalen, sauberen Verständnis, die andere mit diesem leicht verschobenen, verrauschten Verständnis. Die entscheidende Erkenntnis liegt darin, wie das Modell aus den Ergebnissen lernt. Wenn die Gruppe mit dem verrauschten Ausgangspunkt es dennoch schafft, die korrekte Antwort zu finden, trotz der zu Beginn eingeführten Verwirrung, wird das Modell belohnt. Wenn das Rauschen dazu führt, dass das Modell vom Weg abkommt und scheitert, wird dieser Pfad bestraft. Mit der Zeit lernt das Modell, Lösungen zu finden, die so solide sind, dass sie auch funktionieren, wenn der Ausgangspunkt leicht instabil ist. Es lernt nicht nur die Antwort, sondern es lernt, robust gegenüber kleinen Störungen in seinem eigenen Denkprozess zu sein.

Die Ergebnisse dieses Experiments waren beeindruckend. Die Forscher testeten ihre Methode an einem großen Vision-Language-Modell, das auf Geometrieaufgaben trainiert wurde. Als sie ihre neue Methode mit dem Standardansatz und der älteren Technik der Bildverzerrung verglichen, lieferte die neue Methode signifikant bessere Ergebnisse bei schwierigen, ungesehenen Matheaufgaben. Das Modell wurde besser darin, Probleme zu lösen, die es noch nie gesehen hatte, eine Fähigkeit, die als Out-of-Domain-Reasoning bekannt ist. Vielleicht noch überraschender war, dass es auch besser darin wurde, Halluzinationen zu vermeiden. Während die ältere Methode der Bildverzerrung dem Modell half, visuelle Details klarer zu sehen, machte sie das Modell manchmal schlechter darin, sich an die Fakten zu halten. Die neue Methode hingegen verbesserte sowohl das Denken als auch die Ehrlichkeit des Modells gleichzeitig.

Die Studie untersuchte auch, was genau diese Technik wirksam macht. Die Forscher testeten, ob der Nutzen von der spezifischen Richtung des Rauschens oder einfach nur von der Tatsache, dass das Rauschen zufällig war, abhing. Sie fanden heraus, dass die Richtung keine Rolle spielte. Ob das Rauschen das Denken des Modells in die eine oder die andere Richtung drückte, der entscheidende Faktor war schlichtweg, dass jeder Versuch von einem einzigartigen, unabhängigen Standpunkt aus begann. Sie entdeckten auch, dass die Größe des Rauschens wie ein Regler wirkt. Ein geringes Maß an Rauschen verbesserte das Denkvermögen des Modells, ohne dessen allgemeine Fähigkeiten zu beeinträchtigen, aber zu viel Rauschen begann die Gesamtleistung zu verschlechtern. Dies deutet darauf an, dass es einen „Sweet Spot“ gibt, an dem das Modell zu einem besseren Spezialisten im logischen Denken wird, ohne sein Allgemeinwissen zu verlieren.

Eines der wichtigsten Ergebnisse war, dass diese Methode dadurch funktioniert, dass sie den internen Zustand des Modells ändert, nicht durch die Veränderung des Bildes oder des Textes. Dies bedeutet, dass die Technik potenziell auf jeden Typ von Modell angewendet werden kann, der Informationen verarbeitet, nicht nur auf solche, die Bilder betrachten. Die Forscher zeigten, dass die Methode effizient ist; sie erfordert nur eine kleine Änderung an der Software, die das Modell steuert, und sie verlangsamt den Prozess der Antwortgenerierung nicht. Indem sie sich auf den Moment konzentrierten, in dem das Modell zu denken beginnt, statt auf die Daten, die es erhält, fanden sie einen Weg, das Denken des Modells zuverlässiger und weniger fehleranfällig zu machen.

Die Studie untersuchte auch, ob dieser Ansatz bei Modellen unterschiedlicher Größe funktioniert. Als sie dieselbe Technik auf eine kleinere Version des Modells anwandten, verschwanden die Vorteile. Das kleinere Modell wurde nicht besser im Denken, noch wurde es schlechter; es änderte sich einfach nicht. Dies deutet darauf hin, dass die Technik ein gewisses Maß an Komplexität im Modell erfordert, um effektiv zu sein. Es ist kein Zaubertrick, der bei jedem Computer funktioniert, sondern ein spezifisches Werkzeug, das größeren, leistungsfähigeren Systemen hilft, ihr Denken zu verfeinern. Die Forscher weisen vorsichtig darauf hin, dass die Ergebnisse zwar vielversprechend sind, sie die Methode jedoch bisher nur bei einer Familie von Modellen getestet haben, und weitere Arbeit nötig ist, um zu sehen, ob sie auch bei anderen funktioniert.

Letztendlich bietet diese Forschung eine neue Art und Weise, darüber nachzudenken, wie wir künstliche Intelligenz trainieren. Anstatt zu versuchen, die Eingabedaten variabler oder den Entscheidungsprozess chaotischer zu machen, fanden die Forscher heraus, dass eine präzise, interne Perturbation (Störung) zu einem stabileren und intelligenteren Ergebnis führen kann. Indem sie das Modell lehren, selbst dann erfolgreich zu sein, wenn sein Ausgangspunkt leicht abweicht, haben sie ein System geschaffen, das weniger wahrscheinlich von seinen eigenen Unsicherheiten getäuscht wird. Dieser Ansatz macht das Modell nicht nur besser im Mathematikverständnis; er macht das Modell vertrauenswürdiger und fähiger, zwischen einer soliden Antwort und einer bloßen mutmaßlichen Vermutung zu unterscheiden. Da diese Systeme immer stärker in unser tägliches Leben integriert werden, ist es essenziell, Wege zu finden, sie robuster und weniger fehleranfällig zu machen, und diese Studie bietet einen klaren Weg vorwärts, um dieses Ziel zu erreichen.