Reasoning Models of Artificial Intelligence Think Like Humans Do

Seit Jahrzehnten debattieren Wissenschaftler darüber, wie der Geist Probleme löst, die ihm nie explizit beigebracht wurden. Wenn ein Kind lernt, ein Auto anhand eines Bildes zu identifizieren, oder wenn ein Schüler eine neue mathematische Aufgabe löst, ohne die exakten Schritte gezeigt bekommen zu haben, fühlt es sich oft so an, als wäre plötzlich eine verborgene, „abgeleitete“ Verbindung im Gehirn erschienen. Einige Theorien legen nahe, dass diese Verbindungen spontan entstehen und die direkte Instruktion umgehen. Eine andere Perspektive argumentiert jedoch, dass nichts wahrhaftig entsteht, ohne eine Geschichte der Verstärkung zu haben. Diese Sichtweise, bekannt als Mediationstheorie, schlägt vor, dass das, was wie eine plötzliche Einsicht aussieht, in Wirklichkeit das Ergebnis einer Serie kleiner, zwischengeschalteter Schritte ist. Diese Schritte – oft stille Wörter oder mentale Bilder – werden durch ihre eigenen Konsequenzen geübt und gestärkt, selbst wenn der Lehrer oder Forscher nicht beabsichtigte, sie spezifisch zu trainieren. Es ist die Frage, ob der Geist Brücken zwischen Ideen durch unsichtbare, verstärkte Gewohnheiten baut oder durch einen mysteriösen Logiksprung.

Diese Frage ist vor kurzem über die Untersuchung menschlichen Verhaltens hinaus in das Herz der künstlichen Intelligenz gewandert. Eine neue Perspektive von Forschern der Claremont Graduate University, des Florida Institute of Technology und der California State University Los Angeles legt nahe, dass die fortschrittlichsten Computerprogramme nun denselben Punkt beweisen, den Verhaltenswissenschaftler schon lange argumentieren. Durch die Untersuchung der Art und Weise, wie moderne große Sprachmodelle komplexe Aufgaben lösen, zeigen die Autoren, dass diese Maschinen nicht direkt zu einer Antwort springen. Stattdessen gehen sie einen schrittweisen Prozess ein, der genau jenem menschlichen Verhalten spiegelt, das in der Mediationstheorie beschrieben wird. Die Forscher argumentieren, dass das „Denken“, das man in diesen Systemen sieht, keine Magie oder eine plötzliche Emergenz von Intelligenz ist, sondern das Ergebnis eines Trainings, das jeden Zwischenschritt einer Lösung verstärkt, genau so, wie ein menschlicher Lernender seine eigenen internen Gedanken verstärkt.

Das Paper beginnt mit der Wiederaufnahme der Idee abgeleiteter Relationen, also Verbindungen zwischen Dingen, die eine Person nicht direkt gelernt hat zu verknüpfen. In traditionellen Experimenten könnte einem Kind beigebracht werden, dass ein Bild eines Autos zu dem Wort „Auto“ gehört, und später, ohne weiteres Training, könnte es das Auto korrekt identifizieren, wenn es gefragt wird, das „Auto“ unter anderen Objekten zu finden. Dies wird oft als Stimulusäquivalenz bezeichnet. Die Autoren stellen die Idee in Frage, dass diese Verbindung untrainiert oder un-verstärkt sei. Sie schlagen vor, dass das Kind, wenn es das Wort „Auto“ hört, das Wort laut oder leise zu sich selbst wiederholt. Dieser Akt des Wiederholens des Wortes ist ein mediierendes Verhalten. Da das Kind in der Gegenwart des Autos ist, wird das Aussprechen des Wortes „Auto“ durch die Übereinstimmung zwischen dem, was es hört, und dem, was es sagt, verstärkt. Diese Verstärkung geschieht direkt, selbst wenn der Forscher nicht explizit geplant hat, das Kind für das Aussprechen des Wortes zu belohnen. Die Verbindung ist kein Mysterium; sie ist ein direktes Resultat des eigenen Verhaltens des Kindes, das durch die Umgebung gestärkt wurde.

Die Autoren erweitern diese Logik auf die Art und Weise, wie Computer nun das Denken lernen. Frühe Versionen künstlicher Intelligenz waren wie einfache Vorhersagemaschinen. Sie sahen sich einen Satz an und erraten das nächste Wort basierend auf statistischen Mustern, ganz ähnlich wie eine Person das nächste Wort in einer vertrauten Phrase errät. Diese Systeme konnten Fragen beantworten, aber sie taten dies in einem einzigen, schnellen Stoß, ohne das Problem aufzuschlüsseln. Ihnen fehlte die Fähigkeit, komplexe Probleme durchzudenken. Der Übergang hin zu „Reasoning Models“ (Modellen mit Denkvermögen) erfolgte, als Ingenieure erkannten, dass es die Leistung der Computer verbesserte, wenn man sie dazu zwang, ihren Rechenweg offenzulegen. Anstatt nur eine Antwort zu geben, wird der Computer dazu angeregt, eine „Chain of Thought“ (Gedankenkette) zu generieren, eine Sequenz von Schritten, die zur Lösung führt. Diese Änderung in der Art und Weise, wie der Computer trainiert wurde, stimmt perfekt mit der Mediationstheorie des menschlichen Verhaltens überein.

Das Training dieser Denkmodelle findet in Stufen statt, wobei jede Stufe das Lernen der Maschine verfeinert. Zuer% Erst wird das Modell unermesslichen Mengen von Text ausgesetzt, um die grundlegenden Muster der Sprache zu lernen. Dann wird es mit Beispielen hilfreicher und sicherer Antworten, die von menschlichen Experten bereitgestellt wurden, feinjustiert. Schließlich, und für dieses Argument am wichtigsten, durchläuft das Modell das Reinforcement Learning (bestärkendes Lernen). In dieser Phase wird der Computer nicht nur bewertet, ob seine endgültliche Antwort richtig oder falsch ist; er wird auf die Schritte bewertet, die er unternommen hat, um dorthin zu gelangen. Wenn ein Modell ein Problem korrekt löst, verstärkt das System die gesamte Kette der Schritte, die zu dieser Antwort geführt hat. In Standardmodellen, die jedoch nur die endgültige Antwort belohnen, wird die gesamte Kette als Gruppe verstärkt, was bedeutet, dass ein fehlerhafter Schritt gestärkt werden könnte, wenn die endgültige Antwort zufällig korrekt ist. Um dies zu adressieren, wurden spezifische „Process Reward“-Modelle entwickelt, die die Genauigkeit jedes einzelnen Schritts überprüfen. In diesen fortgeschrittenen Systemen wird die Wahrscheinlichkeit eines Schritts verringert, wenn dieser inkorrekt ist, selbst wenn die endgültige Antwort korrekt ist, wodurch sichergestellt wird, dass die Maschine lernt, korrekte Zwischenschritte einzunehmen, anstatt durch reines Glück zu einem korrekten Ergebnis zu gelangen.

Die Forscher weisen darauf an, dass dies exakt so funktioniert, wie das menschliche Problemlösen arbeitet. Wenn eine Person vor einer schwierigen Aufgabe steht, produziert sie normalerweise nicht die endgültige Antwort in einem einzigen ununterbrochenen Impuls. Stattdessen bricht sie das Problem herunter, spricht Selbstgespräche oder schreibt Schritte auf. Jeder Schritt dient als Hinweis für den nächsten und wird durch den Fortschritt, den er beim Erreichen der Lösung macht, verstärkt. Die Autoren merken an, dass, wenn Computer-Ingenieure beobachteten, dass ihre Modelle plötzlich anfingen, ihre eigene Arbeit zu überprüfen oder ihre eigenen Fehler zu korrigieren, sie dies als „emergentes“ Verhalten bezeichneten. Die Forscher argumentieren, dass dies ein Fehlbegriff ist. Nichts ist entstanden, was nicht verstärkt wurde. Die Modelle lernten, ihre Arbeit zu überprüfen, weil dies häufiger zu korrekten Antworten führte, und das System belohnte diese Ketten von Verhalten. Die „Emergenz“ war lediglich eine Lücke im Wissen des Beobachters über die Trainingsgeschichte, nicht eine Lücke im Wirkungsmechanismus.

Diese Konvergenz von Informatik und Verhaltenswissenschaft bietet eine kraftvolle Erkenntnis. Die Ingenieure, die diese Systeme gebaut haben, kamen zum selben Schluss wie Verhaltenswissenschaftler: Der effektivste Weg, ein komplexes Problem zu lösen, besteht darin, eine Sequenz von mediierenden Schritten zu verwenden, die im Verlauf verstärkt werden. Das Paper legt nahe, dass dies kein Zufall ist, sondern eine fundamentale Wahrheit darüber, wie Probleme gelöst werden, sei es durch ein menschliches Gehirn oder einen Siliziumchip. Das „Denken“, das wir in diesen fortgeschrittenen Modellen sehen, ist schlicht das Ergebnis einer Trainingsgeschichte, die die notwendigen intermediären Verhaltensweisen zur Erreichung eines Ziels stärkt. Durch das Verständnis dessen können wir sehen, dass das komplexe, schrittweise Denken, das wir sowohl bei Menschen als auch bei Maschinen bewundern, auf denselben grundlegenden Prinzipien des Lernens und der Verstärkung beruht. Das Mysterium, wie wir denken, liegt nicht in einem verborgenen Logiksprung, sondern in den leisen, verstärkten Schritten, die wir nehmen, um dorthin zu gelangen.