What is Missing from AI Post-Training AI: An Empirical Analysis
Dieses Paper argumentiert, dass KI-Agenten zwar in der Lage sind, vordefinierte Trainingsstrategien effektiv auszuführen, ihnen jedoch die inhärente Fähigkeit fehlt, ihre übergeordneten Strategien während des Post-Training-Prozesses spontan neu zu bewerten und zu revidieren, eine Einschränkung, die trotz Verbesserungen bei Erfahrung, menschlicher Anleitung und zusätzlicher Reasoning-Rechenleistung bestehen bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine neue Art von Arbeiter entstanden: der KI-Agent. Dies sind nicht nur Programme, die Fragen beantworten oder Texte schreiben; es sind Systeme, die in der Lage sind, komplexe Aufgaben über einen längeren Zeitraum zu planen und auszuführen. Sie können Computercode schreiben, Experimente starten und sogar andere Modelle künstlicher Intelligenz trainieren. Diese Fähigkeit hat die Vision einer „KI für KI“ entfacht, bei der intelligente Systeme sich selbst in einer kontinuierlichen Schleife verbessern, was potenziell zu Maschinen führen könnte, die bessere Maschinen ohne menschliches Eingreifen entwerfen. Um diese Vision zu testen, haben Forscher eine spezifische Herausforderung aufgestellt, bei der ein KI-Agent ein Basis-Sprachmodell nehmen und verfeinern muss, um besser bei schwierigen Aufgaben abzuschneiden, wie etwa beim Lösen von Mathematikproblemen oder beim Schreiben von Code. Die Hoffnung ist, dass der Agent wie ein erfahrener Wissenschaftler agiert, indem er einen Plan vorschlägt, ein Experiment durchführt, sieht, was schiefgelaufen ist, und dann seinen Ansatz grundlegend ändert, um etwas Neues auszuprobieren.
Ein Team von Forschern der Tsinghua University, der Renmin University of China und der University of Electronic Science and Technology of China untersuchte kürzlich, ob diese KI-Agenten tatsächlich über diese wissenschaftliche Flexibilität verfügen. Sie untersuchten tausende aufgezeichneter Sitzungen, in denen verschiedene KI-Agenten versuchten, Sprachmodelle über sieben verschiedene Benchmarks hinweg zu verbessern, die von Grundschulmathematik bis hin zu wissenschaftlicher Argumentation auf Graduiertenniveau reichten. Die Forscher unterschieden zwischen zwei Arten der Arbeit, die ein Agent leisten kann. Die erste ist die Ausführung (Execution): die Fähigkeit, einen gewählten Plan umzusetzen, wie etwa einen Fehler im Code zu beheben, die Lernrate anzupassen oder die Daten zu bereinigen. Die zweite ist die Strategie (Strategy): die Fähigkeit, die Ergebnisse zu betrachten und zu entscheiden, dass der gesamte Plan falsch ist, und dann zu einer völlig anderen Methode zu wechseln. Die Studie ergab, dass die Agenten bei der ersten Art der Arbeit bemerkenswert gut waren, bei der zweiten jedoch fast völlig unfähig waren.
Die Forscher analysierten über 1.300 dieser Trainingssitzungen, die in einem öffentlichen Datensatz namens PostTrainBench aufgezeichnet wurden. Sie entdeckten ein auffälliges Muster: In fast jedem Fall entschied sich der KI-Agent bereits innerhalb der ersten Minuten der Sitzung für seinen übergeordneten Ansatz und hielt diesen für die gesamte zehnstündige Dauer fest. Wenn ein Agent damit begann, das Modell mit einer Methode namens Full-Parameter Fine-Tuning zu lehren, setzte er diese Methode über Stunden hinweg fort, selbst wenn die Ergebnisse schlecht waren. Er würde seine Zeit damit verbringen, winzige Anpassungen vorzunehmen, wie etwa die Lernrate zu ändern oder die Daten neu zu formatieren, aber er würde niemals in Betracht ziehen, gänzlich zu einer anderen Trainingsmethode zu wechseln. Wenn ein Agent hingegen mit einer anderen Methode namens Parameter-Efficient Fine-Tuning begann, blieb er ebenfalls fest in diesem Ansatz verhaftet. Die Wahl der Strategie hing mehr von dem verwendeten KI-Agenten ab als von der Aufgabe, die er zu lösen versuchte. Dieses „Einschließen“ (Lock-in) bedeutete, dass die Agenten effektiv im Kreis liefen, indem sie einen einzelnen Ansatz verfeinerten, lange nachdem dieser nicht mehr nützlich war.
Um zu verstehen, warum dies geschah, testeten die Forscher drei mögliche Erklärungen und steigerten dabei ihre Interventionen, um zu sehen, ob sie die Agenten aus dieser Schleife befreien konnten. Zuerst fragten sie sich, ob den Agenten schlicht die Erfahrung fehle. Sie gaben den Agenten ein digitales Tagebuch, um ihre Beobachtungen festzuhalten, eine Bibliothek von Fähigkeiten, die aus Open-Source-Projekten destilliert wurden, und einen separaten Evaluierungs-Agenten, um Diagnosen und Vorschläge zu liefern. Dieser Aufbau verbesserte die Fähung der Agenten, ihre Aufgaben auszuführen, erheblich und steigerte ihre Leistung bei Mathematik- und Coding-Benchmarks. Doch selbst mit dieser zusätzlichen Hilfe und der klaren Erkenntnis, dass ihr aktueller Ansatz scheiterte, weigerten sich die Agenten, ihre übergeordnete Strategie zu ändern. Sie würden dem Rat des Evaluators folgen, eine Einstellung anzupassen, aber Vorschläge, die Methode komplett zu wechseln, würden sie ignorieren.
Als Nächstes testeten die Forscher, ob die Agenten eine bessere Anleitung benötigten. Sie führten einen menschlichen Prüfer ein, der den ursprünglichen Plan des Agenten vor Beginn des Trainings betrachtete und ihm explizit befahl, eine andere Strategie zu wählen. Dies funktionierte zu Beginn perfekt; die Agenten verstanden die neuen Anweisungen und implementierten einen anderen Plan. Sobald das Training jedoch tatsächlich begann, kehrten die Agenten schnell zu ihren alten Gewohnheiten zurück. Sie begannen, lokale Anpassungen vorzunehmen, und hörten auf, die breitere Strategie zu berücksichtigen, wodurch sie die menschliche Anleitung, sobald die Arbeit begann, effektiv ignorierten. Schließlich testeten die Forscher, ob die Agenten einfach mehr Zeit zum Nachdenken benötigten. Sie gaben den Agenten deutlich mehr Rechenleistung, um über ihre Entscheidungen zu deliberieren. Bei einfacheren Aufgaben half diese zusätzliche Denkzeit, die Ergebnisse zu verbessern. Aber bei den schwierigsten Aufgaben brachte die zusätzliche Leistung fast keinen Nutzen. Die Agenten nutzten die zusätzliche Zeit einfach dazu, ihren festgefahrenen Ansatz noch weiter zu verfeinern, anstatt zu erkennen, dass sie den Kurs ändern mussten.
Die Studie kommt zu dem Schluss, dass die fehlende Zutat in der automatisierten KI-Forschung nicht ein Mangel an Erfahrung, Anleitung oder roher Rechenleistung ist. Die Agenten besitzen eindeutig die Fähigkeit, eine neue Strategie zu verstehen und sie umzusetzen, wenn man es ihnen sagt. Was ihnen fehlt, ist die Spontaneität, zu erkennen, wann ihr aktueller Pfad scheitert, und sich freiwillig zu entscheiden, die Richtung zu ändern. Die Schleife aus Hypothese aufstellen, ein Experiment durchführen und den Ansatz revidieren schließt sich nur auf der Ebene kleiner, lokaler Korrekturen. Auf der Ebene der Gesamtstrategie bleibt die Schleife offen. Die Obergrenze für diese automatisierten Systeme wird durch die Qualität der allerersten Entscheidung bestimmt, die sie treffen, und nicht dadurch, wie lange sie arbeiten oder wie viel sie nachdenken. Bis KI-Agenten in der Lage sind, die strategische Wahl während der Ausführung spontan wieder zu eröffnen, werden sie kompetente Arbeiter bleiben, die jedoch nicht in der Lage sind, als wahre Wissenschaftler zu agieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.