In der Welt der künstlichen Intelligenz haben Forscher längst die Kunst beherrscht, Computern beizubringen, Probleme mit klaren Richtig-oder-Falsch-Antworten zu lösen. Wenn eine Maschine gebeten wird, eine mathematische Gleichung zu lösen oder eine Zeile Code zu schreiben, kann sie sofort getestet werden; die Antwort ist entweder korrekt oder sie ist es nicht. Diese Klarheit hat es Modellen ermöglicht, schnell zu lernen und ihre Fähigkeiten durch endlose Zyklen von Versuch und Irrtum zu verfeinern. Die bedeutsamsten Interaktionen zwischen Menschen und Maschinen finden jedoch oft in Bereichen statt, in denen es keine einzige richtige Antwort gibt. Wenn ein Computer als Tutor, Berater oder kreativer Partner agiert, hängt die Qualität seiner Antwort von Kontext, Emotion und kulturellen Werten ab. Ist ein Ratschlag empathisch? Ist eine Geschichte sowohl originell als auch angemessen? Diese Fragen sind „schwach verifizierbar“, was bedeutet, dass sie nicht durch eine einfache Formel überprüft werden können. Sie erfordern menschliches Urteilsvermögen, das langsam, teuer und schwer skalierbar ist. Ohne eine zuverlässige Methode zur Qualitätsprüfung blieb das Lehren einer künstlichen Intelligenz in diesen menschenzentrierten Aufgaben ein hartnäckiger Engpass.

Ein Forschungsteam der East China Normal University und der Hong Kong University of Science and Technology hat einen neuen Weg vorgeschlagen, um diese Unsicherheit zu bewältigen. Sie entwickelten ein Framework namens Agentic Data Evolution, oder ADE, das die Erstellung von Trainingsdaten nicht als einmaliges Ereignis, sondern als einen kontinuierlichen, lebendigen Prozess betrachtet. Anstatt eine massive Liste von Antworten zu generieren und zu hoffen, dass die besten überleben, organisiert das System Daten in „Snapshots“, die sich im Laufe der Zeit entwickeln. Es nutzt ein Team spezialisierter KI-Agenten, um eine aktuelle Antwort zu beobachten, Variationen vorzuschlagen und dann nur jene Änderungen streng auszuwählen, die eine echte Verbesserung darstellen. Dieser Prozess ist darauf ausgelegt, als Sicherheitsventil zu fungieren, um zu verhindern, dass das System versehentlich in eine schlechtere Leistung abdriftet, während es versucht, besser zu werden. Durch die Anwendung dieser Methode auf Bildungsszenarien – mit einem spezifischen Fokus darauf, wie ein Tutor die Werte, Emotionen und Kreativität eines Schülers unterstützen kann – fanden die Forscher heraus, dass sie die Qualität der Antworten der KI stetig steigern konnten, ohne dass ein Mensch jeden einzelnen Schritt überprüfen muss.

Die Kernherausforderung, die das Team adressierte, ist die Frage, was passiert, wenn man versucht, das Verhalten einer KI bei Aufgaben zu verbessern, bei denen man den Erfolg nicht leicht messen kann. Bei traditionellen Methoden generieren Forscher möglicherweise viele Variationen einer Antwort und wählen die beste basierend auf einer schnellen Prüfung aus. Aber wenn die Kriterien komplex sind, wie etwa „emotionale Unterstützung“ oder „kreative Innovation“, kann eine schnelle Prüfung irreführend sein. Eine Antwort mag glatter oder selbstbewusster klingen, aber tatsächlich weniger hilfreiche Anleitung bieten. Die Forscher stellten fest, dass iterative Verbesserungen ohne einen sorgfältigen Auswahlprozess zu „stillen Regressionen“ führen können, bei denen das Modell im Laufe der Zeit schlechter wird, ohne dass es jemand bemerkt, weil die Änderungen oberflächlich positiv aussehen. Um dies zu lösen, bauten sie ein geschlossenes Kreislaufsystem, das eine stetige, vorsichtige Evolution nachahmt.

Der Prozess beginnt mit einem Satz anfänglicher Fragen und Antworten, die als Ausgangspunkt dienen. Das System tritt dann in einen Zyklus aus Beobachtung, Variation und Selektion ein. Zuerst beobachtet ein Agent eine spezifische Frage und die dazugehörige aktuelle Antwort und identifiziert genau, wo die Antwort basierend auf spezifischen Zielen – etwa ob sie die Gefühle eines Schülers respektiert oder kreatives Denken fördert – Mängel aufweist. Als Nächstes generiert das System neue Versionen der Antwort. Dies geschieht auf zwei Arten: Ein Agent nimmt kleine, vorsichtige Anpassungen vor, um unmittelbare Schwächen zu beheben, ohne die Gesamtstruktur zu verändern, während ein anderer Agent größere Risiken eingeht und die Antwort neu organisiert, um tiefere Probleme zu lösen. Dies erzeugt einen kleinen Pool an Kandidaten: die ursprüngliche Antwort, eine konservative Überarbeitung und eine aggressive Überarbeitung.

Der kritischste Teil des Systems ist die Selektionsphase, die als strenger Torwächter fungiert. Bevor eine neue Version akzeptiert wird, wird sie direkt mit der ursprünglichen verglichen. Das System stellt eine einfache, aber strenge Frage: Ist diese neue Version eindeutig besser? Wenn die Beweislage mehrdeutig ist oder wenn die neue Version nur geringfügig anders, aber nicht definitiv überlegen ist, lehnt das System die Änderung ab und behält die ursprüngliche Antwort bei. Diese „Steady-State“-Regel stellt sicher, dass sich die Daten nur dann vorwärts bewegen, wenn es einen Beweis für eine Verbesserung gibt, was effektiv wie eine Ratsche wirkt, die verhindert, dass die Qualität zurückfällt. Die abgelehnten Versuche werden nicht vollständig verworfen; ihre Gründe für das Scheitern werden aufgezeichnet und genutzt, um die nächste Runde der Versuche zu leiten, was dem System hilft zu lernen, was es nicht tun darf.

Um zu testen, ob diese Methode tatsächlich funktionierte, wandten die Forscher sie auf einen Datensatz von 10.000 Bildungsfragen und -antworten an, wobei sie sich auf drei menschenzentrierte Ziele konzentrierten: Schülern beim Navigieren durch moralische Entscheidungen zu helfen, emotionale Unterstützung zu bieten und kreative Innovation zu fördern. Sie ließen das System durch mehrere Runden der Evolution laufen und erstellten eine Serie verbesserter Datensätze. Sie maßen die Ergebnisse anschließend auf drei verschiedene Arten. Erstens untersuchten sie die intrinsische Qualität der Antworten, indem sie die evolvierten Versionen mit den Originalen verglichen. Sie fanden heraus, dass die Antworten mit jeder Runde der Evolution signifikant besser wurden, wobei die Gewinnrate der verbesserten Antworten von 50 Prozent im ursprünglichen Satz auf fast 76 Prozent nach mehreren Runden anstieg.

Zweitens testeten sie, ob diese Verbesserungen der KI tatsächlich halfen, wenn sie in die Praxis umgesetzt wurde. Sie trainierten ein Sprachmodell mit den evolvierten Daten und testeten es an einem separaten Satz von 300 Fragen, die das Modell noch nie gesehen hatte. Die Ergebnisse zeigten einen klaren Transfer von Fähigkeiten: Das Modell, das mit den evolvierten Daten trainiert wurde, gewann 68,86 Prozent der Vergleiche gegen ein Modell, das mit den Originaldaten trainiert wurde. Dies bewies, dass die Verbesserungen nicht nur oberflächliche Änderungen waren, die das System selbst mochte, sondern echte Steigerungen darin, wie das Modell komplexe pädagogische Aufgaben handhabt. Schließlich brachten sie, um sicherzustellen, dass sich das System nicht selbst täuschte, menschliche Experten hinzu, die die Antworten blind bewerteten. Die Experten bevorzugten die evolvierten Antworten 66,11 Prozent der Zeit, was bestätigte, dass der automatisierte Prozess mit dem menschlichen Urteil übereinstimmte.

Die Studie untersuchte auch, ob diese Gewinne spezifisch für die Aufgaben im Bildungsbereich waren oder ob sie dem Modell auch in anderen Bereichen halfen. Sie testeten das verbesserte Modell bei mathematischen Problemen und bei der Erkennung toxischer Sprache, beides Bereiche mit klaren, objektiven Antworten. Selbst in diesen unzusammenhängenden Feldern zeigte das mit den evolvierten Daten trainierte Modell eine bessere Leistung, was eine kleine, aber konsistente Steigerung der Genauigkeit bedeutete. Dies deutet darauf hin, dass der Prozess der sorgfältigen Evolution von Daten für menschenzentrierte Ziele die allgemeine Fähigkeit des Modells stärkt, zu schlussfolgern und mit menschlichen Werten in Einklang zu stehen, anstatt es lediglich darauf zu trimmen, einen spezifischen Tutoring-Stil zu imitieren.

Die Forscher räumen ein, dass ihre Methode mehr Rechenleistung erfordert als einfachere Ansätze, da sie mehrere Agenten in einem Kreislauf involviert. Sie argumentieren jedoch, dass diese Kosten notwendig sind, um das Risiko zu vermeiden, dass das Modell in eine schlechte Leistung abdriftet. Indem sie Daten als etwas behandeln, das sich im Laufe der Zeit entwickeln und verfeinern kann, anstatt als eine statische Ressource, die einmalig generiert wird, haben sie einen praktischen Weg aufgezeigt, um künstliche Intelligenz die subtilen, kontextabhängigen Fähigkeiten beizubringen, die die menschliche Interaktion definieren. Die Arbeit legt nahe, dass für die schwierigsten und wichtigsten Aufgaben der Schlüssel zum Fortschritt nicht in der Generierung von mehr Daten liegt, sondern in der Entwicklung der bereits vorhandenen Daten mit Geduld und Präzision.