In der Welt der künstlichen Intelligenz gibt es ein wachsendes Feld, das sich der Aufgabe widmet, maschinelle Lernsysteme verständlich zu machen. Diese Systeme, die oft als Agenten bezeichnet werden, lernen Entscheidungen zu treffen, indem sie verschiedene Aktionen ausprobieren und beobachten, was passiert – ein Prozess, der als bestärkendes Lernen (Reinforcement Learning) bekannt ist. Manchmal arbeiten diese Agenten perfekt, aber manchmal scheitern sie auf seltsame Weise, indem sie in Schleifen stecken bleiben oder Entscheidungen treffen, die völlig irrational erscheinen. Wenn dies geschieht, müssen Entwickler wissen, warum. Sie benötigen Erklärungen, die über die bloße Beschreibung dessen hinausgehen, was der Agent getan hat; sie müssen die zugrunde liegenden Gründe verstehen, um das Problem beheben zu können. Jahrelang haben Forscher versucht, die Qualität dieser Erklärungen zu messen, indem sie Menschen fragten, ob sie das Gefühl hatten, etwas zu verstehen, oder indem sie prüften, ob die Erklärung mit der internen Mathematik des Computers übereinstimmt. Aber das Gefühl, etwas zu verstehen, ist nicht dasselbe wie die tatsächliche Fähigkeit, eine defekte Maschine zu reparieren.

Ein neuer Vorschlag eines Forschungsteams schlägt einen praktischeren Weg vor, um diese Erklärungswerkzeuge zu beurteilen. Anstatt Menschen zu fragen, wie sie sich fühlen, schlagen sie vor, zu testen, ob die Erklärungen einem Programmierer tatsächlich dabei helfen, einen defekten Agenten zu reparieren. Der Kern der Idee ist simpel: Wenn eine Erklärung wirklich nützlich ist, sollte sie jemandem helfen, den spezifischen Fehler im Code zu identifizieren und ihn zu beheben, was zu einem besser funktionierenden System führt. Dieser Ansatz verlagert den Fokus von abstrakten Theorien des Verständnisses hin zu einem konkreten, funktionalen Ergebnis. Die Forscher nennen ihren vorgeschlagenen Test „EvalXRL“. Er ist als ein Standard-Benchmark konzipiert, bei dem verschiedene Erklärungsmethoden dem ultimativen Test unterzogen werden: Können sie einem Software-Agenten helfen, einen Bug in einem anderen Software-Agenten zu finden und zu beheben?

Die Forscher haben ein kontrolliertes Experiment entworfen, bei dem sie Reinforcement-Learning-Agenten absichtlich defekt machen. Sie erzeugen spezifische, bekannte Fehler im Code, wie zum Beispiel die Änderung der Art und Weise, wie der Agent Belohnungen erhält, oder die Veränderung der Umgebung, in der er operiert. Beispielsweise könnten sie einen Schatzsucher-Agenten so programmieren, dass er kleine Münzen mehr wertschätzt als große, oder sie könnten ein Verkehrsleitsystem so austricksen, dass es lange Warteschlangen von Autos erzeugt, nur um den Verkehrsfluss in einer einzelnen Sekunde schnell aussehen zu lassen. Soblich diese Agenten defekt sind, führen die Forscher einen künstlichen Intelligenz-Programmierer ein – ein Large Language Model, das darauf trainiert wurde, Software zu schreiben und zu korrigieren. Diesem Programmierer wird Zugriff auf den defekten Agenten und ein spezifisches Erklärungswerkzeug gewährt. Die Aufgabe des Programmierers besteht darin, das Werkzeug zu nutzen, um herauszufinden, was falsch ist, und dann den Code zu schreiben, um den Fehler zu beheben.

Das Experiment ist wie ein geschlossener Kreislauf aufgebaut. Der Programmierer betrachtet nicht einfach nur eine Erklärung und rät. Stattdessen kann der Programmierer das Erklärungswerkzeug um Informationen bitten, die Antwort analysieren, eine neue Theorie darüber aufstellen, was defekt ist, und dann das Werkzeug erneut mit einer anderen Frage oder Einstellung kontaktieren. Dieser Austausch im Geben und Nehmen ahmt die Arbeitsweise eines menschlichen Ingenieurs nach, der Hypothesen testet, bis das Problem gelöst ist. Die Forscher nutzen eine isolierte Computerumgebung (Sandbox), um sicherzustellen, dass der Programmierer nicht schummeln kann, indem er Antworten im Internet nachschlägt. Der einzige Weg für den Programmierer zum Erfolg ist die effektive Nutzung des Erklärungswerkzeugs. Der Erfolg jeder Erklärungsmethode wird daran gemessen, wie gut der reparierte Agent danach abschneidet. Wenn der Agent korrekt arbeitet und hohe Punktzahlen erzielt, gilt das Erklärungswerkzeug als erfolgreich. Wenn der Agent defekt bleibt oder sich verschlechtert, wird das Werkzeug als weniger nützlich eingestuft.

Das Team plant, eine Vielzahl von Erklärungsmethoden zu testen, die von visuellen Karten, die wichtige Teile eines Bildes hervorheben, bis hin zu Textbeschreibungen reichen, die erklären, warum ein Agent eine bestimmte Entscheidung getroffen hat. Sie werden diese Methoden gegen zwei Extreme vergleichen: eine Baseline, bei der der Programmierer über kein Erklärungswerkzeug verfügt und lediglich basierend auf dem Rohcode raten muss, sowie ein „Referenz“-Szenario, in dem dem Programmierer einfach genau gesagt wird, was der Bug ist, in klarer Sprache. Dieser Aufbau ermöglicht es ihnen zu sehen, ob die Erklärungswerkzeuge einen echten Wert über den reinen Quellcode hinaus bieten und wie nah sie dem idealen Szenario kommen, die Antwort sofort zu kennen.

Die Forscher haben drei Haupterwartungen an den Verlauf dieses Benchmarks. Erstens vermuten sie, dass kein einzelnes Erklärungswerkzeug bei jedem Typ von Bug am besten bei der Reparatur sein wird. Einige Werkzeuge könnten hervorragend darin sein, Fehler im Zusammenhang mit der Berechnung von Belohnungen zu finden, während andere besser darin sein könnten, Probleme bei der Wahrnehmung der Umgebung durch den Agenten zu erkennen. Dies würde bedeuten, dass das Feld eine Vielfalt an Werkzeugen benötigt und keine universelle Lösung. Zweitens erwarten sie, dass selbst wenn dem Programmierer genau gesagt wird, was der Bug ist, er ihn vielleicht nicht immer perfekt beheben kann. Dies würde zeigen, dass die Diagnose eines Problems nur die halbe Miete ist; die eigentliche technische Lösung zu entwickeln, ist oft der schwierigere Teil. Drittens, und vielleicht überraschender, prognostizieren sie, dass einige Erklärungswerkzeuge die Situation sogar verschlechtern könnten. Ein Werkzeug könnte eine selbstbewusste, aber irreführende Erklärung liefern, die den Programmierer auf einen falschen Pfad führt, was dazu führt, dass er den falschen Teil des Codes korrigiert. Dies würde beweisen, dass eine gut formulierte Erklärung nicht immer eine hilfreiche ist.

Dieser Vorschlag ist derzeit ein Plan für eine zukünftige Studie, nicht ein abgeschlossener Satz von Ergebnissen. Die Forscher präsentieren ihr Design und ihre Hypothesen der wissenschaftlichen Gemeinschaft, um Feedback zu sammeln, bevor sie das vollständige Experiment durchführen. Sie bitten um Input dazu, ob die von ihnen gewählten Bug-Typen diejenigen sind, die für Praktiker am wichtigsten sind, und ob die Verwendung eines KI-Programmierers ein fairer Ersatz für einen menschlichen Ingenieur ist. Sie räumen ein, dass KI-Programmierer zwar schnell und kostengünstig zu betreiben sind, aber vielleicht nicht exakt wie Menschen denken. Sie argumentieren jedoch, dass mit der zunehmenden Automatisierung von Engineering-Aufgaben das Verständnis darüber, wie diese Tools KI-Agenten helfen, andere KI-Agenten zu reparieren, in sich selbst immer wichtiger wird.

Das ultimative Ziel dieser Arbeit ist es, das Feld der erklärbaren künstlichen Intelligenz weg von subjektiven Bewertungen und hin zu objektiven, funktionalen Beweisen zu bewegen. Indem sie den Erfolg an der Fähigkeit messen, ein defektes System zu reparieren, hoffen die Forscher, einen Standard zu schaffen, der klar aufzeigt, welche Erklärungsmethoden wirklich nützlich sind. Wenn ihr Ansatz funktioniert, könnte er einen zuverlässigen Weg bieten, um zwischen den vielen verschiedenen derzeit verfügbaren Werkzeugen zu unterscheiden, und Entwicklern helfen, das richtige Werkzeug für die jeweilige Aufgabe zu wählen. Es bietet einen Pfad in eine Zukunft, in der wir nicht nur fragen, ob eine KI für uns Sinn ergibt, sondern ob sie uns hilft, bessere, zuverlässigere Systeme zu bauen.