Interpretable reinforcement learning with decision-tree pruning

Die Black Box und der Bauplan

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen, Schachspielen oder das Balancieren einer Stange auf einem Wagen bei. Sie schreiben nicht den Code für jede einzelne Bewegung; statlichdessen lassen Sie den Roboter durch Versuch und Irrtum lernen, indem Sie ihn belohnen, wenn er Erfolg hat, und ihn bestrafen, wenn er scheitert. Dies ist Reinforcement Learning (Bestärkendes Lernen), ein Zweig der künstlichen Intelligenz, bei dem Software-Agenten lernen, Entscheidungen zu treffen, indem sie mit einer Umgebung interagieren. Das Ergebnis ist oft eine „Policy“ – ein Satz von Anweisungen, denen der Roboter folgt. Die leistungsfähigsten Policies verbergen sich jedoch meist in massiven, komplexen neuronalen Netzen. Betrachten Sie diese Netzwerke als einen riesigen, verhedderten Wollknäuel oder eine „Black Box“. Man kann sehen, wie der Roboter handelt, aber wenn man fragt, warum er eine bestimmte Bewegung gemacht hat, liegt die Antwort in Millionen von unsichtbaren Verbindungen verborgen. Dies ist ein Problem, denn in der realen Welt müssen wir diesen Robotern vertrauen. Wenn ein selbstfahrendes Auto oder eine medizinische KI einen Fehler macht, müssen wir in der Lage sein, in die Black Box zu schauen, die Logik zu verstehen und sie zu korrigieren.

Um dies zu lösen, haben Wissenschaftler Wege entwickelt, diese verhedderten neuronalen Netze in Entscheidungsbäume zu übersetzen. Wenn ein neuronales Netz ein unordentlicher Wollknäuel ist, dann ist ein Entscheidungsbaum ein klares Flussdiagramm oder ein „Wähle dein eigenes Abenteuer“-Buch. Er stellt einfache Fragen wie „Neigt sich die Stange nach links?“ und folgt einem Pfad zu einer Antwort wie „Drücke nach rechts“. Diese Bäume sind für Menschen viel leichter zu lesen. Aber hier liegt der Haken: Wenn man ein komplexes Gehirn in einen Baum übersetzt, wird der Baum oft zu groß, um lesbar zu sein. Er könnte tausende von Zweigen haben, was ihn genauso verwirrend macht wie das ursprüngliche Black-Box-Modell. Die große Frage lautet: Können wir diesen riesigen Baum so weit stutzen, dass er klein und einfach wird, ohne die Fähigkeit des Roboters zu beeinträchtigen, seine Aufgabe zu erfüllen?

Den Hecken trimmen: Ein neuer Weg zur Vereinfachung von KI

In dieser Arbeit schlagen Mark Ringer und Michel Tokic eine clevere Methode vor, um diese Frage zu beantworten. Sie behandeln die Vereinfachung dieser KI-Entscheidungsbäume nicht als einmaligen Zaubertrick, sondern als einen sorgfältigen, schrittweisen Editierungsprozess. Stellen Sie sich vor, Sie haben eine massive, überwucherte Hecke, die einen Pfad versperrt. Sie wollen sie zurückschneiden, damit Menschen hindurchgehen können, aber Sie wollen nicht so viel abschneiden, dass die Hecke umkippt oder aufhört, ihre Aufgabe bei der Pflege des Gartens zu erfüllen.

Die Autoren beginnen mit einem Entscheidungsbaum, der bereits von einem neuronalen Netz übersetzt wurde. Dieser Baum ist ihr „Lehrer“ in dem Sinne, dass er weiß, wie man die Aufgabe löst, aber er ist zu kompliziert für einen Menschen, um ihn zu verstehen. Ihr Ziel ist es, ihn zu beschneiden – unnötige Zweige abzuschneiden – während sie gleichzeitig die Leistung des Roboters hoch halten. Sie raten nicht einfach, welche Zweige sie abschneiden sollen; sie nutzen einen strengen, prüfbaren Prozess. Sie schlagen drei Hauptwege vor, um den Baum zu trimmen:

1. Das „Höhenlimit“ (Max-Depth Pruning): Dies ist wie die Regel: „Kein Ast darf höher als 1,50 Meter wachsen.“ Jeder Teil des Baumes, der versucht, tiefer zu wachsen, wird abgeschnitten und durch ein einfaches Blatt ersetzt. Es zwingt den Baum dazu, kurz und einfach zu bleiben.
2. Der „Homogenitätscheck“ (Max-Impurity Pruning): Diese Methode betrachtet die Zweige und fragt: „Ist dieser Teil des Baumes bereits so klar, dass er nicht mehr aufspalten muss?“ Wenn ein Zweig bereits für fast alles, was er sieht, die gleiche Entscheidung trifft, gilt er als „rein“. Der Algorithmus schneidet die zusätzlichen Aufspaltungen ab und verwandelt diesen gesamten Abschnitt in ein einzelnes Blatt.
3. Der „Intelligente Besucherzähler“ (Decision-tree Adaptive Constrained Pruning oder DACP): Dies ist die anspruchsvollste Methode und das Herzstück der Arbeit. Es ist wie ein Tourguide, der zählt, wie viele Menschen jeden Raum in einem Museum besuchen. Wenn ein Raum (oder ein Entscheidungsknoten) selten besucht wird, entscheidet der Guide vielleicht, ihn zu schließen. Doch der Guide ist klug: Bevor er einen Raum schließt, prüft er, ob es sich tatsächlich um einen geheimen VIP-Eingang handelt, dessen Schließung die gesamte Tour ruinieren würde. Sie verwenden ein Sicherheitsnetz, um sicherzustellen, dass, falls ein Schnitt dazu führt, dass die Punktzahl des Roboters zu schnell sinkt, sie stoppen und zurückgehen.

Der Prozess funktioniert wie ein Spiel aus „Heiß und Kalt“. Der Algorithmus versucht, eine Gruppe von Zweigen abzuschneiden. Dann lässt er den Roboter die Aufgabe erneut durchlaufen, um zu sehen, wie gut er abschneidet. Wenn der Roboter immer noch gut funktioniert (über einem bestimmten Sicherheitsschwellenwert bleibt), wird der Schnitt beibehalten und der Baum wird kleiner. Wenn die Leistung des Roboters zu stark abfällt, wird der Schnitt abgelehnt und der Algorithmus versucht einen anderen, kleineren Schnitt. Jede einzelne Änderung wird aufgezeichnet, wodurch ein „Pfad“ entsteht, der genau zeigt, wie der Baum vereinfacht wurde und wie sich das auf das Verhalten des Roboters ausgewirkt hat.

Was sie fanden: Kleinere Bäume, manchmal bessere Roboter

Die Autoren testeten diese Methode bei einer Vielzahl klassischer Roboter-Herausforderungen, vom Balancieren einer Stange (CartPole) bis hin zum Gehen wie ein Mensch (Walker2D). Sie fanden heraus, dass ihr Beschneidungsprozess erfolgreich riesige, unlesbare Bäume in kompakte, menschenfreundliche Versionen transformierte.

Eine der interessantesten Entdeckungen war, dass Vereinfachung nicht immer den Verlust von Leistung bedeutet. In einigen Fällen, wie beim Lunar Lander Task, war das ursprüngliche „Lehrer“-neuronale Netz tatsächlich am Overfitting (Überanpassung) – es hatte die Trainingsdaten zu perfekt auswendig gelernt und machte seltsame, unnötige Bewegungen. Als die Autoren den Entscheidungsbaum beschneiden, schnitten sie versehentlich diese seltsamen, überangepassten Zweige weg. Das Ergebnis? Der vereinfachte Baum funktionierte tatsächlich besser als das ursprüngliche komplexe Modell und erzielte höhere Punktzahlen mit weniger Regeln.

Es gibt jedoch eine Grenze. Die Arbeit zeigt einen klaren Kompromiss auf: Je kleiner man den Baum schneidet, desto eher beginnt der Roboter zu versagen. Es gibt einen „Kipppunkt“, an dem der Baum zu einfach wird, um die Komplexität der Aufgabe zu bewältigen. Die Autoren fanden heraus, dass ihre Methode des „Intelligenten Besucherzählers“ (DACP) im Allgemeinen am besten darin war, diesen optimalen Punkt zu finden, um den Baum klein genug für die Lesbarkeit zu halten und gleichzeitig eine hohe Leistung beizubehalten.

Sie merkten auch an, dass die Anzahl der Blätter (die Endpunkte des Baums) zwar eine gute Möglichkeit ist, die Komplexität zu messen, aber nicht die ganze Geschichte darüber erzählt, wie leicht ein Baum für einen Menschen zu verstehen ist. Ein Baum mit weniger Blättern kann immer noch verwirrend sein, wenn die Fragen innerhalb des Baums zu schwer zu erfassen sind.

Das Fazit

Diese Arbeit behauptet nicht, das Rätsel des Vertrauens in die KI für immer gelöst zu haben, bietet aber ein leistungsfähiges neues Werkzeug. Sie legt nahe, dass wir uns nicht zwischen einem intelligenten Roboter und einem transparenten Roboter entscheiden müssen. Indem wir einen sorgfältigen, schrittweisen Beschneidungsprozess verwenden, der die Leistung des Roboters ständig überprüft, können wir einen riesigen, verwirrenden Entscheidungsbaum in einen kleinen, klaren Regelsatz verwandelt. Dies macht die Entscheidungen der KI auditierbar – das heißt, wir können genau nachvollziehen, warum sie getan hat, was sie getan hat – und kann sogar die Leistung verbessern, indem es das „Rauschen“ der Überanpassung entfernt. Während die Autoren zugeben, dass ihr Maß für „Verständlichkeit“ auf der Baumgröße basiert und noch nicht auf tatsächlichen Tests mit Menschen, bietet ihre Methode einen klaren, transparenten Weg von komplexem Code zu einfacher, vertrauenswürdiger Logik.