Stellen Sie sich eine Welt vor, in der eine Gruppe von Freunden versucht, gemeinsam ein riesiges Puzzle zu lösen. In der Welt der künstlichen Intelligenz nennt man das Multi-Agent Reinforcement Learning (MARL). Denken Sie an das Lehren eines Schwarms von Robotern, Fußball zu spielen, oder eines Teams von digitalen Charakteren, gegen einen Drachen zu kämpfen. Der schwierige Teil besteht darin, herauszufinden, wie man ihnen „Feedback“ gibt. In den alten Zeiten bekamen alle im Team einen Goldstern, egal ob sie tatsächlich den Ball gekickt haben oder nur untätig danebenstanden, wenn das Team gewann. Das nennt man eine „gemeinsame Belohnung“ (shared reward). Aber was wäre, wenn wir nur dem Roboter einen Goldstern gaben, der tatsächlich das Tor erzielte? Das wäre eine „individuelle Belohnung“ (individual reward).

Wissenschaftler fragen sich schon lange: Spielt es eine Rolle, wie wir diese Goldsterne verteilen? Führt das Geben des gleichen Lohns an alle dazu, dass die Gehirne der Roboter (ihre internen „Repräsentationen“) zu einem langweiligen, identischen Klumpen werden, in dem alle gleich denken? Oder zwingt das Geben von individuellem Kredit ihre Gehirne dazu, unterscheidbar und spezialisiert zu bleiben? Dieses Paper taucht in diese Frage ein und fragt, ob die Art und Weise, wie wir ein Team belohnen, einen sichtbaren Fingerabdruck darauf hinterlässt, wie die KI-Gehirne strukturiert sind, oder ob es nur verändert, wie sie handeln.

Das große Belohnungsexperiment

Die Forscher beschlossen, die Detektivarbeit mit einem Team von KI-Kriegern in einem Videospiel namens SMACv2 zu übernehmen. Stellen Sie sich ein Schlachtfeld vor, auf dem fünf freundliche Einheiten (nennen wir sie „Protoss“) gegen fünf Feinde kämpfen. Jede freundliche Einheit hat eine spezifische Aufgabe: Einige sind schnelle Kundschafter, einige sind schwere Schläger und einige sind riesige Panzer. Im Spiel kann die KI genau sehen, welche Art von Einheit sie ist.

Das Team trainierte diese KI-Agenten mit einem intelligenten Lernalgorithmus namens MAPPO. Sie führten zwei Hauptexperimente durch:

1. Der „Teamplayer“-Modus: Jeder Agent erhielt exakt dieselbe Belohnung basierend darauf, ob das Team gewann oder verlor, ungeachtet dessen, was er tat.
2. Der „Starspieler“-Modus: Jeder Agent erhielt eine Belohnung basierend ausschließlich darauf, wie viel Schaden er persönlich verursachte.

Die große Frage war: Wenn wir vom „Starspieler“- zum „Teamplayer“-Modus wechseln, wird die interne Gehirnkarte der KI kollabieren? Wird das Gehirn des Kundschafters anfangen, exakt wie das Gehirn des Panzers auszusehen, weil sie alle denselben Keks bekommen?

Die Überraschung: Die Gehirnkarte änderte sich nicht

Hier ist die Wendung, die das Paper fand. Die Forscher erwarteten, dass der „Teamplayer“-Modus die KI-Gehirne matschig und identisch machen würde. Sie irrten sich.

Sie maßen die „Form“ des KI-Gehirns mit einem ausgeklügelten mathematischen Werkzeug namens EffRank/n (das im Grunde prüft, in wie vielen verschiedenen Richtungen das Gehirn denkt) und einer Sonde (ein einfacher Test, um zu sehen, ob man anhand der Gehirnaktivität den Job einer Einheit erraten kann).

Die Ergebnisse waren überraschend:

• Mit individuellen Belohnungen: Die KI-Gehirne waren unterscheidbar. Die Kundschafter, Panzer und schweren Schläger lebten in unterschiedlichen „Nachbarschaften“ in der Gehirnkarte. Die Sonde konnte den Job der Einheit in etwa 73 % der Fälle korrekt erraten (viel besser als die 33 % Chance beim bloßen Raten).
• Mit gemeinsamen Belohnungen: Die KI-Gehirne sahen fast exakt gleich aus. Die Sonde errat die Aufgabe immer noch zu 75 % korrekt. Die „Form“ des Gehirns kollabierte überhaupt nicht.

Somit änderte die Art und Weise, wie sie die Goldsterne verteilten, nichts an der Struktur des KI-Gehirns. Die Geometrie blieb gleich.

Der wahre Übeltäter: Was sie sehen konnten

Wenn die Belohnung die Gehirnform nicht veränderte, was dann? Die Forscher erkannten, dass die Antwort direkt vor Augen lag: die Beobachtung.

Im Spiel wurde jedem KI-Agenten von Anfang an gesagt: „Du bist ein Kundschafter“ oder „Du bist ein Panzer“. Es war, als trüge man eine Uniform, auf der der eigene Job steht. Da die KI ihre eigene Rolle sehen konnte, organisierte sich ihr Gehirn natürlich so, dass es diese spezifische Aufgabe bewältigte, selbst wenn alle die gleiche Belohnung erhielten.

Um dies zu beweisen, spielten die Forscher einen Trick. Sie „maskierten“ die Beobachtung, was bedeutete, dass sie der KI sagten: „Du bist ein Kundschafter“, aber dann den Teil des Bildschirms abdeckten, der der KI zeigte, welche Art von Einheit sie war. Sie sagten der KI nicht, was sie war, sondern ließen sie die Rolle aus dem Chaos der Schlacht selbst herausfinden.

Das Ergebnis war dramatisch.

• Als sie den Einheitentyp verbargen, sank die Genauigkeit der Sonde von ~74 % auf 49 % (was kaum besser ist als bloßes Raten).
• Die unterscheidbaren „Nachbarschaften“ in der Gehirnkarte kollabierten zu einem einzigen, unordentlichen Klumpen.
• Dies geschah sowohl für die „Teamplayer“- als auch für die „Starspieler“-Gruppen.

Dies bewies, dass die klare, organisierte Gehirnstruktur nicht durch das Belohnungssystem verursacht wurde. Sie wurde dadurch verursacht, dass die KI ihre eigene Rolle sehen konnte. Sobald man den visuellen Hinweis entfernte, konnte das Belohnungssystem die spezialisierte Gehirnstruktur nicht magisch aus sich selbst heraus erschaffen.

Verhalten vs. Gehirnstruktur

Hat das Belohnungssystem also gar nichts bewirkt? Nicht ganz. Während die Gehirnstruktur gleich blieb, änderte sich das Verhalten.

Wenn die Agenten individuelle Belohnungen erhielten (der „Starspieler“-Modus), handelten sie vielfältiger voneinander. Die Forscher maßen dies mit einer Metrik namens Dact, die prüft, wie unterschiedlich die Bewegungen der Agenten sind.

• Individuelle Belohnungen: Die Agenten waren in ihren Handlungen vielfältiger (1,23 auf der Dact-Skala).
• Gemeinsame Belohnungen: Die Agenten waren in ihren Handlungen etwas ähnlicher (1,07 auf der Dact-Skala).

Kurz gesagt: Die Gabe individueller Belohnungen ließ die Agenten kreativer und unterschiedlicher spielen, aber es zwang ihre Gehirne nicht dazu, sich in neue Formen umzustrukturieren. Die Form war bereits da, weil sie sahen, was sie sein sollten.

Das Fazit

Das Paper kommt zu dem Schluss, dass man, wenn man wissen will, ob ein KI-Team wirklich spezialisiert ist, nicht einfach nur darauf schauen darf, wie ihre Gehirne organisiert sind, wenn sie „Uniformen“ tragen (ihre Rollen sehen). Die Organisation könnte lediglich ein Spiegelbild dessen sein, was sie sehen können, und nicht dessen, wie sie belohnt werden.

Um wirklich zu testen, ob ein Belohnungssystem spezielle Rollen schafft, muss man die visuellen Hinweise entfernen. In diesem speziellen Spiel änderte das Belohnungssystem, wie das Team spielte (ihr Verhalten), aber die Struktur ihrer Köpfe wurde durch die Informationen diktiert, die ihnen zur Verfügung standen. Die Forscher schlagen vor, dass zukünftige Tests „versteckte Rollen“ verwenden müssen – bei denen die KI ihren Job nicht kennt –, um wirklich zu sehen, ob Belohnungen spezialisierte Gehirne von Grund auf aufbauen können.

Sie testeten dies auch auf einem anderen, größeren Spiel namens „Tribal Village“ mit 48 Agenten und fanden ähnliche Ergebnisse: Die Metriken konnten die Kompetenz der Agenten messen, aber der Belohnungstyp erzeugte keinen klaren Unterschied in der Geometrie des Gehirns. Die von ihnen entwickelten Werkzeuge (EffRank/n und Dact) sind schnell und einfach zu verwenden und beanspruchen weniger als 5 % zusätzliche Arbeit, was sie ideal macht, um zu prüfen, ob KI-Teams tatsächlich lernen, zusammenzuarbeiten oder nur ihre Uniformen auswendig zu lernen.