In der weiten Landschaft der künstlichen Intelligenz gibt es eine spezielle Ecke, die sich dem Lehren von Maschinen widmet, wie diese miteinander interagieren. Dieses Feld, bekannt als Multi-Agenten-Reinforcement-Learning, stellt eine einfache, aber tiefgründige Frage: Wie bringen wir mehrere intelligente Systeme dazu, gemeinsam zu lernen, ohne sie gegenseitig in den Wahnsinn zu treiben? Stellen Sie sich einen Raum voller Studenten vor, die gleichzeitig versuchen, ein mathematisches Problem zu lösen. Wenn jeder Student jede Sekunde seine Strategie ändert, basierend darauf, was die anderen tun, wird das Klassenzimmer zu einem chaotischen, beweglichen Ziel. Niemand kann sich auf eine stabile Antwort festlegen, weil sich der Boden unter den Füßen ständig verschiebt. In der Spieltheorie ist das Ziel, einen Zustand des Gleichgewichts zu erreichen, in dem kein Spieler einen Anreiz hat, seinen Zug zu ändern – ein Konzept, das als Nash-Gleichgewicht bekannt ist. Wenn jedoch die verfügbaren Aktionen für diese Spieler nicht nur ein paar einfache Entscheidungen sind, sondern ein kontinuierlicher Strom von Möglichkeiten – wie etwa die Entscheidung darüber, genau wie viel man produzieren oder wie viel Geld man ausgeben soll –, wird die Mathematik unglaublich schwierig. Standardmethoden scheitern hier oft, was dazu führt, dass die Agenten wild oszillieren oder in Schleifen stecken bleiben, ohne jemals jenen stabilen Punkt der Einigung zu finden.

Ein Forscher namens Marvin Bongiovi von der Technischen Universität Dortmund hat einen neuen Weg vorgeschlagen, um durch dieses Chaos zu navigieren. In einer im späten Jahr 2026 veröffentlichten Studie stellt er einen Algorithmus namens Deep Regret Actor-Critic, oder kurz DRAC, vor. Anstatt zu versuchen, die unmittelbare Belohnung für jeden Agenten zu maximieren, was oft zu Instabilität führt, lehrt diese neue Methode die Agenten, ihren „Regret“ (ihre Reue) zu minimieren. In einfachen Worten: Reue ist das Gefühl, eine bessere Gelegenheit verpasst zu haben, weil man sich für eine andere Aktion entschieden hat. Indem das System darauf trainiert wird, sicherzustellen, dass kein Spieler signifikant besser hätte abschneiden können, wenn er allein seine Entscheidung geändert hätte, führt der Algorithmus die Gruppe zu einem stabilen, nicht ausnutzbaren Gleichgewicht. Die Ergebnisse sind beeindruckend: In komplexen wirtschaftlichen Simulationen mit kontinuierlichen Entscheidungen fand dieser neue Ansatz konsistent die präzise mathematische Lösung, bei der ältere Methoden scheiterten, was beweist, dass der Fokus darauf, was man verpasst hat, ein zuverlässigerer Weg zur Einigung ist als der Fokus auf das, was man gewonnen hat.

Um zu verstehen, warum dies wichtig ist, muss man zunächst die Natur des Problems begreifen, dem diese Agenten gegenüberstehen. In vielen realen Szenarien, von Märkten bis hin zu Wettbewerben, treffen Akteure Entscheidungen in einer Sequenz, und der beste Zug hängt vollständig davon ab, was die anderen tun. Wenn ein Agent versucht zu lernen, indem er einfach nur auf die aktuellen Belohnungen reagiert, ist das so, als würde man versuchen, ein bewegliches Ziel zu treffen, während das Ziel gleichzeitig versucht, auszuweichen. Die Umgebung ist nicht-stationär, was bedeutet, dass sie sich verändert, während die Lernenden sich verändern. Traditionelle Algorithmen scheitern oft, weil sie die anderen Spieler als Teil einer statischen Umgebung behandeln, nur um dann von diesen Spielern, die ihre Strategien aktualisieren, überrumpelt zu werden. Dies führt zu einem Zyklus der Anpassung, in dem sich niemand jemals zur Ruhe setzt. Während einige bisherige Methoden versucht haben, dies zu lösen, indem sie den gesamten Spielbaum betrachteten oder komplexe Potenzialfunktionen nutzten, kämpfen sie oft mit dem schieren Ausmaß kontinuierlicher Aktionen oder erfordern spezialisiertes Training, das sich nicht gut skalieren lässt.

Bongiovis Lösung, DRAC, verfolgt einen anderen strukturellen Ansatz. Es operiert unter einem Rahmenwerk, in dem die Agenten zentralisiert trainiert werden, aber dennoch unabhängig agieren können. Die Kerninnovation liegt darin, wie es Erfolg bewertet. Anstatt zu fragen: „Habe ich eine hohe Punktzahl erreicht?“, fragt das System: „Hätte ich besser abgeschnitten, wenn ich mich anders entschieden hätte, während alle anderen genau das Gleiche gemacht hätten wie zuvor?“ Um dies zu beantworten, nutzt der Algorithmus einen klugen Trick. Er friert die Aktionen aller anderen Spieler ein und zieht dann ein breites Spektrum an alternativen Zügen für den einzelnen Agenten in Betracht. Er berechnet, wie hoch die Belohnung für jede dieser hypothetischen Alternativen gewesen wäre. Durch den Vergleich des tatsächlichen Ergebnisses mit dem bestmöglichen Ergebnis aus diesen Stichproben berechnet das System ein präzises Maß an Reue. Dieser Prozess schafft ein stabiles Ziel für den Lernalgorithmus, da das „bestmögliche Ergebnis“ gegen einen festen Satz von gegnerischen Aktionen berechnet wird, wodurch das Problem des beweglichen Ziels eliminiert wird.

Der Algorithmus verwendet ein duales neuronales Netzwerk, um diese Aufgabe auszuführen. Ein Teil des Netzwerks sagt die beste mögliche Nutzenfunktion voraus, die ein Agent gegen die fixierten Aktionen der anderen erzielen könnte, während der andere Teil den tatsächlichen Nutzen der gewählten Aktion vorhersagt. Die Differenz zwischen diesen beiden Vorhersagen ist die Reue. Das System passt die Strategie des Agenten dann so an, dass diese Differenz minimiert wird. Ist die Reue hoch, bedeutet dies, dass der Agent eine bessere Gelegenheit verpasst hat, und die Strategie wird angepasst, um diesen Fehler beim nächsten Mal zu vermeiden. Ist die Reue gleich Null, bedeutet dies, dass der Agent optimal spielt, gegeben das, was alle anderen tun. Durch die gleichzeitige Minimierung dieser Reue über alle Agenten hinweg steuert das System natürlich auf einen Zustand zu, in dem niemand seine Strategie ändern möchte, was die Definition eines Nash-Gleichgewichts ist.

Um diese Idee zu testen, führte der Forscher zwei unterschiedliche Simulationen durch. Die erste war ein sequenzieller Cournot-Oligopol, ein klassisches Wirtschaftsmodell, bei dem mehrere Firmen konkurrieren, indem sie entscheiden, wie viel eines Produkts sie produzieren. In diesem Szenario hängt der Marktpreis von der Gesamtmenge ab, die von allen Firmen produziert wird. Die Forscher setzten einen Markt mit drei konkurrierenden Firmen über fünf Runden auf, mit der Möglichkeit, jede beliebige Menge innerhalb eines kontinuierlichen Bereichs zu produzieren. Sie verglichen den neuen DRAC-Algorithmus mit einer etablierten Methode namens MADDPG. Die Ergebnisse zeigten, dass der DRAC-Algorithmus weit überlegen war. Nach 200.000 Trainingszyklen wich die Strategie des DRAC-Algorithmus nur um etwa 1,1 Prozent von der perfekten theoretischen Lösung ab. Im Gegensatz dazu wich die ältere Methode um fast 2 Prozent ab. Viel wichtiger war, dass das Maß der „Ausnutzbarkeit“ – also wie viel ein Spieler gewinnen könnte, indem er seine Strategie ändert – für DRAC signifikant niedriger war und bei etwa 0,000137 lag, verglichen mit 0,000427 bei der anderen Methode. Dies deutet darauf hin, dass der neue Algorithmus nicht nur die richtige Antwort gefunden hat, sondern dies mit einem viel höheren Grad an Stabilität geschah.

Das zweite Experiment beinhaltete einen sequenziellen proportionalen Preiswettbewerb, ein dynamisches Ressourcenallokationsproblem. Hier konkurrieren zwei Spieler über mehrere Runden hinweg, um einen Preis zu gewinnen, müssen aber einen Teil ihres Budgets aufwenden, um dies zu tun. Der Preis wird basierend darauf aufgeteilt, wie viel jeder Spieler im Verhältnis zum Gesamtausgabenbetrag aufwendet. Dieser Aufbau erfordert, dass die Spieler vorausdenken und abwägen, wie viel sie jetzt ausgeben im Vergleich dazu, wie viel sie für spätere Runden sparen müssen. Die Forscher simulierten diesen Wettbewerb über fünf Phasen mit einer spezifischen Regel für den Budgetabbau. Auch hier wurde der DRAC-Algorithmus gegen die Standardmethode antreten lassen. Die Ergebnisse waren konsistent mit dem ersten Experiment. DRAC erreichte eine Abweichung von der theoretisch perfekten Strategie von nur 3,0 Prozent, während die Standardmethode mit 6,3 Prozent zurücklag. Die Ausnutzbarkeit für DRAC war ebenfalls viel niedriger und lag bei 0,000745 im Vergleich zu 0,00248 beim Konkurrenten. Diese Zahlen bestätigen, dass der Ansatz der Reuminimierung selbst in dynamischen Mehrphasen-Spielen, in denen Spieler für die Zukunft planen müssen, effektiv ist.

Der Erfolg dieses Ansatzes beruht auf einer spezifischen Erkenntnis: Indem der Fokus von der Maximierung von Belohnungen auf die Minimierung von Reue verschoben wird, umgeht der Algorithmus die Instabilität, die andere Methoden plagt. Im Standard-Multi-Agenten-Lernen kann ein Fehler eines einzelnen Agenten das Lernen aller anderen durcheinanderbringen und eine Kaskade von Fehlern erzeugen. DRAC vermeidet dies, indem es „Was-wäre-wenn“-Szenarien gegen die fixierten Aktionen der Gegner berechnet. Dies entkoppelt die Bewertung von den chaotischen Aktualisierungen der anderen Spieler und schafft eine ruhige, stationäre Landschaft für den Lernprozess. Der Algorithmus sagt im Wesentlichen: „Ignoriere, was die anderen gerade tun; schau nur darauf, was du gegen das, was sie getan haben, hättet besser machen können.“ Diese einfache Verschiebung ermöglicht es dem System, seine Aktualisierungen zu koordinieren, ohne in die Falle der Kollusion zu tappen, bei der die Agenten versehentlich lernen könnten, auf eine Weise zu kooperieren, die das allgemeine Gleichgewicht schädigt.

Obwohl die Ergebnisse beeindruckend sind, räumt die Arbeit gewisse Einschränkungen ein. Die Methode stützt sich auf das Sampling (Stichprobenverfahren), um die besten alternativen Aktionen zu finden. In den glatten, vorhersehbaren Umgebungen des Cournot-Marktes und des Preiswettbewerbs funktionierte dies perfekt. In Spielen mit hochkomplexen oder zerklüfteten Belohnungslandschaften könnte das Sampling jedoch die wahre beste Bewegung verpassen. Zudem benötigt der Algorithmus ein Modell der Umgebung, um diese hypothetischen Ergebnisse zu simulieren. In einem Videospiel oder einer Simulation ist dies einfach, aber in einer realen „Black-Box“-Situation, in der die Regeln unbekannt sind, müsste das System einen Weg finden, die Ergebnisse von Aktionen vorherzusagen, die es noch gar nicht ausgeführt hat. Trotz dieser Einschränkungen zeigt die Studie einen bedeutenden Fortschritt. Sie belegt, dass kontinuierliche Multi-Agenten-Spiele mit hoher Präzision gelöst werden können, indem man Agenten lehrt, rückwärts auf ihre verpassten Chancen zu blicken, anstatt vorwärts auf ihre potenziellen Gewinne.

Die Auswirkungen dieser Arbeit reichen über die spezifisch getesteten Spiele hinaus. Die Fähigkeit, ein Subgame-Perfect Nash Equilibrium – einen Zustand, in dem Spieler in jedem Stadium eines Spiels optimale Entscheidungen treffen, nicht nur zu Beginn – in kontinuierlichen Räumen zu approximieren, ist eine große Hürde in der künstlichen Intelligenz. Durch den Beweis, dass die Minimierung von Reue das Lernen stabilisieren kann, öffnet diese Forschung die Tür für robustere Multi-Agenten-Systeme in der Wirtschaft, im Verkehrsmanagement und in der Ressourcenverteilung. Der Autor legt nahe, dass dieser Rahmen schließlich für Spiele mit unvollständiger Information, in denen Spieler nicht alles über den Zustand der Welt wissen, und für diskrete Spiele, in denen Spieler aus einer Menge distinkter Optionen wählen, angepasst werden könnte. Für den Moment steht die Studie als klarer Beleg dafür, dass der beste Weg nach vorne manchmal darin besteht, sorgfältig zu analysieren, was man stattdessen hätte tun können.