Why collective AI assurance cannot target agents or networks in isolation

In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine neue Art von Risiko entstanden, die nicht sichtbar wird, wenn man eine einzelne Maschine isoliert betrachtet. Stellen Sie sich ein Krankenhaus vor, in dem Dutzende von automatisierten Assistenten Patientenpläne koordinieren, Notfälle triagieren und Überweisungen verwalten. Jeder dieser Assistenten ist darauf programmiert, hilfreich, fair und kooperativ zu sein. Wenn man einen dieser Assistenten allein in einem ruhigen Raum testet, erscheint er perfekt auf menschliche Werte ausgerichtet. Doch wenn diese Assistenten beginnen, miteinander in einem komplexen Netzwerk zu interagieren, kann die Gruppe als Ganzes Ergebnisse hervorbringen, die zutiefst ungerecht sind, selbst wenn jedes einzelne Mitglied versucht, das Richtige zu tun. Dieses Phänomen, bekannt als kollektive Emergenz, legt nahe, dass die Sicherheit eines Systems weniger vom individuellen Charakter seiner Teile abhängt, sondern vielmehr von den Regeln ihrer Interaktion. Die Frage, vor der Forscher und Regulierer stehen, ist nicht mehr nur, ob eine einzelne KI sicher ist, sondern wie man Fairness garantiert, wenn viele KIs zusammenarbeiten.

Ein Forschungsteam aus Österreich setzte sich zum Ziel, ein spezifisches Rätsel innerhalb dieses Problems zu lösen: Wenn eine Gruppe von KI-Agenten ein ungleiches Ergebnis produziert, liegt die Schuld dann bei den Agenten selbst oder ist sie in die Struktur ihres Netzwerks eingebettet? Um die Antwort zu finden, bauten sie ein digitales Labor, in dem sie tausende von simulierten Interaktionen durchführen konnten. Sie entwarfen zwei verschiedene Arten von sozialen Spielen, die ihre Agenten spielen konnten. Im ersten Spiel, einem Szenario des öffentlichen Gutes (Public-Goods), konnten die Agenten entscheiden, Ressourcen mit ihren Nachbarn zu teilen oder sie für sich selbst zu behalten. Im zweiten Spiel, einem Vertrauensspiel, das um medizinische Überweisungen herum aufgebaut war, mussten die Agenten entscheiden, ob sie eine Ressource an einen bestimmten Kollegen senden oder sie für ihren eigenen Patienten behalten sollten. Die Forscher variierten dann die Bedingungen dieser Spiele wie ein Wissenschaftler, der an den Reglern einer Maschine dreht. Sie änderten die Persönlichkeit der Agenten, indem sie sie entweder alle einheitlich fair gestalteten oder einige egoistische Agenten beimischten. Sie veränderten die Form des Netzwerks, indem sie entweder jeden mit jedem verband oder Knotenpunkte schufen, an denen einige wenige Agenten viel mehr Verbindungen hatten als andere. Sie testeten sogar, ob ein System der Peer-Bestrafung – bei dem Agenten einander kritisieren konnten – jegliche entstandene Ungerechtigkeit beheben konnte.

Die Ergebnisse offenbarten eine erschreckende Wahrheit darüber, wie diese Systeme funktionieren. Wenn die Forscher ein Netzwerk verwendeten, in dem einige wenige Agenten viele Verbindungen hatten und die meisten nur wenige, trat ein Muster der Ungleichheit hervor, das fast vollständig durch die Form des Netzwerks bestimmt wurde, nicht durch das Verhalten der Agenten. Im Public-Goods-Spiel, selbst wenn jeder einzelne Agent darauf programmiert war, vollkommen fair und kooperativ zu sein, endeten die Agenten mit den meisten Verbindungen mit signifikant mehr Ressourcen als diejenigen mit weniger Verbindungen. Die Korrelation zwischen dem Besitz vieler Verbindungen und dem Besitz von mehr Ressourcen war so stark, dass sie nahezu perfekt war. Um zu beweisen, dass dies ein strukturelles Problem und kein Fehler im „Gehirn“ der KI war, ließen die Forscher exakt dasselbe Spiel mit einem einfachen Computerprogramm laufen, das weder die Fähigkeit zu logischem Denken noch zum Lernen besaß. Dieser einfache Bot, der lediglich einer festen Regel folgte, reproduzierte dieselbe hohe Ebene der Ungleichheit wie die hochentwickelten KI-Modelle. Dieser Befund deutet darauf an, dass in bestimmten Arten von Interaktionen die Ungerechtigkeit eine mathematische Gewissheit des Netzwerkdesigns ist und kein Versagen der individuellen Agenten, „gut“ zu sein.

Die Geschichte wurde jedoch komplexer, als die Forscher zum Vertrauensspiel wechselten. Hier trafen die Agenten gezielte Entscheidungen darüber, wem sie helfen wollten, anstatt Ressourcen gleichmäßig aufzuteilen. In dieser Umgebung matter das Verhalten der Agenten eine viel größere Rolle. Selbst wenn die Netzwerkstruktur identisch mit der des ersten Spiels war, spielten die Persönlichkeiten und Entscheidungen der Agenten eine größere Rolle bei der Bestimmung des Endergebnisses. In einem spezifischen Setup fanden die Forscher heraus, dass das Verhalten der Agenten der primäre Treiber der Ungleichheit war, während in einem anderen Setup die Netzwerkstruktur der Haupttreiber war. Dies bedeutet, dass es keine einzige „Lösung“ für die KI-Sicherheit gibt, die in jeder Situation funktioniert. Man kann nicht einfach eine KI als fair zertifizieren und davon ausgehen, dass die Gruppe fair sein wird, denn in einigen Interaktionsregimen überschreibt die Netzwerkstruktur die individuelle Fairness. Umgekehrt kann man nicht einfach die Netzwerkstruktur korrigieren und davon ausgehen, dass die Agenten sich korrekt verhalten werden, da in anderen Regimen die Entscheidungen der Agenten der dominierende Faktor sind.

Die Studie untersuchte auch, ob die Agenten das Problem „sehen“ und beheben konnten. Die Forscher baten die Agenten, nach jedem Zug ihre Beweggründe zu erläutern. Im Vertrauensspiel erwähnten die Agenten häufig, dass sie sich der Netzwerkstruktur bewusst waren und versuchten, fair zu sein. Sie konnten ihren Standpunkt artikulieren und das System verstehen. Doch dieses Bewusstsein änderte nichts am Ergebnis. Selbst wenn die Agenten wussten, dass sie sich in einer ungleichen Position befanden, konnten sie die strukturellen Vorteile ihrer stärker vernetzten Kollegen nicht überwinden. Die Agenten, die sich der Ungleichheit bewusst waren, waren oft diejenigen, die unter ihr litten, aber ihr Verständnis schlug sich nicht in einem besseren Ergebnis nieder. Dies verdeutlicht eine kritische Lücke: Zu wissen, dass ein System unfair ist, ist nicht dasselbe wie die Macht zu haben, es zu ändern.

Schließlich testeten die Forscher eine gängige Lösung für Ungleichheit: die Peer-Sanktionierung. Sie gaben den Agenten die Möglichkeit, diejenigen zu bestrafen, die sich unfair verhielten, indem sie deren Ruf senkten. In den Simulationen nutzten die Agenten diese Macht tatsächlich und identifizierten korrekt die Agenten mit den meisten Verbindungen als diejenigen, die sie bestrafen mussten. Diese Bestrafung hatte jedoch keinen Effekt auf die endgültige Ressourcenverteilung. Die Ungleichheit blieb exakt gleich. Die Forscher entdeckten, dass die bloße Ankündigung eines Sanktionssystems das Verhalten der Agenten geringfügig veränderte, der eigentliche Akt der Bestrafung jedoch nichts an dem Ergebnis änderte. Der Mechanismus, der den Vorteil generierte – die Art und Weise, wie Ressourcen durch das Netzwerk flossen – blieb durch das Reputationssystem unberührt.

Die letztendliche Schlussfolgerung dieser Arbeit ist, dass wir nicht von einem festen Sicherheitsniveau für KI-Systeme ausgehen können. Wir können nicht einfach prüfen, ob jeder einzelne Agent fair ist, noch können wir einfach prüfen, ob das Netzwerk gut gestaltet ist. Die Sicherheit des Kollektivs hängt von der spezifischen Kombination aus den Agenten, dem Netzwerk und den Interaktionsregeln ab. In einigen Fällen ist die Netzwerkstruktur die dominante Kraft, was die individuelle Fairness irrelevant macht. In anderen Fällen ist das Verhalten der Agenten der entscheidende Faktor. Dies bedeutet, dass Regulierungsbehörden und Designer sich nicht auf einen Einheitsansatz zur Absicherung von KI verlassen können. Sie müssen die spezifische kausale Struktur des Systems verstehen, das sie bauen. Wenn sie ein faires Ergebnis gewährleisten wollen, müssen sie identifizieren, welcher Faktor – Struktur oder Verhalten – das Ergebnis in diesem speziflichen Kontext antreibt, und genau dort intervenieren. Oh ohne dieses Verständnis können selbst die wohlmeinendsten und perfekt ausgerichteten KI-Agenten tief ungerechte Gesellschaften hervorbringen.