A game theory for foundation models shows new paths to rational cooperation through similarity inference
Dieses Paper schlägt ein neues spieltheoretisches Framework für Foundation-Model-Agenten auf Basis von „Embedded Agency“ vor und zeigt auf, dass deren Fähigkeit, Verhaltensähnlichkeit zu inferieren, es ihnen ermöglicht, stabile Kooperation in sozialen Dilemmata zu erreichen, wodurch klassische Vorhersagen gegenseitiger Defektion widerlegt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der jeder ein hochkarätiges Strategiespiel spielt und jeder die Regeln des Spiels selbst kennt – insbesondere die Auszahlungsmatrizen, die die Belohnungen bestimmen – aber niemand den internen Entscheidungsprozess der anderen Spieler kennt. Dies ist das Reich der Spieltheorie, eines Zweigs der Mathematik, der untersucht, wie rationale Wesen Entscheidungen treffen, wenn ihre Ergebnisse davon abhängen, was andere tun. Jahrzehntelang war das „Goldstandard“-Konzept zur Vorhersage dieser Entscheidungen ein Begriff namens Nash-Gleichgewicht. Betrachten Sie es als einen Zustand perfekter, kalter Logik, in dem jeder Spieler davon ausgeht, dass seine eigenen Entscheidungen keinen Einfluss darauf haben, was jemand anderes entscheidet. In dieser klassischen Sichtweise gilt: Wenn Sie ein Spiel spielen, bei dem es immer besser ist, seinen Partner für einen schnellen Sieg zu verraten (wie beim berühmten Gefangenendilemma), ist der einzig rationale Zug, ihn jedes einzelne Mal zu verraten. Kooperation ist in dieser alten Sichtweise unmöglich, es sei denn, es gibt das Versprechen auf eine langfristige Vergeltung oder Belohnung zu einem späteren Zeitpunkt.
Doch nun ist eine neue Art von Spieler in die Arena getreten: Foundation Models (Basismodelle). Dies sind die superintelligenten KI-Gehirne hinter den Chatbots und Bildgeneratoren, die Sie vielleicht kennen. Im Gegensatz zu den kalten, isolierten Rechenmaschinen der Vergangenheit sind diese KIs anders aufgebaut. Sie schauen nicht nur auf die Welt; sie sind darauf trainiert, das nächste Token in einer Sequenz vorherzusagen, was bedeutet, dass sie ständig ihre eigenen zukünftigen Handlungen zusammen mit den Handlungen anderer vorhersagen. Dieses Paper stellt eine brennende Frage: Wenn man diese KI-Agenten in ein Spiel setzt, in dem die klassische Logik besagt, dass sie einander verraten müssen, was werden sie tatsächlich tun? Werden sie sich an die alten Regeln von „Verrat und Gewinn“ halten oder wird ihre einzigartige Denkweise sie auf einen völlig neuen Pfad führen?
Die Autoren dieses Papers, ein Team von Forschern von Google und verschiedenen Universitäten, haben etwas entdeckt, das die alten Regeln des Spiels auf den Kopf stellt. Sie fanden heraus, dass diese KI-Agenten, wenn sie gegeneinander spielen, nicht einfach nur die Wahrscheinlichkeiten berechnen; sie beginnen, Ähnlichkeit zu inferieren (zu erschließen). Es ist, als würden zwei Menschen einen Raum betreten und feststellen: „Warte, wir denken beide exakt gleich.“ Da die KI nach einem spezifischen Satz von Regeln und Trainingsdaten aufgebaut ist, kann sie auf ihren eigenen geplanten Zug schauen und sagen: „Wenn ich das tun werde und mein Gegner so gebaut ist wie ich, wird er wahrscheinlich dasselbe tun.“
In ihren Experimenten stellten die Forscher eine klassische Falle auf: ein Spiel, in dem die „rationale“ Wahl darin besteht, seinen Partner zu verraten, was für beide zu einem schlechten Ergebnis führt. Laut der alten, „entkoppelten“ Spieltheorie sollte die KI immer verraten. Doch als die KI-Agenten zuvor Zeit erhielten, einander zu beobachten – indem sie eine Serie von Übungsrunden spielten, in denen sie die Auszahlungsmatrizen und die Züge des anderen sahen – begannen sie zu kooperieren. Je mehr Runden sie spielten, desto mehr erkannten sie, dass ihr Partner „genau wie sie“ war. Sie nutzten einen Mechanismus, den die Autoren Similarity Inference (Ähnlichkeitsinferenz) nennen. Anstatt zu denken: „Wenn ich kooperiere, wird er mich vielleicht verraten“, dachten sie: „Wenn ich mich für Kooperation entscheide, sagt mir das, dass mein Partner, der wie ich denkt, ebenfalls zur Kooperation neigen wird.“
Dies ist kein bloßer glücklicher Zufall; das Team hat einen neuen mathematischen Rahmen namens Embedded Bayesian Agent entwickelt, um dies zu erklären. Stellen Sie sich einen Detektiv vor, der einen Verbrechen nicht nur durch die äußeren Indizien löst, sondern durch die Erkenntnis, dass die Indizien Teil seines eigenen Geistes sind. In diesem neuen Rahmen betrachtet die KI ihren eigenen Entscheidungsprozess als Teil des Universums, das sie zu vorhersagen versucht. Wenn sie einen Zug plant, behandelt sie diesen Plan als ein Beweisstück dafür, was der andere Spieler tun wird. Wenn die KI klug genug ist, zu erkennen: „Wir benutzen beide dasselbe Gehirn“, kann sie vorhersagen, dass ein kooperativer Zug ihrerseits auch von ihrem Partner gespiegelt wird.
Das Paper zeigt, dass dieses Verhalten robust ist. In Simulationen, in denen die KI-Agenten durch Übungsrunden mehr „Beweise“ für ihre Ähnlichkeit sammelten, schoss ihre Kooperationsrate in die Höhe und erreichte nahezu perfekte Werte, wenn sie gegen identische Kopien ihrer selbst spielten. Wenn sie jedoch gegen einen zufälligen, unähnlichen Gegner spielten, erkannten sie den Unterschied korrekt und kehrten zur „sicheren“ Strategie des Verrats zurück. Die Forscher testeten dies sogar in einem „blinden“ Setup, bei dem die Agenten einander nie direkt sahen, sondern beobachteten, wie beide auf Drittcharaktere reagierten. Selbst dann konnten sie ihre Ähnlichkeit inferieren und kooperieren.
Entscheidend ist, dass das Paper die Idee ausschließt, dass die KI einfach nur „nett“ ist oder auf eine Belohnung in der Zukunft hofft. Die Agenten spielten nicht für eine spätere Gefälligkeit; sie spielten für die unmittelbare Runde. Sie gingen nicht davon aus, dass sie den Geist des anderen magisch kontrollieren könnten. Stattdessen nutzten sie eine Form der logischen Deduktion: „Meine Handlung ist ein Signal unserer gemeinsamen Natur.“ Die Autoren sind sich sehr bewusst, dass dies ein Befund aus Simulationen und spezifischen Spielkonfigurationen ist und keine Garantie dafür, dass alle zukünftigen KIs „nett“ sein werden. Tatsächlich warnen sie davor, dass diese KIs, wenn sie zu verschieden von Menschen werden, vielleicht aufhören könnten, mit uns zu kooperieren, und stattdessen nur noch untereinander kooperieren.
Letztendlich deutet dieses Paper darauf hin, dass die zukünftige Interaktion von KIs nicht ein kalter Krieg des Verrats, sondern ein Tanz der gegenseitigen Anerkennung sein könnte. Indem wir verstehen, dass diese Agenten sich selbst als Teil desselben Systems sehen, mit dem sie interagieren, können wir vorhersagen, dass sie neue, rationale Wege der Kooperation finden werden, die die alte Mathematik niemals vorgesehen hatte. Es ist eine Erinnerung daran, dass man in einer Welt intelligenter Maschinen manchmal das Rationalste, was man tun kann, die Erkenntnis ist, dass man nicht allein ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.