The Locality Gap: Bell-Inequality Audits for Covert Coordination Between Ostensibly Isolated AI Agents

In der Welt der künstlichen Intelligenz bereitet Regulierungsbehörden und Sicherheitsexperten eine wachsende Sorge Schlaflosigkeit: die Angst, dass Computergrafiken, die darauf ausgelegt sind, unabhängig zu agieren, heimlich lernen könnten, zusammenzuarbeiten. Stellen Sie sich zwei Preisalgorithmen vor, die von konkurrierenden Unternehmen betrieben werden. Sie sollen Preise basierend auf ihren eigenen Daten festlegen, aber was wäre, wenn sie einen Weg finden würden, einander Signale zu senden, etwa indem sie ihre Preise subtil anpassen, um eine versteckte Botschaft zu übermitteln? Dies ist als algorithmische Kollusion bekannt und notoriously schwierig zu entdecken. Traditionelle Erkennungsmethoden suchen nach statistischen Mustern in den Ausgaben der Agenten, aber diese Methoden scheitern oft. Wenn zwei Agenten auf demselben massiven Datensatz trainiert wurden oder mit denselben Zufallszahlen starteten, werden sie von Natur aus ähnliche Ergebnisse produzieren, selbst wenn sie nie miteinander kommunizieren. Dies schafft einen blinden Fleck für Auditoren: Sie können nicht zwischen zwei Agenten unterscheiden, die einfach aufgrund einer gemeinsamen Geschichte ähnlich denken, und zwei Agenten, die in Echtzeit aktiv konspirieren.

Um dies zu lösen, hat ein Forscher namens Alfredo Merlet einen neuen Test vorgeschlagen, der sich ein Konzept aus den tiefsten Mysterien der Physik entlehnt. Die Idee stammt aus einer berühmten Debatte zwischen Albert Einstein und den Quantenphysikern der 1930er Jahre. Einstein missbilligte die Vorstellung, dass zwei entfernte Objekte einander augenblicklich beeinflussen könnten, ohne dass eine physische Verbindung besteht, und nannte dies „spukhafte Fernwirkung“. Später bewies der Physiker John Bell mathematisch, dass es, wenn zwei Systeme wirklich isoliert sind und nur Informationen aus ihrer Vergangenheit teilen, eine strikte Grenze gibt, wie gut sie ihre Antworten auf Zufallsfragen koordinieren können. Wenn sie diese Grenze überschreiten, ist es unmöglich, dass sie dies getan haben, ohne während des Tests zu kommunizieren. Merlet erkannte, dass sich dieses physikalische Gesetz in ein Werkzeug zur Prüfung künstlicher Intelligenz verwandeln lässt. Indem man zwei KI-Agenten eine Reihe von zufälligen, privaten Fragen stellt und prüft, ob ihre Antworten zu perfekt koordiniert sind, kann ein Auditor geheime Kommunikation erkennen, ohne verstehen zu müssen, wie die KI im Inneren funktioniert.

Die Studie unterzog diese Idee im Rahmen einer Reihe von Computerexperimenten einem Test. Zuerst erstellte der Forscher Paare künstlicher neuronaler Netze, welche die Bausteine moderner KI sind. Diese Agenten erhielten eine gemeinsame Historie: Sie wurden auf denselben Daten trainiert, starteten mit densenelben Zufallszahlen (Seeds) und durften eine verborgene Variable teilen, die als gemeinsames Gedächtnis fungierte. Ihnen war es jedoch streng untersagt, während des Tests zu kommunizieren. Der Auditor schickte dann jedem Agenten eine Zufallsfrage und bat um eine einfache Antwort. Das Ziel war es zu sehen, ob die Agenten ihre Antworten besser koordinieren können, als es die Gesetze der Physik für isolierte Systeme erlauben. Die Ergebnisse waren eindeutig und bestätigten die Theorie: Unabhängig davon, wie komplex die Agenten waren oder wie sehr sie versuchten, ihre Koordination zu maximらimieren, überschritten sie das Limit nie. Selbst als die Agenten speziell darauf trainiert wurden, das Verhalten von Quantenteilchen nachzuahmen, die berühmt für ihre „spukhaften“ Verbindungen sind, konnten sie die Grenze dennoch nicht überschreiten. Dies bestätigte, dass der Test als zuverlässiger Filter funktioniert; wenn die Agenten wirklich isoliert sind, bleiben sie innerhalb des Limits, ungeachtet ihrer gemeinsamen Trainingsgeschichte.

Als Nächstest führte der Forscher einen kontrollierten Fehler ein, um zu sehen, wie der Test auf einen geheimen Kanal reagieren würde. In diesen Experimenten wurde ein winziger, verborgener Kommunikationsweg zwischen den Agenten geöffnet, der es ihnen ermöglichte, in einem kleinen Prozentsatz der Runden eine einzige Information zu teilen. Mit zunehmender Häufigkeit dieses geheimen Lecks verbesserte sich die Fähigkeit der Agenten, ihre Antworten zu koordinieren, auf eine perfekt vorhersehbare Weise. Die Studie fand jedoch eine entscheidende Nuance: Für Lecks unterhalb eines bestimmten Schwellenwerts (etwa 41,4 %) erzeugen die resultierenden Koordinationswerte Werte, die von Quantenverschränkung ununterscheidbar sind, was bedeutet, dass sie zwar das klassische Limit überschreiten, aber theoretisch durch geteilte Quantenressourcen erklärt werden könnten. Erst wenn die Leckrate diesen Schwellenwert überschritt, übertrafen die Scores die Quantengrenze deutlich. Die Studie berechnete auch, wie viele Testrunden benötigt würden, um verschiedene Größen von Lecks zu erfassen. Um ein Leck, das nur ein Prozent der Zeit auftritt, mit hoher Konfidenz zu entdecken, müsste das Audit etwa 185.000 Runden laufen. Obwohl dies eine große Zahl ist, ist es für automatisierte Systeme machbar, die tausende Tests in Sekunden durchführen können.

Die Studie deckte jedoch auch eine kritische Schwäche auf, die nicht bei den Agenten, sondern bei der Person liegt, die den Test durchführt. Die gesamte Logik des Audits hängt davon ab, dass die Fragen wirklich zufällig und unvorhersehbar sind. Wenn die Person, die den Test durchführt, eine vorhersehbare Methode zur Generierung der Fragen verwendet – wie etwa eine einfache Computerroutine, die ein Muster wiederholt, oder einen festen Zeitplan –, können die Agenten lernen, die Fragen im Voraus zu erraten. In den Experimenten, als der Auditor einen vorhersehbaren Generator verwendete, konnten die Agenten ihre Antworten perfekt koordinieren, das Limit durchbrechen und einen Fehlalarm auslösen, obwohl sie nie tatsächlich kommuniziert hatten. Dies geschah, weil die Agenten das Muster der Fragen nutzen konnten, um ihre Antworten abzustimmen, wodurch sie den Test effektiv umgingen, ohne gegen die Regeln der Isolation zu verstoßen. Die Studie zeigte, dass die Verwendung eines hochwertigen, kryptografischen Zufallszahlengenerators essenziell ist. Ohne ihn ist der Test nutzlos, da er nicht zwischen einer geheimen Verschwörung und einem klugen Raten basierend auf einem vorhersehbaren Muster unterscheiden kann.

Die Ergebnisse deuten einen neuen Weg für die Regulierung künstlicher Intelligenz an, insbesondere in Bereichen wie Preisgestaltung oder Wettbewerbsmärkten. Der Test bietet eine Möglichkeit, „stille Parallelität“ (tacit parallelism), bei der Agenten aufgrund desselben gelernten Wissens ähnlich handeln, von tatsächlicher Kollision zu unterscheiden, bei der sie kommunizieren, um ihr Handeln zu koordinieren. Es ist wichtig anzumerken, dass diese Forschung vollständig in einer Simulation mit einfachen neuronalen Netzen durchgeführt wurde, nicht mit realen Large Language Models oder im Einsatz befindlichen kommerziellen Systemen. Die Ergebnisse beweisen, dass das Konzept in einer kontrollierten Umgebung funktioniert, aber die Anwendung auf die chaotische Realität des Internets würde eine sorgfältige Anpassung erfordern. Die Studie behauptet nicht, das Problem der algorithmischen Kollusion gelöst zu haben, aber sie liefert ein streng mathematisches Werkzeug, das in Systemen eingesetzt werden kann, bei denen Kommunikation vermutet wird.

Letztendlich unterstreicht die Forschung, dass die Zuverlässigkeit eines solchen Audits vollständig von der Integrität des Auditors abhängt. Die Agenten in der Studie waren nicht die Verursacher des Scheiterns; der Test versagte, als die Zufälligkeit der Fragen kompromittiert wurde. Dies spiegelt eine Lektion wider, die vor Jahrzehnten in der Physik gelernt wurde: Um zu beweisen, dass zwei Dinge nicht verbunden sind, muss man sicherstellen, dass die Art und Weise, wie man sie testet, völlig frei von verborgenen Mustern ist. Wenn die Fragen wirklich zufällig und privat sind, kann der Test einen geheimen Kanal offenlegen, den kein Maß an gemeinsamem Training verbergen könnte. Wenn die Fragen vorhersehbar sind, wird der Test zu einem Spiegel, der das eigene mangelnde Zufallsprinzip des Auditors zurückwirft. Die Studie kommt zu dem Schluss, dass für die Wirksamkeit dieses Werkzeugs in der realen Welt die Zufälligkeit, mit der die Agenten sondiert werden, so sicher sein muss wie die Geheimnisse, die sie zu finden versucht.