In der Welt der künstlichen Intelligenz werden immer mehr Systeme entwickelt, die in Teams arbeiten sollen. Anstatt sich auf ein einzelnes Computerprogramm zu verlassen, um ein Problem zu lösen, erschafft dieses System eine Vielzahl digitaler Agenten, die jeweils damit beauftragt sind, Dokumente zu lesen, Daten zu analysieren oder eine Meinung zu bilden. Die Logik hinter diesem Ansatz ist intuitiv: Wenn ein Experte gut ist, sollten ein Dutzend noch besser sein. Durch das Sammeln vieler verschiedener Berichte und deren Kombination hofft das System, zu einem Schluss zu gelangen, der genauer und selbstbewusster ist, als es ein einzelner Agent allein erreichen könnte. Diese Methode stützt sich auf eine grundlegende Annahme des menschlichen Denkens: dass mehrere Menschen, wenn sie übereinstimmen, wahrscheinlich aus unterschiedlichen Informationsquellen schöpfen. Wenn drei Analysten unabhängig vone von einem drohenden Scheitern eines Unternehmens vorhersagen, liegt das meist daran, dass sie jeweils separate, überzeugende Beweise gefunden haben. Eine neue Studie stellt jedoch in Frage, ob diese Logik dann noch gilt, wenn die „Analysten“ künstliche Intelligenz sind. Die Forschung untersucht eine spezifische Schwachstelle, bei der ein System getäuscht werden kann, in dem Glauben, eine enorme Menge an unabhängigen Beweisen gesammelt zu haben, während es in Wirklichkeit nur dieselbe Geschichte in verschiedenen Stimmen gehört hat.

Der Kern dieses Problems liegt im Unterschied zwischen der Anzahl der Berichte, die ein System erhält, und der Anzahl der ursprünglichen Fakten, auf denen diese Berichte basieren. Stellen Sie sich einen Raum voller Menschen vor, die versuchen, das Gewicht eines Elefanten zu schätzen. Wenn sie alle denselben Elefanten betrachten, sind ihre Schätzungen unabhängige Beobachtungen derselben Realität. Aber wenn sie alle ein einzelnes Foto dieses Elefanten betrachten und dann beschreiben, was sie sehen, betrachten sie nicht das Tier selbst; sie betrachten eine Kopie einer Kopie. In der digitalen Welt kann ein KI-Orchestrator leicht ein Stück Evidenz nehmen, es einem Agenten zuführen, das Ergebnis dieses Agenten nehmen, es einem zweiten Agenten zuführen und so weiter. Jeder Schritt erzeugt einen neuen Bericht, eine neue Stimme und ein neues Argument. Für ein System, das lediglich Stimmen zählt, sieht dies wie eine massive Anhäufung von Unterstützung aus. Aber für ein System, das den Informationsfluss versteht, ist es lediglich ein einzelnes Stück Evidenz, das durch einen Korridor hallt. Die Forscher nennen dieses Phänomen ein „epistemisches Sybil“-Problem. So wie ein „Sybil-Angriff“ in der Computersicherheit darin besteht, dass eine Person vorgibt, viele zu sein, um eine Abstimmung zu manipulieren, beinhaltet ein epistemischer Sybil, dass ein einzelnes Stück Evidenz vorgibt, viele unabhängige Fakten zu sein.

Um zu testen, wie gefährlich diese Verwechslung sein könnte, bauten die Forscher ein kontrolliertes Experiment unter Verwendung eines Large Language Models, einer Art von KI, die menschenähnliche Texte generiert. Sie entwarfen ein fiktives Szenario, das die Finanzunterlagen eines Unternehmens betraf. Der wahre Zustand des Umsatzes des Unternehmens war verborgen, aber die KI-Agenten erhielten ein Dokument, das die Rohzahlen enthielt. Die Forscher baten die KI dann, spezifische Zahlen aus diesem Dokument zu extraktieren und den Gesamtumsatz zu berechnen. Sie führten diese Aufgabe tausende Male durch und manipulierten dabei zwei Schlüsselvariablen: die Anzahl der Berichte, die das System erhielt, und die Anzahl der Originaldokumente, auf denen diese Berichte basierten. In einem Testlauf hielten sie das Originaldokument konstant und ließen die KI immer mehr Berichte daraus generieren. Sie erstellten einen Bericht, dann zwei, dann vier und schließlich bis zu zweiunddreißig verschiedene Berichte, die alle aus dieser einen Quelle abgeleitet waren. Sie verglichen dann, wie ein „Standard“-System, das davon ausging, dass jeder Bericht unabhängig sei, im Vergleich zu einem „provenance-bewussten“ (herkunftsbewussten) System abschnitt, das wusste, dass alle Berichte aus derselben Wurzel stammten.

Die Ergebnisse waren drastisch. Als das Standard-System achtunddreißig Berichte erhielt, die alle von demselben einzelnen Dokument stammten, wurde es maßlos übermäßig selbstbewusst. Es glaubte, es hätte achtunddreißig unabhängige Beweisstücke, weshalb es seinen Bereich möglicher Antworten auf ein winziges, präzises Intervall verengte. In Wirklichkeit war es, weil alle achtunddreißig Berichte nur Variationen derselben einzigen Quelle waren, nicht sicherer, als wenn es das Dokument nur einmal gelesen hätte. Die Studie maß dies, indem sie prüfte, wie oft der vorhergesagte Bereich des Systems tatsächlich die richtige Antwort enthielt. Mit nur einem Bericht war das System in 94 Prozent der Fälle korrekt. Doch als die Anzahl der Berichte aus dieser einen Quelle auf zweiunddreißig anwuchs, sank die Genauigkeit massiv ab. Das System war nur noch in 26 Prozent der Fälle korrekt. Das System war nicht klüger geworden; es hatte sich lediglich selbst davon überzeugt, dass es mehr wusste, als es tatsächlich tat, weil es dieselbe Stimme zweiunddreißig Mal gezählt hatte.

Die Forscher drehten das Experiment dann um, um zu sehen, was passieren würde, wenn sie tatsächlich neue Beweise hinzufügen würden. Sie hielten die Anzahl der Berichte fest auf sechzehn und erhöhten stattdessen die Anzahl der Originaldokumente, die die Agenten lasen. Wenn die sechzehn Berichte von sechzehn verschiedenen, unabhängigen Quellen stammten, entsprach das Vertrauen des Standard-Systems seiner Genauigkeit. Die Lücke zwischen den beiden Systemen verschwand. Dies bewies, dass das Problem nicht die Anzahl der Berichte an sich war, sondern die verborgene Beziehung zwischen ihnen. Das System versagte nur dann, wenn es Wiederholung mit Unabhängigkeit verwechselte. Die Studie deckte auch eine zweite Ebene der Komplexität auf. Selbst wenn Agenten dasselbe Dokument lasen, produzierten sie nicht identische Fehler. Da sie alle von demselben zugrunde liegenden KI-Modell angetrieben wurden, neigten sie dazu, ähnliche Fehler zu machen. Wenn ein Agent eine Zahl falsch las, war es wahrscheinlich, dass die anderen sie auf die gleiche Weise falsch lasen. Dieser „korrelierte Fehler“ bedeutete, dass selbst mit einem hochentwickelten System, das wusste, dass die Berichte aus derselben Quelle stammten, das System seine Genauigkeit immer noch leicht überschätzte. Das gemeinsame Modell wirkte wie ein gemeinsamer blinder Fleck, der den Gewinn an Information einschränkte, wenn man dasselbe Dokument immer wieder las.

Vielleicht der aufschlussreichste Teil der Studie betraf die Frage, wie Systeme versuchen, dieses Problem selbstständig zu erkennen. Viele aktuelle KI-Verteidigungsmechanismen versuchen, Duplikate zu finden, indem sie prüfen, wie ähnlich sich der Text der Berichte ist. Wenn zwei Berichte gleich aussehen, nimmt das System an, dass sie aus derselben Quelle stammen, und ignoriert einen davon. Die Forscher testeten dies, indem sie ein Szenario schufen, in dem sie die Art und Weise ändern konnten, wie die KI ihre Berichte schrieb, ohne die Fakten zu ändern, die sie berichtete. Sie nahmen Berichte, die aus derselben Quelle stammten, und zwangen sie dazu, einen völlig anderen Wortschatz und andere Satzstrukturen zu verwenden. Sie nahmen auch Berichte aus unterschiedlichen Quellen und zwangen sie dazu, denselben Wortschatz zu verwenden. Ein System, das sich auf die Textähnlichkeit verließ, wurde leicht getäuscht. Es gruppierte die unterschiedlich klingenden Berichte aus derselben Quelle als unabhängig zusammen und gruppierte die ähnlich klingenden Berichte aus verschiedenen Quellen als Duplikate. Das Urteil des Systems über die Beweise wurde vollständig vom Schreibstil getrieben, nicht von der Historie, woher die Information stammte. Die Studie fand heraus, dass die Änderung des Schreibstils einen massiven Einfluss darauf hatte, wie das System die Berichte clusterte, während die Änderung der tatsächlichen Anzahl der Originalquellen fast keinen Effekt auf die Wahrnehmung des Systems hatte.

Diese Erkenntnisse legen nahe, dass der Weg zu zuverlässiger KI-Teamarbeit nicht einfach darin besteht, mehr Stimmen zu sammeln oder intelligentere Filter zum Aufspüren von Duplikaten zu bauen. Die Forscher argumentieren, dass die Lösung ein System erfordert, das die Abstammung seiner Informationen versteht. Es muss nicht nur wissen, was ein Agent gesagt hat, sondern woher dieser Agent seine Informationen bezogen hat. Wenn ein System in der Lage ist, die „Ahnenreihe“ eines Berichts nachzuverfolgen – und sie bis zum ursprünglichen Dokument oder Sensor zurückverfolgt, der die Kette in Gang gesetzt hat – kann es die Beweise korrekt gewichten. Es kann verstehen, dass zweiunddreißig Berichte aus einer Quelle weit weniger wert sind als ein Bericht aus zweiunddreißig Quellen. Ohfne diese Fähigkeit, die verborgenen Verbindungen zwischen Agenten zu sehen, ist ein KI-System anfällig für eine Form der Selbsttäuschung, bei der es sich durch die bloße Art und Weise, mit sich selbst in vielen verschiedenen Ausdrucksformen zu sprechen, eine falsche Sicherheit herstellt. Die Studie kommt zu dem Schluss, dass für kollektive Intelligenz das System die Herkunft der Beweise gegenüber der Anzahl der Berichterstatter priorisieren muss, um sicherzustellen, dass Vertrauen auf einem Fundament echter, unabhängiger Entdeckungen aufgebaut wird und nicht auf dem Echo einer einzelnen Idee.