💬 NLP

SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models

Die Studie stellt SNEAK vor, einen Benchmark zur Evaluierung strategischer Kommunikation in großen Sprachmodellen, der zeigt, dass diese Modelle im Vergleich zu menschlichen Teilnehmern Schwierigkeiten haben, Informationen effektiv zwischen Verbündeten und Gegnern zu balancieren.

Ursprüngliche Autoren: Adar Avsian, Larry Heck

Veröffentlicht 2026-04-01

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Adar Avsian, Larry Heck

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: SNEAK – Der Test für das „flüstern im Ohr" von KI

Stell dir vor, du bist bei einem Spielabend mit Freunden. Es geht um das Spiel „Der Chamäleon". Die Aufgabe ist einfach: Alle Spieler kennen ein geheimes Wort (z. B. „Hut"), außer einer Person, dem „Chamäleon", das es nicht weiß. Alle müssen nun einen kurzen Satz sagen, der andeutet, dass sie das geheime Wort kennen, aber nicht so offensichtlich ist, dass das Chamäleon es errät.

Der gute Spieler: Sagt „Zauberer", weil Zauberer oft Hüte tragen. Seine Freunde (die das Wort kennen) verstehen sofort: „Aha, er meint den Hut!" Das Chamäleon denkt sich aber: „Zauberer? Vielleicht meint er einen Zylinder oder eine Mütze?" – Es bleibt verwirrt.
Der schlechte Spieler: Sagt einfach „Hut". Seine Freunde verstehen es sofort, aber das Chamäleon auch! Das Spiel ist verloren.

Die Forscher von Georgia Tech haben sich gefragt: Können Künstliche Intelligenzen (KI) so gut „flüstern" wie Menschen? Können sie Informationen so formulieren, dass ihre Freunde sie verstehen, aber ein neugieriger Spion (oder ein KI-Adversary) nichts kappt?

Dafür haben sie einen neuen Test namens SNEAK entwickelt.

Wie funktioniert der Test?

Stell dir SNEAK wie eine Spionage-Akademie für KI vor.

Die Aufgabe: Die KI bekommt eine Kategorie (z. B. „Tiere"), eine Liste von Wörtern (z. B. Hund, Katze, Elefant) und ein geheimes Wort (z. B. „Hund").
Die Nachricht: Die KI muss einen kurzen Satz schreiben, der andeutet: „Ich weiß, dass es ein Hund ist!"
Die Prüfung:
- Der Verbündete (Ally): Ein anderer KI-Modell, das weiß, dass das Wort „Hund" ist. Es hört die Nachricht und muss entscheiden: „Ja, das passt zum Hund!"
- Das Chamäleon (Adversary): Ein KI-Modell, das nicht weiß, dass es ein Hund ist. Es hört die Nachricht und versucht zu raten: „Was könnte das sein?"

Die zwei wichtigsten Werte

Der Test misst zwei Dinge, die oft im Konflikt stehen – wie eine Waage:

Nützlichkeit (Utility): Wie gut verstehen die Freunde die Nachricht? (Soll hoch sein).
Leckage (Leakage): Wie viel Information „verrät" die Nachricht an den Spion? (Soll niedrig sein).

Die große Entdeckung:
Die aktuellen KI-Modelle sind wie übermütige Schüler. Wenn sie versuchen, ihren Freunden zu helfen, schreien sie die Antwort oft einfach heraus.

Sie sind super gut darin, die Freunde zu überzeugen (hohe Nützlichkeit).
Aber dabei verraten sie dem Spion fast alles (hohe Leckage).

Menschen hingegen sind Meister des Flüsterns. Im Test haben echte Menschen die KIs weit hinter sich gelassen. Sie schaffen es, so zu sprechen, dass ihre Freunde sofort Bescheid wissen, aber der Spion nur verwirrt rät. Die menschlichen Ergebnisse waren bis zu 4-mal besser als die der besten KIs.

Warum ist das wichtig?

Stell dir vor, ein KI-Assistent hilft dir bei der Arbeit. Du willst ihm einen Tipp geben, wie man ein Problem löst, ohne dass ein Hacker mitliest, worum es genau geht. Oder ein Lehrer gibt einem Schüler einen Hinweis, ohne die Lösung zu verraten.

Bislang haben wir KIs nur getestet, ob sie wissen, was sie sagen (z. B. „Was ist die Hauptstadt von Frankreich?"). Aber wir haben sie nie getestet, ob sie klug kommunizieren können, wenn nicht alle das Gleiche wissen.

Das Fazit der Forscher: KIs können viel Wissen abrufen, aber sie verstehen noch nicht, wie man es strategisch und diskret weitergibt. Sie müssen lernen, nicht nur „laut" zu denken, sondern auch „leise" zu sprechen, wenn es nötig ist.

Kurz gesagt: KIs sind wie ein lauter Trompeter, der alles verrät. Menschen sind wie geschickte Spione, die nur das Nötigste flüstern. SNEAK ist der erste Test, der genau das misst.

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend in Multi-Agenten-Systemen eingesetzt, in denen Kommunikation unter asymmetrischen Informationszuständen stattfindet. Das zentrale Problem besteht darin, wie ein Agent Informationen so kommunizieren kann, dass sie für einen beabsichtigten Empfänger (Verbündeten) nützlich sind, gleichzeitig aber verhindert wird, dass ein Gegner (Adversary) sensible Details daraus ableitet.

Bestehende Benchmarks für LLMs konzentrieren sich hauptsächlich auf Fähigkeiten wie logisches Schlussfolgern, Faktenwissen oder das Befolgen von Anweisungen. Sie messen jedoch nicht die strategische Kommunikation, bei der ein Modell die Menge der preisgegebenen Informationen kontrollieren muss. Es fehlt ein Rahmenwerk, um zu evaluieren, ob Modelle in der Lage sind, einen „Sweet Spot" zwischen Informativität für den Verbündeten und Verschleierung für den Gegner zu finden.

2. Methodik: Der SNEAK-Benchmark

Die Autoren stellen SNEAK (Secret-aware Natural language Evaluation for Adversarial Knowledge) vor, einen Benchmark, der vom Partyspiel The Chameleon inspiriert ist.

Aufgabenstellung:
Ein Modell erhält eine semantische Kategorie, eine Menge von Kandidatenwörtern und ein geheimes Wort (das Secret). Es muss eine kurze Nachricht generieren, die dem Verbündeten signalisiert, dass es das geheime Wort kennt, ohne dieses Wort direkt zu nennen oder für einen Unwissenden (den „Chamäleon"-Agenten) leicht erratbar zu machen.

Bewertungsrahmen:
Die Evaluation erfolgt durch zwei simulierte Agenten mit unterschiedlichem Informationsstand:

Der Verbündete (Ally): Kennt das geheime Wort und muss die korrekte Nachricht unter einer Reihe von Nachrichten (inklusive Ablenkungen/Decoys) identifizieren.
Das Chamäleon (Adversary): Kennt das geheime Wort nicht und versucht, es aus der Nachricht und der Kandidatenmenge zu inferieren.

Metriken:
Das Framework verwendet zwei komplementäre Metriken, die auf Wahrscheinlichkeitsverteilungen der Agenten basieren:

Utility (Nützlichkeit): Misst, wie gut die Nachricht vom Verbündeten erkannt wird (normalisiert über den Zufallslevel).
Leakage (Leckage): Misst, wie viel Information die Nachricht dem Gegner preisgibt (Wahrscheinlichkeit, dass das Chamäleon das richtige Wort errät).
SoftScore: Eine gewichtete Metrik, die den Trade-off abbildet: $Utility \cdot (1 - Leakage)$ . Sie belohnt Nachrichten, die sowohl nützlich als auch geheimnisvoll sind.
BinaryScore: Eine strikte Metrik, die nur dann 1 ist, wenn der Verbündete die Nachricht korrekt identifiziert und das Chamäleon das geheime Wort nicht als Top-Erratung auswählt.

Datensatz:
Der Datensatz umfasst 1.394 Instanzen, abgeleitet von 117 semantischen Kategorien (konkret und abstrakt) mit jeweils 10–12 Kandidatenwörtern. Für jede Instanz werden auch 5 semantisch verwandte, aber nicht geheime „Decoy"-Nachrichten generiert, um die Bewertung des Verbündeten zu erschweren.

3. Wichtige Beiträge

Einführung von SNEAK: Ein neuer Benchmark zur Evaluierung der selektiven Informationsweitergabe in LLMs, der asymmetrische Information und strategisches Signaling in einem einstufigen Setting testet.
Verhaltensbasiertes Evaluierungsframework: Eine objektive, reproduzierbare Methode, die Kommunikation in Nützlichkeit und Leckage zerlegt, anstatt auf subjektive Bewertungen durch LLMs als Richter („LLM-as-a-Judge") im herkömmlichen Sinne zu setzen.
Empirische Analyse des Trade-offs: Die Studie zeigt, dass moderne LLMs Schwierigkeiten haben, Informativität und Geheimhaltung auszubalancieren, und dass menschliche Teilnehmer diese Fähigkeit signifikant besser beherrschen.

4. Ergebnisse

Die Studie evaluierte eine Vielzahl von Modellen (GPT-5, Claude, Gemini, DeepSeek, Llama, Qwen, etc.) sowie verschiedene Inferenz-Scaling-Methoden (Chain-of-Thought, Self-Enhanced Test-Time Scaling, Recursive Message Refinement).

Leistungslücke zu Menschen: Menschliche Teilnehmer schneiden mit einem SoftScore von ca. 59,22 und einem BinaryScore von 54,70 deutlich besser ab als alle getesteten Modelle (die besten Modelle erreichen ca. 23–34 Punkte). Menschen erreichen bis zu 4-mal höhere Scores als einige der führenden LLMs.
Das Utility-Leakage-Dilemma: Moderne Modelle erreichen oft eine hohe Nützlichkeit (Utility), aber auf Kosten einer hohen Leckage. Modelle wie DeepSeek-V3.2 oder Llama-4 Scout erreichen fast maximale Nützlichkeit, verraten aber gleichzeitig fast immer das geheime Wort an den Gegner (hohe Leakage).
Trade-off-Dynamik: Es besteht ein klarer negativer Zusammenhang: Je spezifischer eine Nachricht für den Verbündeten ist, desto leichter ist sie für den Gegner zu entschlüsseln. Modelle scheinen Schwierigkeiten zu haben, indirekte, assoziative Hinweise zu finden, die nur für den Eingeweihten eindeutig sind.
Einfluss von Skalierungsmethoden: Methoden wie Chain-of-Thought (CoT) oder Recursive Message Refinement (RMR) können die Balance verbessern (z. B. bei Gemma-3 senkt RMR die Leckage drastisch), erreichen aber dennoch nicht das menschliche Niveau.
Semantische Kategorien: Abstrakte Kategorien sind für Modelle einfacher zu handhaben als konkrete, da sie indirektere Assoziationen erlauben.

5. Bedeutung und Schlussfolgerung

Das Paper zeigt auf, dass strategische Kommunikation unter asymmetrischer Information eine kritische, aber bisher unterentwickelte Fähigkeit aktueller LLMs ist. Während Modelle hervorragend darin sind, Informationen zu generieren, fehlt ihnen die Fähigkeit, den Informationsfluss präzise zu steuern, um unbeabsichtigte Inferenzen zu verhindern.

Die Bedeutung liegt in mehreren Bereichen:

Sicherheit & Privatsphäre: In Anwendungen wie Tutoring-Systemen, vertraulichen Beratungen oder Multi-Agenten-Systemen ist es entscheidend, dass Modelle sensiblen Kontext schützen können, ohne die Zusammenarbeit zu behindern.
Forschungsrichtung: SNEAK bietet ein kontrolliertes Setting, um die Theorie der pragmatischen Kommunikation und die Fähigkeit von Modellen zur „Theory of Mind" (Verstehen der Wissenszustände anderer) zu untersuchen.
Zukunftsausblick: Die Ergebnisse deuten darauf hin, dass zukünftige Modelle nicht nur „klüger" im Sinne von Faktenwissen werden müssen, sondern auch „sozial intelligenter" im Umgang mit Informationsasymmetrien.

Zusammenfassend etabliert SNEAK einen neuen Standard für die Evaluierung von LLMs in Szenarien, in denen Kommunikation nicht nur wahrheitsgemäß, sondern auch strategisch und sicher sein muss.