SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models

Titel: SNEAK: Evaluatie van Strategische Communicatie en Informatielekage in Grootte Taalmodellen (LLM's)

Auteurs: Adar Avsian en Larry Heck (Georgia Institute of Technology)

---

1. Het Probleem

Grootte Taalmodellen (LLM's) worden steeds vaker ingezet in multi-agent omgevingen (bijvoorbeeld collaboratieve assistenten of strategische dialoogsystemen). In deze context moeten agenten communiceren onder asymmetrische informatie: verschillende deelnemers hebben verschillende kennisniveaus.

De centrale uitdaging is het vinden van een balans tussen informativiteit en geheimhouding. Een agent moet informatie signaleren aan een bondgenoot (die het geheim kent) zonder dat een tegenstander (die het geheim niet kent) de gevoelige details kan afleiden. Bestaande benchmarks voor LLM's focussen voornamelijk op redeneren, feitelijke kennis of instructievolging, maar evalueren niet of modellen kunnen controleren hoeveel informatie ze prijsgeven bij communicatie met andere agenten.

2. Methodologie: De SNEAK Benchmark

De auteurs introduceren SNEAK (Secret-aware Natural language Evaluation for Adversarial Knowledge), een benchmark die is geïnspireerd op het partyspel The Chameleon.

Opzet van de Taak:

• Input: Een model krijgt een semantische categorie (bijv. "Dieren"), een set kandidaatwoorden en één geheim woord (bijv. "Hond").
• Doel: Het model moet een korte natuurlijke taalboodschap genereren die aangeeft dat het het geheim kent, maar het woord niet direct onthult.
• Evaluatie Agents: De gegenereerde boodschap wordt beoordeeld door twee gesimuleerde agenten met verschillende informatiestatussen:
  1. De Bondgenoot (Ally): Kent het geheim. Deze agent moet bepalen welke boodschap bij het geheim hoort.
  2. De Chameleon (Adversary): Kent het geheim niet. Deze agent moet proberen het geheim te raden op basis van de boodschap en de kandidaatset.

Metingen (Metrics):
De auteurs definiëren twee kernmetrieken die worden genormaliseerd ten opzichte van een willekeurige gok:

1. Utility (Nuttigheid): Hoe goed de bondgenoot de boodschap herkent als zijnde gerelateerd aan het geheim.
2. Leakage (Lekkage): Hoe goed de chameleon het geheim kan afleiden uit de boodschap.

Deze worden gecombineerd in een SoftScore:
$$\text{SoftScore} = \text{Utility} \times (1 - \text{Leakage})$$
Een hoge score vereist dus een boodschap die zeer nuttig is voor de bondgenoot, maar zeer weinig informatie lekt aan de tegenstander. Er wordt ook een BinaryScore gebruikt die een boodschap als geslaagd beschouwt alleen als de bondgenoot de juiste boodschap kiest én de chameleon het geheim niet als meest waarschijnlijke gok kiest.

Dataset:
De dataset bestaat uit 1.394 instances, afgeleid van semantische categorie-normen (117 categorieën, zowel concreet als abstract). Voor elke categorie worden de 12 meest voorkomende woorden geselecteerd als kandidaten, waarbij één als geheim fungeert. Er worden ook "decoy"-boodschappen gegenereerd die semantisch gerelateerd zijn aan de categorie maar niet het geheim kennen, om de bondgenoot-taak uitdagender te maken.

3. Belangrijkste Bijdragen

1. SNEAK Benchmark: Een nieuw evaluatiekader voor selectieve informatiedeling in LLM's, inclusief een dataset van communicatiespellen over diverse semantische domeinen.
2. Gedragsmatige Evaluatie: Een framework dat communicatie decomposeert in utility en leakage, wat objectieve en reproduceerbare metingen mogelijk maakt in plaats van subjectieve beoordelingen.
3. Empirische Bevindingen: Het aantonen dat moderne LLM's moeite hebben om deze tegenstrijdige doelen in evenwicht te brengen, terwijl menselijke deelnemers hierin significant beter presteren.

4. Resultaten

De auteurs hebben diverse state-of-the-art modellen getest (o.a. GPT-5, Claude Opus, DeepSeek, Llama, Qwen, Gemma) en vergeleken met menselijke deelnemers en baselines.

• Mens vs. Model: Menselijke deelnemers presteren aanzienlijk beter dan alle geteste modellen. Mensen behalen tot 4x hogere scores (gemeten in SoftScore) dan sommige LLM's. Mensen bereiken een hoge utility (91,26%) met een veel lagere leakage (33,81%).
• Trade-off Probleem: Moderne LLM's bereiken vaak een zeer hoge utility (bijv. >90% voor modellen als DeepSeek-V3.2 of Llama-4 Scout), maar doen dit ten koste van een hoge leakage (vaak >60-70%). Dit betekent dat ze zeer informatieve boodschappen genereren die ook voor de tegenstander makkelijk te decoderen zijn.
• Inference-time Scaling: Technieken zoals Chain-of-Thought (CoT), Self-Enhanced Test-Time Scaling (SETS) en Recursive Message Refinement (RMR) verbeteren de utility soms, maar verlagen de leakage niet consistent genoeg om de menselijke prestaties te evenaren. RMR (een methode om boodschappen indirecter te maken) bleek soms de leakage te verlagen, maar vaak ten koste van de utility.
• Semantische Invloeden: Abstracte categorieën blijken makkelijker te zijn voor selectieve communicatie dan concrete categorieën. Categorieën met een hoge semantische gelijkenis tussen de kandidaatwoorden maken het moeilijker om een onderscheidende boodschap te vinden.

5. Betekenis en Conclusie

Het paper concludeert dat strategische communicatie onder asymmetrische informatie een nog steeds uitdagende capaciteit is voor huidige LLM-systemen. Hoewel modellen uitstekend zijn in het genereren van informatieve teksten, missen ze het vermogen om de identificeerbaarheid van die informatie te controleren.

• Kennislacune: Er is een groot gat tussen menselijke en machinecapaciteit in het beheersen van informatieflow tussen agenten.
• Toekomstige Richting: SNEAK biedt een gestructureerde manier om dit gedrag te meten. De auteurs benadrukken dat het vermogen om informatielekage te beheersen essentieel is voor toepassingen zoals privacy-bewuste communicatie, tutoring en strategische interacties, maar dat dit momenteel onderbelicht is in de evaluatie van AI.
• Ethiek: Hoewel de techniek nuttig kan zijn voor privacy, waarschuwen de auteurs ook voor het risico van strategische verduistering of misbruik in bedrieglijke scenario's. Het doel is het evalueren van het vermogen, niet het optimaliseren voor misleiding.

Kortom, SNEAK toont aan dat LLM's nog niet "slim" genoeg zijn om te communiceren zoals mensen doen: ze kunnen het geheim niet goed genoeg verbergen terwijl ze het wel duidelijk maken voor de juiste persoon.