SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models

1. Problématique et Contexte

Les modèles de langage (LLM) sont de plus en plus déployés dans des environnements multi-agents où la communication doit équilibrer informativité et secret. Dans de tels scénarios, un agent doit souvent transmettre des informations à un collaborateur tout en empêchant un adversaire d'inférer des détails sensibles.

Cependant, les benchmarks existants évaluent principalement la capacité des modèles à raisonner, à suivre des instructions ou à accéder à des connaissances factuelles. Ils ne mesurent pas la capacité d'un modèle à gérer la communication stratégique sous information asymétrique : comment transmettre un message utile à un destinataire informé tout en le rendant ambigu pour un observateur non informé ? Ce défi, présent dans des domaines comme la pédagogie (donner des indices sans révéler la réponse) ou la communication d'entreprise, reste sous-évalué.

2. Méthodologie : Le Benchmark SNEAK

Les auteurs introduisent SNEAK (Secret-aware Natural language Evaluation for Adversarial Knowledge), un benchmark conçu pour évaluer le partage sélectif d'informations.

A. Définition de la tâche

Inspiré par le jeu de société The Chameleon, SNEAK est une tâche de communication asymétrique en un seul tour :

• Entrées : Un modèle générateur reçoit une catégorie sémantique ($c$), un ensemble de mots candidats ($W$) et un mot secret ($w_s \in W$).
• Action : Le modèle doit générer un message court ($m$) indiquant qu'il connaît le secret sans le révéler explicitement.
• Évaluation : Le message est évalué par deux agents simulés ayant des états d'information différents :
  1. L'Allié (Collaborateur) : Connaît le mot secret. Il doit identifier si le message correspond au secret parmi un ensemble de messages (dont des leurres).
  2. Le Caméléon (Adversaire) : Ne connaît pas le secret. Il doit inférer le mot secret uniquement à partir du message et de la liste des candidats.

B. Métriques d'évaluation

Le benchmark définit deux métriques complémentaires normalisées :

1. Utilité (Utility) : Mesure la probabilité que l'allié identifie correctement le message comme étant lié au secret.
2. Fuite d'information (Leakage) : Mesure la probabilité que le caméléon infère correctement le mot secret.

Un score composite, le SoftScore, est calculé pour capturer le compromis (trade-off) :
$$\text{SoftScore} = \text{Utility} \times (1 - \text{Leakage})$$
Un score élevé indique un message à la fois utile pour l'allié et difficile à décoder pour l'adversaire. Un score binaire (BinaryScore) est également utilisé pour vérifier si l'allié classe le message en premier ET si le caméléon ne classe pas le mot secret en premier.

C. Jeu de données

Le dataset comprend 1 394 instances dérivées de normes de production de catégories sémantiques (117 catégories, concrètes et abstraites). Pour chaque instance, 5 messages leurres sont générés automatiquement pour l'évaluation de l'allié.

3. Contributions Clés

1. Introduction de SNEAK : Un benchmark standardisé pour évaluer le partage sélectif d'informations, combinant information asymétrique, signalisation stratégique et évaluation au niveau de l'énoncé (utterance-level).
2. Cadre d'évaluation comportemental : Une méthode objective et reproductible décomposant la communication en utilité et fuite, évitant les jugements subjectifs de type "LLM-as-a-judge" sans contraintes.
3. Analyse empirique : Une démonstration que les LLMs modernes peinent à équilibrer ces objectifs, contrairement aux humains qui excellent dans cette tâche.

4. Résultats Expérimentaux

Les auteurs ont évalué une variété de modèles (GPT-5, Claude Opus, Gemini, DeepSeek, Llama, Qwen, etc.) et comparé leurs performances à des humains et à des baselines simples.

• Performance des modèles vs Humains :

  • Les humains obtiennent des scores significativement supérieurs, avec un SoftScore jusqu'à 4 fois plus élevé que certains LLMs évalués.
  • Les humains parviennent à une utilité élevée (91,26) tout en maintenant une fuite faible (33,81).
  • Les LLMs atteignent souvent une utilité élevée (parfois >90%), mais au prix d'une fuite massive (souvent >60-70%).

• Le compromis Utilité-Fuite (Trade-off) :

  • Les modèles tendent à se situer dans la région supérieure droite du graphique utilité-fuite : ils sont très informatifs mais révèlent trop d'informations.
  • Les messages "trop clairs" (synonymes du secret) maximisent l'utilité mais aussi la fuite.
  • Les messages "trop vagues" (synonymes de la catégorie) réduisent la fuite mais nuisent à l'utilité.
  • Les modèles actuels peinent à trouver le point optimal (haut en haut à gauche) où le message est précis pour l'allié mais ambigu pour l'adversaire.

• Impact des méthodes d'inférence :

  • L'application de techniques comme le Chain-of-Thought (CoT), le Self-Enhanced Test-Time Scaling (SETS) ou le Recursive Message Refinement (RMR) améliore légèrement l'utilité mais ne résout pas fondamentalement le problème de la fuite d'information. Parfois, RMR réduit la fuite mais au détriment de l'utilité.

• Robustesse :

  • Les résultats sont stables quelle que soit l'architecture du modèle évaluateur (Mixtral, Llama, Qwen) utilisé pour simuler l'allié et le caméléon.
  • Une étude humaine confirme que les jugements des LLMs évaluateurs sont corrélés avec ceux des humains, validant l'approche.

5. Signification et Conclusion

Ce travail met en lumière une lacune majeure dans les capacités actuelles des LLMs : l'incapacité à contrôler stratégiquement le flux d'information. Bien que les modèles puissent générer des messages très informatifs, ils manquent de la "théorie de l'esprit" nécessaire pour moduler le niveau de détail en fonction de la connaissance de l'interlocuteur.

• Implications : Cela suggère que pour des applications réelles impliquant la confidentialité, la pédagogie ou la négociation, les LLMs nécessitent des améliorations spécifiques pour maîtriser l'ambiguïté contrôlée.
• Limites : Le benchmark se concentre sur un tour unique et des catégories sémantiques structurées, ne capturant pas toute la complexité des interactions multi-tours ou du mensonge complexe.
• Avenir : SNEAK ouvre la voie à des recherches sur la communication responsable, où les modèles doivent apprendre à équilibrer transparence et protection des données sensibles.

En résumé, SNEAK démontre que la communication stratégique sous information asymétrique est une capacité complexe que les systèmes d'IA actuels n'ont pas encore maîtrisée, laissant un écart significatif par rapport aux performances humaines.