Résumé technique : « Ne le dites pas ! » : Contraintes, conformité et communication lorsque les modèles de langage jouent au Taboo

1. Énoncé du problème

Le jeu du Taboo exige qu'un joueur décrive un mot cible sans utiliser un ensemble spécifique de mots interdits, en s'appuyant sur des associations sémantiques pour permettre à un devineur d'identifier la cible. Cette tâche présente un défi unique pour les grands modèles de langage (LLM) car elle exige la satisfaction simultanée de deux objectifs concurrents :

1. Contraintes lexicales strictes : Le modèle doit supprimer les mots lexicalement et conceptuellement saillants (la liste interdite) ainsi que leurs variantes morphologiques.
2. Efficacité communicative : Le modèle doit générer une description suffisamment informative pour évoquer le concept cible pour un humain ou un devineur machine.

Les benchmarks actuels testent souvent le respect des instructions de manière isolée. Cet article examine si les LLM peuvent naviguer dans l'arbitrage entre la conformité aux règles et l'utilité communicative dans un contexte qui nécessite un « ancrage lexical sous contrainte ». Les auteurs se demandent spécifiquement si les descriptions générées sous contrainte sont assez détaillées pour être utiles et si les stratégies adoptées par les modèles s'alignent sur les processus cognitifs humains dans le jeu.

2. Méthodologie

2.1. Données et modèles

• Jeu de données : L'étude utilise 194 cartes de Taboo italiennes transcrites manuellement à partir d'un jeu de société physique. Chaque carte contient un mot cible et cinq mots interdits.
• Modèles : Deux modèles à poids ouverts ont été évalués :
  • google/gemma-3-4b-it : Un modèle léger ajusté pour l'instruction, sélectionné pour sa performance générale et sa compatibilité avec les Autoencodeurs Creux (SAE) pré-entraînés pour les expériences d'interprétabilité.
  • openai/gpt-oss-20b : Un modèle de raisonnement basé sur un mélange d'experts (Mixture-of-Experts), post-entraîné avec du renforcement par Chaîne de Pensée (CoT). Il a été évalué avec et sans raisonnement explicite pour évaluer le rôle de la délibération dans l'adhérence aux contraintes.

2.2. Conditions expérimentales (Niveaux d'intervention)

Les auteurs ont étudié trois niveaux distincts d'intervention pour imposer les contraintes :

1. Prompting (Niveau instruction) : Le modèle est instruit via le prompt utilisateur d'éviter le mot cible et la liste des mots interdits (y compris les dérivés morphologiques). Le prompt demande explicitement une description de moins de 30 mots sans texte environnant.
2. Contraintes au moment de la génération (Niveau décodage) :
   • Censure a priori des radicaux : Avant la génération, un ensemble statique de tokens bannis est calculé sur la base des radicaux des mots interdits. Les logits de ces tokens sont masqués à $-\infty$ à chaque étape du décodage.
   • Génération contrainte au moment de l'inférence : Une approche dynamique où le modèle génère librement jusqu'à ce qu'un mot complet correspondant à un radical interdit soit détecté. La génération revient ensuite au début du mot fautif, qui est ajouté à un masque de position persistant, et la génération reprend avec le token supprimé.
3. Manipulations du modèle (Niveau représentation) :
   • Pilotage par SAE : En utilisant des Autoencodeurs Creux (SAE), les auteurs ont identifié les caractéristiques (features) dans le flux résiduel (couche 29) les plus fortement associées à chaque mot interdit. Pendant la génération, une intervention par mise à l'échelle de la norme d'activation a été appliquée pour détourner le flux résiduel de ces directions de caractéristiques, supprimant les concepts sous-jacents sans modifier les poids du modèle ni mentionner explicitement les mots interdits dans le prompt.

2.3. Métriques d'évaluation

• Conformité :
  • Précision : Pourcentage de sorties avec zéro violation (littérale ou morphologique).
  • Types de violations : Part des violations exactes, des violations morphologiques et des « fuites de cible » (utilisation accidentelle du mot cible).
  • Pas de : Taux d'épuisement du budget de raisonnement pour le modèle GPT.
• Efficacité communicative :
  • LLM-as-a-Judge (Le LLM comme juge) : Deux modèles (Gemma et GPT) ont agi comme juges, lisant les descriptions et devinant la cible. L'efficacité a été mesurée par le Pass@k (si le premier token de la cible est dans les k meilleures prédictions) et la vraisemblance brute du token (Raw token likelihood).
  • Évaluation humaine : 8 annotateurs ont participé à deux phases :
    • Deviner : Les annotateurs devinent les cibles à partir des descriptions générées par les modèles.
    • Décrire : Les annotateurs génèrent des descriptions sous conditions « spontanées » (orales) et « délibérées » (écrites) pour servir de référence à la performance des modèles.

3. Résultats clés

3.1. Conformité aux contraintes

• Prompting : A considérablement amélioré la conformité par rapport à la ligne de base non contrainte. Gemma-3-4b-it a atteint 91,2 % de précision ; GPT-oss-20b avec raisonnement a atteint 97,4 %. Le raisonnement a aidé GPT à supprimer les mots littéraux mais était moins efficace contre les variantes morphologiques.
• Génération contrainte : A atteint une conformité quasi parfaite. Gemma-3-4b-it a atteint 98,5 % (a priori) et 96,4 % (en ligne). GPT-oss-20b avec raisonnement a atteint 92,3 % (a priori) mais est tombé à 87,1 % (en ligne), avec un taux plus élevé de fuites du mot cible.
• Pilotage par SAE : A mal performé sur la conformité (55,7 %), nettement inférieur au prompting et à la génération contrainte. Cela suggère que le pilotage au niveau de la représentation ne peut pas, à lui seul, imposer de manière fiable des contraintes lexicales de surface.

3.2. Efficacité communicative (Informativité)

• Arbitrages : La méthode d'imposition de la contrainte a façonné la qualité de la description.
  • Le prompting tendait à produire des descriptions trop prudentes et informationnellement pauvres.
  • La génération contrainte forçait le modèle vers des paraphrases sémantiquement plus précises, entraînant des scores Pass@10 plus élevés pour les juges par rapport au prompting.
  • Le pilotage par SAE montrait une dissociation frappante : malgré une faible conformité, il produisait des descriptions compétitives en termes d'informativité (Pass@10 jusqu'à 21,1 %), suggérant que bloquer les tokens de surface impose un coût descriptif que l'intervention au niveau de la représentation évite.
• Sensibilité des juges : Les deux modèles juges différaient significativement de sensibilité. GPT-oss-20b attribuait une probabilité proche de zéro aux cibles dans la plupart des conditions, tandis que Gemma-3-4b-it était plus généreux, bien que les deux s'accordent sur l'ordre relatif des méthodes.

3.3. Performance Modèle vs Humain

• Asymétrie de devinette : Les modèles sont nettement moins performants que les humains en tant que devineurs.
  • Les annotateurs humains ont atteint 30,77 % de précision en devinant les descriptions de modèles.
  • Les juges modèles (même Gemma-3-4b-it) nécessitent 5 à 10 essais (Pass@5 à Pass@10) pour approcher l'exactitude que les humains atteignent avec seulement 1 essai (Pass@1) sur les descriptions écrites par des humains.
  • GPT-oss-20b en tant que juge attribuait une probabilité proche de zéro aux cibles correctes dans presque tous les cas.
• Asymétrie de description :
  • Pour les modèles, le raisonnement (CoT) a considérablement amélioré la conformité (72,2 % contre 97,4 % pour GPT).
  • Pour les humains, les descriptions orales spontanées ont produit une précision de devinette plus élevée (95 %) que les descriptions écrites délibérées (85 %), probablement en raison de l'affinement interactif et en temps réel possible dans la communication orale, ce que la génération de texte statique ne permet pas.

4. Contributions et Signification

Contributions clés

1. Cadre de contrainte multi-niveaux : L'article compare systématiquement les stratégies d'application de contraintes à travers trois niveaux du processus génératif : le prompting, le masquage au moment du décodage et la manipulation de la représentation interne (SAE).
2. Évaluation bidirectionnelle Humain-Modèle : Contrairement aux études précédentes qui reposent uniquement sur des métriques automatiques, ce travail fonde l'évaluation dans un véritable gameplay en inversant les rôles : les humains devinent les descriptions des modèles, et les modèles devinent les descriptions des humains.
3. Caractérisation des arbitrages : L'étude démontre que la conformité aux règles et l'efficacité communicative ne sont pas contrôlables indépendamment. Le mécanisme utilisé pour imposer une contrainte (instruction vs décodage vs représentation) modifie fondamentalement la nature de la sortie, créant des arbitrages distincts entre la sécurité (éviter les mots interdits) et l'utilité (évoquer la cible).

Signification et affirmations

Les auteurs affirment que l'ancrage lexical sous contrainte reste un défi ouvert pour les modèles de langage actuels.

• L'écart de devinette (The "Guessing Gap") : L'incapacité des modèles à deviner les cibles à partir de descriptions indirectes avec l'efficacité des humains suggère que les LLM ne possèdent pas le même réseau d'associations lexicales saillantes qui rendent le Taboo intuitif pour les humains. Les auteurs suggèrent que cela pointe vers une différence entre le traitement rapide et associatif « Système 1 » utilisé par les humains et le raisonnement délibéré « Système 2 » des modèles.
• Limites : Les auteurs notent modestement que le benchmark est actuellement uniquement en italien, que l'ensemble d'évaluation partagé est petit (10 mots), et que le pilotage par SAE n'a été testé que sur une seule architecture. Ils soulignent également que l'étude évalue les modèles dans un cadre à un seul tour, alors que le jeu original est intrinsèquement interactif.
• Direction future : L'article soutient que des jeux comme le Taboo constituent un banc d'essai naturel et sous-exploré pour les capacités des modèles de langage, spécifiquement pour sonder l'adaptation pragmatique et l'ancrage collaboratif dans des configurations multi-agents et multi-tours.