Strategic Dialogue Assessment: The Crooked Path to Innocence

Résumé Technique : Évaluation du Dialogue Stratégique (SDA)

Énoncé du Problème
La recherche actuelle en pragmatique et en évaluation des modèles de langage de grande taille (LLM) suppose principalement un discours coopératif, fondé sur les principes de Grice où les interlocuteurs partagent des objectifs communs. Cependant, cette hypothèse échoue dans les contextums hautement stratégiques et adverses (par exemple, les contre-interrogatoires dans les tribunaux) où les interlocuteurs ont des objectifs divergents. Dans ces contextes non coopératifs, les locuteurs manipulent stratégiquement le langage — paraissant souvent coopératifs tout en poursuivant des objectifs d'intérêt personnel — pour gérer leurs engagements, maintenir leur crédibilité et faire progresser leurs objectifs discursifs. Les cadres existants, tels que les jeux de signalisation (Signaling Games) et la théorie de l'acte de parole rationnel (RSA), reposent souvent sur des fonctions d'utilité coopératives ou des constructions abstraites (par exemple, des distributions de crédibilité) qui sont difficiles à estimer empiriquement. De plus, les LLM actuels présentent une capacité limitée à reconnaître la valeur stratégique du langage dans des contextes adverses, interprétant souvent l'évasion ou l'atténuation comme étant préjudiciables plutôt que stratégiquement bénéfiques, ou échouant à distinguer la gestion de crise de surface du gain stratégique réel.

Méthodologie
Pour combler ces lacunes, les auteurs introduisent l'Évaluation du Dialogue Stratégique (SDA), un cadre qui opérationnalise la « fonction de juré » des jeux d'échange de messages (ME Games) afin d'évaluer l'usage stratégique du langage dans des données réelles. La méthodologie comprend trois composantes clés :

1. Le Jeu de Données "Crooked Path" (CPD) : Un nouveau jeu de données annoté comprenant 4 452 tours de parole issus de contre-interrogatoires dans trois procès célèbres aux États-Unis (West Memphis Three, O.J. Simpson et Enron). Le jeu de données se concentre sur les interactions adverses où les objectifs sont strictement opposés.
2. Adaptation Théorique : Les auteurs adaptent la fonction de juré des ME Games en intégrant deux modifications clés pour la rendre estimable empiriquement :
   • Taxonomie basée sur l'engagement : Au lieu de s'appuyer uniquement sur des relations de cohérence abstraites, le cadre classifie les mouvements discursifs en fonction du contenu des engagements par rapport à la Question Sous Discussion (QUD) actuelle. Les engagements sont catégorisés comme Bénéfiques, Préjudiciables, Neutres ou Nuls (absence d'engagement significatif).
   • Proxys Griceans pour la Crédibilité : Pour opérationnaliser le terme abstrait de crédibilité $P_k(Good_i)$, le cadre utilise des violations observables des maximes de Grice (Pertinence, Manière et Qualité) comme proxys. Les violations modulent la valeur stratégique d'un engagement ; par exemple, un engagement bénéfique transmis via une déclaration non pertinente ou peu claire est pénalisé, tandis qu'un engagement préjudiciable transmis indirectement (par exemple, via l'atténuation) peut être moins dommageable.
3. Définition des Métriques : La SDA définit trois métriques interprétables pour quantifier les effets stratégiques :
   • Bénéfice au Tour ($BAT_i$) : Quantifie les gains immédiats des engagements bénéfiques ou neutres, ajustés selon les violations de maximes.
   • Pénalité au Tour ($PAT_i$) : Quantifie les pertes immédiates des réponses préjudiciables ou non engagées, ajustées selon la cohérence et les violations de maximes.
   • Bénéfice Relatif Normalisé au Tour ($NRBAT_i$) : Une mesure cumulative, z-score, de l'avantage stratégique net ($\sum BAT - \sum PAT$) tout au long du dialogue.

Le cadre a été validé par une annotation humaine d'un sous-ensemble du CPD (environ 800 tours) par trois annotateurs formés en linguistique, suivie d'une évaluation de divers LLM de pointe (allant de 7B à 70B de paramètres, incluant des variantes optimisées pour le raisonnement) utilisant un prompting zero-shot.

Résultats Clés

• Validité de l'Annotation Humaine : Les métriques de la SDA ont démontré une haute inter-accord entre annotateurs (rho de Spearman de 0,65 à 0,83 pour $BAT$, $PAT$ et $NRBAT$), surpassant de manière significative l'accord sur les jugements de résultats bruts (kappa de Fleiss de 0,29). Cela suggère que les métriques capturent mieux les propriétés objectives et internes au discours que les prédictions subjectives de résultats.
• Pouvoir Prédictif : Les modèles de régression logistique utilisant $BAT$ et $PAT$ comme prédicteurs ont atteint une précision de 74,6 % et un AUC de 0,80 pour prédire les jugements de résultats des annotateurs humains. Les métriques étaient particulièrement efficaces lorsque le raisonnement des annotateurs était basé sur des arguments logiques plutôt que sur des émotions personnelles.
• Performance des LLM :
  • Taille du Modèle : Les modèles plus larges s'alignaient généralement plus étroitement sur les jugements humains concernant les métriques stratégiques que les modèles plus petits, particulièrement pour identifier les gains stratégiques.
  • Limites du Raisonnement : Contre-intuitivement, les modèles équipés de mécanismes de raisonnement explicites (Chaîne de Pensée / Chain-of-Thought) ont souvent moins bien performé que leurs homologues sans raisonnement, notamment pour identifier les pertes stratégiques ($PAT$). L'analyse des traces de raisonnement a révélé que ces modèles ont tendance à complexifier excessivement la tâche, interprétant mal les stratégies de gestion de crise de surface (ex: l'atténuation) comme étant neutres ou bénéfiques, et échouant à intégrer les objectifs adverses plus larges.
  • Gricean vs Stratégique : Bien que les LLM aient bien performé dans l'identification des violations des maximes de Grice (haut accord sur la Pertinence, la Manière et la Qualité), ils ont eu beaucoup de mal à identifier le type stratégique des engagements ($\mu \approx 0,14$) et à calculer les métriques stratégiques qui en découlent.

Signification et Revendications
L'article affirme que la SDA fournit un cadre théoriquement fondé mais empiriquement opérationnalisable pour évaluer la communication stratégique dans des contextes non coopératifs. Sa principale importance réside dans :

1. Réconciliation de la Théorie et des Données : Elle adapte avec succès la fonction de juré des ME Games aux discours réels à enjeux élevés en remplaçant les construits inobservables par des proxys estimables (violations griceennes) et une taxonomie basée sur l'engagement.
2. Révélation des Limites des LLM : L'étude démontre que les LLM actuels, même les plus grands et ceux dotés de capacités de raisonnement, manquent d'une compréhension robuste du langage stratégique dans les contextes adverses. Ils échouent souvent à distinguer l'infraction coopérative de l'évasion stratégique, et leurs capacités de raisonnement peuvent introduire de la confusion plutôt que de la clarté dans ces contextes.
3. Asymétrie du Discours : Le cadre souligne que les discours coopératifs et non coopératifs sont asymétriques ; le discours non coopératif implique une fréquence plus élevée d'engagements préjudiciables et de violations de maximes, mais ceux-ci sont souvent des outils stratégiques pour la minimisation des pertes plutôt que de simples échecs de communication.

Les auteurs maintiennent une position modeste, notant que le cadre ne prédit pas parfaitement les issues conversationnelles (qui dépendent de facteurs extérieurs au discours, tels que les biais) et que l'annotation actuelle se concentre sur les effets locaux au niveau du tour de parole plutôt que sur la planification stratégique à long terme. Ils positionnent la SDA comme une étape nécessaire vers un meilleur alignement et une surveillance de la sécurité pour les agents d'IA opérant dans des environnements adverses.