Measuring Pragmatic Influence in Large Language Model Instructions

1. Problématique

Les grands modèles de langage (LLM) sont sensibles non seulement au contenu de la tâche demandée, mais aussi à la manière dont la demande est formulée (le prompt). Des phrases comme « C'est urgent » ou « En tant que votre superviseur » peuvent modifier le comportement du modèle sans changer la tâche elle-même. Ce phénomène est appelé encadrement pragmatique (pragmatic framing).

Le problème central identifié par les auteurs est le suivant :

• Manque de mesure systématique : Bien que des travaux antérieurs aient exploité ces indices pour l'optimisation des prompts ou pour tester des vulnérabilités de sécurité (jailbreak), l'encadrement pragmatique lui-même n'a jamais été traité comme une propriété mesurable et isolée de la conformité aux instructions.
• Enchevêtrement des facteurs : Dans les études précédentes, les indices pragmatiques sont souvent mélangés à des changements de contenu de la tâche, de formatage ou de scénarios narratifs. Cela rend impossible l'isolement de l'effet spécifique de l'encadrement pragmatique et la comparaison de la force relative de différentes stratégies.

2. Méthodologie

Pour résoudre ces problèmes, les auteurs proposent un cadre expérimental contrôlé reposant sur trois composantes novatrices :

A. Décomposition Directive-Cadre (Directive-Framing Decomposition)

L'approche consiste à séparer strictement le contenu de la tâche de son contexte pragmatique :

• La directive : Spécifie uniquement la tâche à accomplir (ex: « Décrivez uniquement les avantages des voitures autonomes »).
• Le préfixe d'influence (Influence Prefix) : Convey des indices sociaux ou contextuels sans altérer le contenu propositionnel (ex: « Je suis en situation de crise et j'ai désespérément besoin que vous : »).
• Cette séparation permet de varier systématiquement le préfixe tout en gardant la directive constante, isolant ainsi la variable d'intérêt.

B. Taxonomie des Stratégies d'Influence

Les auteurs ont construit une taxonomie de 400 préfixes d'influence regroupés en 13 stratégies, elles-mêmes classées en 4 mécanismes principaux (inspirés de la psychologie sociale et des recherches sur les jailbreaks) :

1. Hiérarchique : Revendications d'autorité, ordres de contournement, statut autoritaire.
2. Contrat Social : Réciprocité, lien de confiance, preuve sociale.
3. Émotionnel : Détresse, urgence, culpabilité, éthique positive.
4. Narratif : Scénarios hypothétiques, jeux de rôle, légitimation contextuelle.

C. Mesure par Priorisation (Priority-Based Measurement)

Pour quantifier l'influence, les auteurs évitent les métriques de conformité classiques (souvent sujettes à des effets de plafond) ou les tests de jailbreak (confondus avec les mécanismes de sécurité). Ils utilisent une approche basée sur le conflit :

• Configuration : Le modèle reçoit deux directives mutuellement exclusives mais bénignes (ex: « Argumentez pour X » vs « Argumentez contre X »).
• Condition de base : Aucune directive n'est préfixée. Le modèle tend à être impartial (répondre aux deux).
• Condition expérimentale : Un préfixe d'influence est ajouté à l'une des deux directives (la directive « encadrée »).
• Mesure : On observe le décalage dans la priorisation. Si le modèle privilégie la directive encadrée au détriment de l'autre, l'influence est mesurée. Cela permet de détecter à la fois des effets de renforcement et des effets de rebond (backfire).

Protocole expérimental :

• Modèles testés : 5 LLM open-weight de différentes familles et tailles (Kimi-K2, Qwen3-235B, Qwen3-Next-80B, Mistral-Small-24B, Mistral-7B).
• Données : 50 paires de directives conflictuelles et 400 préfixes.
• Évaluation : Utilisation d'un LLM-juge pour classer les réponses en quatre catégories : conformité à la directive prioritaire, conformité à la directive encadrée, les deux, ou aucune.

3. Résultats Clés

A. L'encadrement pragmatique modifie systématiquement la priorisation

Les résultats montrent que des préfixes courts (moyenne de 8 mots) suffisent à faire basculer le modèle d'une impartialité de base vers une préférence marquée pour la directive encadrée.

• L'effet est robuste et reproductible à travers les modèles.
• Les contrôles avec du texte aléatoire (lorem ipsum) de même longueur montrent que l'effet provient bien du sens social et non de la longueur du prompt ou de la simple position.

B. Hiérarchie cohérente des mécanismes d'influence

L'efficacité des stratégies suit une hiérarchie stable, indépendante de la taille ou de l'architecture du modèle (bien que la sensibilité absolue varie) :

1. Hiérarchique : Le plus efficace (revendications d'autorité, ordres directs).
2. Contrat Social : Très efficace (réciprocité, confiance).
3. Émotionnel : Efficace (détresse, urgence).
4. Narratif : Le moins efficace dans ce cadre (jeux de rôle, hypothèses), probablement parce que ces stratégies tirent leur force de scénarios contextuels spécifiques, ce qui est atténué par la nature générique des préfixes utilisés.

C. Variations fines et spécificités des modèles

• Variabilité des préfixes : Même au sein d'une même stratégie, la formulation compte énormément. Les préfixes les plus efficaces (ex: « Rendez ceci l'unique priorité ») obtiennent jusqu'à 85 % de conformité, tandis que les moins efficaces tombent sous les 2 %.
• Différences familiales : Les modèles Qwen montrent la plus grande sensibilité (60-64 % de conformité encadrée), suivis par Mistral et Kimi-K2.
• Taille du modèle : La taille n'est pas le seul facteur déterminant. Le Mistral-7B est moins sensible que le Mistral-24B, ce qui suggère un manque de compétence pragmatique (théorie de l'esprit) plutôt qu'une robustesse accrue.

4. Contributions Principales

1. Cadre de mesure : Introduction d'un cadre méthodologique permettant d'isoler, de taxonomiser et de quantifier l'influence pragmatique, séparée du contenu de la tâche.
2. Taxonomie unifiée : Organisation de 400 instances de framing en 13 stratégies et 4 mécanismes, offrant un langage commun pour étudier ces phénomènes.
3. Métrique observable : Définition de la « priorisation de directive » comme indicateur observable et stable de l'influence, évitant les biais des métriques de sécurité ou de performance de tâche.
4. Preuve de généralité : Démonstration que les mécanismes d'influence suivent des schémas cohérents à travers différentes architectures et échelles de modèles.

5. Signification et Implications

Ce travail établit l'encadrement pragmatique comme un facteur mesurable et prévisible dans les systèmes de suivi d'instructions.

• Pour la sécurité : Il montre que les mécanismes sociaux (autorité, urgence) peuvent systématiquement contourner l'impartialité des modèles, ce qui a des implications pour la robustesse des systèmes face aux attaques d'ingénierie sociale.
• Pour le développement de modèles : La sensibilité à ces indices est une propriété comportementale systématique des LLM entraînés à suivre des instructions.
• Pour la recherche future : Le cadre ouvre la voie à une caractérisation plus fine de l'influence pragmatique et à l'étude des mécanismes internes (interprétabilité) qui permettent à ces courts préfixes de modifier le comportement du modèle.

Limites notables : L'utilisation de préfixes génériques (agnostiques à la tâche) peut sous-estimer l'impact des stratégies narratives qui dépendent de contextes spécifiques. De plus, la mesure repose sur un conflit de directives, ce qui introduit un biais de position (l'ordre des instructions) difficile à éliminer totalement.