Friend or Foe? Language as an ideological switch in open-weight LLMs under Russian disinformation stress

Résumé technique : « Ami ou ennemi ? Le langage comme commutateur idéologique dans les LLM en poids ouverts sous le stress de la désinformation russe »

Énoncé du problème
L'étude aborde une lacune critique dans la compréhension du comportement des grands modèles de langage (LLM) à poids ouverts dans des environnements d'information contestés, plus précisément dans le contexte de la guerre de la Russie contre l'Ukraine. Alors que le discours politique et industriel suppose souvent qu'un ajustement fin (fine-tuning) culturellement aligné (par exemple, un modèle ajusté pour les utilisateurs ukrainiens) encode intrinsèquement l'orientation politique de cette communauté et résiste aux récits adverses, cette hypothèse reste non vérifiée. Les auteurs examinent si les modèles à poids ouverts, ajustés régionalement — déployés sans couches de sécurité commerciales ou de modération de contenu — agissent comme des défenses résilientes contre la désinformation russe ou s'ils l'amplifient par inadvertance. Le problème central est le potentiel de « transfert idéologique », où les modèles absorbent et généralisent les biais politiques de leurs corpus d'entraînement, et l'hypothèse selon laquelle la langue de la requête peut fonctionner comme un « commutateur idéologique », activant des régions distributionnelles latentes et conflictuelles au sein du modèle.

Méthodologie
La recherche emploie un audit comparatif contrôlé de quatre LLM partageant une fondation architecturale commune : Gemma 3 (12B) (le modèle de base neutre), Lapa (ajusté pour le contexte linguistique et culturel ukrainien), Saiga (ajusté pour le contexte russe) et MamayLM (une variante développée en Bulgarie visant la souveraineté numérique ukrainienne).

Le design expérimental implique :

• Stimuli : Dix énoncés de récits contestés couvrant cinq clusters thématiques : l'État et l'histoire ukrainiens, la gouvernance/légitimité (incluant la « dénazification »), l'intégrité territoriale (Crimée), les atrocités militaires (Boutcha/Marioupol) et les droits culturels/linguistiques.
• Archétypes de prompts : Deux formats distincts ont été utilisés pour sonder différentes couches cognitives :
  1. Expert/Analytique : Un prompt structuré exigeant que le modèle agisse comme un historien neutre, extraie des arguments et les classe, forçant un processus de raisonnement de type « Chaîne de pensée » (Chain-of-Thought).
  2. Lame/Conversationnel : Un prompt non structuré, familier, simulant un utilisateur à réponse rapide cherchant des informations de surface.
• Conditions linguistiques : Tous les prompts ont été administrés en trois langues : anglais, ukrainien et russe.
• Mesure : Les modèles ont été contraints d'attribuer des pourcentages de probabilité explicites à la « Position A » (la position historique factuelle et internationalement reconnue) par rapport à la « Position B » (le récit de la désinformation russe).
• Configuration : Tous les essais ont utilisé un décodage glouton (température, top-p et pénalité de fréquence fixés à zéro) avec des prompts système nuls pour contourner les alignements de sécurité et révéler les tendances brutes du modèle. Chaque requête a été répétée cinq fois pour assurer la stabilité déterministe.

Résultats clés
L'étude identifie un « Paradoxe de l'ajustement fin » qui infirme systématiquement l'hypothèse selon laquelle l'alignement culturel garantit la résilience politique :

1. Dérive contre-intuitive : Le modèle orienté vers l'Ukraine (Lapa) a présenté la plus faible résistance à la désinformation russe, particulièrement lorsqu'il était interrogé en russe. Dans la condition experte en russe, la probabilité moyenne de Lapa pour la position factuelle est tombée à 50,5 %, attribuant souvent la probabilité majoritaire au récit de désinformation (Position B). Inversement, le modèle orienté vers la Russie (Saiga) a démontré la plus forte réjection de la désinformation russe, surpassant systématiquement le modèle de base et la variante ukrainienne en faveur de l'exactitude factuelle.
2. L'effet « Agent caché » : La langue de la requête agit comme un commutateur directionnel. Pour Lapa, passer la langue de la requête de l'anglais à l'ukrainien, puis au russe, a entraîné une dérive progressive loin de la position factuelle, suggérant qu'en russe, le modèle revient par défaut aux données de pré-entraînement en langue russe, qui peuvent manquer de contre-récits robustes. Pour Saiga, les requêtes en russe ont activé un corpus riche en contre-propagande, menant à des scores factuels plus élevés.
3. Variance de la structure de prompt : L'interaction entre le format de prompt et le comportement du modèle était non linéaire. Dans certains cas (ex. : la variante bulgare en russe), le passage d'un prompt analytique à un prompt conversationnel a provoqué un écart de près de 90 points dans les scores de déviation. Dans d'autres (ex. : Gemma en russe), le prompt analytique a conduit à des scores factuels plus bas que le prompt conversationnel, indiquant que le raisonnement structuré peut parfois découpler le contenu argumentatif de la base de connaissances sous-jacente du modèle.
4. Résilience thématique : Tous les sujets n'étaient pas également susceptibles de dérive. Les récits concernant le déni d'atrocités (Boutcha/Marioupol) et l'annexion de la Crimée ont montré une grande stabilité à travers tous les modèles, probablement en raison de la densité de la documentation juridique internationale dans les corpus d'entraînement. En revanche, les récits concernant la légitimité de la gouvernance (« dénazification ») et l'identité nationale (la thèse du « seul peuple ») ont montré la plus grande variance et la plus grande susceptibilité à la dérive idéologique.

Signification et affirmations
L'article soutient que la principale menace pour la souveraineté informationnelle régionale n'est pas nécessairement l'ajustement fin adverse lui-même, mais l'hypothèse non testée que l'alignement culturel garantit la résilience. Les conclusions suggèrent que :

• Composition du corpus > Provenance culturelle : La composition spécifique du corpus d'ajustement fin (ex. : la présence de littérature de contre-propagande dans le discours russe par rapport à l'absence de celle-ci dans le discours ukrainien) est un facteur plus décisif pour l'output idéologique d'un modèle que la cible culturelle nominale de l'ajustement fin.
• Le langage comme amplificateur : La langue de la requête ne se contente pas de récupérer l'information ; elle active des distributions idéologiques spécifiques, souvent conflictuelles, au sein du modèle. Un modèle ajusté pour une communauté spécifique peut échouer à défendre le récit de cette communauté lorsqu'il est interrogé dans une langue où ses données d'entraînement sont ténues ou dominées par des sources adverses.
• Implications de gouvernance : L'étude remet en question l'idée que les modèles à poids ouverts peuvent être déployés en toute sécurité dans des environnements d'information contestés sur la seule base de leur provenance culturelle. Elle souligne que les modèles « non gardés » peuvent servir par inadvertance de vecteurs pour la désinformation étatique, non par programmation explicite, mais par l'activation de biais latents dans les données d'entraînement lorsqu'ils sont déclenchés par des combinaisons spécifiques de langage et de prompts.

Les auteurs concluent que sécuriser les environnements informationnels nécessite d'aller au-delà de l'hypothèse de l'alignement culturel et de se concentrer sur la curation rigoureuse des données d'entraînement afin de garantir une documentation factuelle dense et multi-sources, particulièrement pour les récits géopolitiques à enjeux élevés.