💬 NLP

Algospeak, Hiding in the Open: The Trade-off Between Legible Meaning and Detection Avoidance

Cet article présente un cadre formel et un jeu de données pour analyser le compromis entre la détectabilité et la compréhensibilité des stratégies d'évasion par « algospeak », en définissant un seuil de « modulation majoritairement compréhensible » afin de quantifier comment les altérations linguistiques affectent à la fois la compréhension humaine et la détection par l'IA.

Auteurs originaux : Jan Fillies, Ronald E. Robertson, Jeffrey Hancock

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jan Fillies, Ronald E. Robertson, Jeffrey Hancock

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense place de village animée. Sur cette place, il y a deux groupes principaux : les Hérauts (des personnes ou des bots tentant de diffuser des messages) et les Gardiens (des algorithmes conçus pour arrêter les mensonges nuisibles, les arnaques ou les discours toxiques).

Pendant longtemps, les Hérauts se contentaient de crier leurs messages. Mais les Gardiens sont devenus intelligents ; ils ont appris à repérer des mots et des motifs spécifiques signifiant « danger ». Alors, les Hérauts ont commencé à jouer à un jeu de « cache-cache » avec les mots. Ils ont commencé à remplacer « vaccin » par « vaxx », « tuer » par « k!ll », ou à utiliser des émojis pour remplacer des mots. Cette nouvelle façon de parler, modifiée, s'appelle Algospeak.

Ce papier est comme une étude scientifique de ce jeu. Les chercheurs voulaient comprendre la « Zone de Boucle d'Or » de ce jeu de dissimulation : Jusqu'à quel point pouvez-vous modifier vos mots pour tromper les gardiens sans confondre les personnes que vous tentez d'atteindre ?

Voici une décomposition de leurs découvertes utilisant des analogies simples :

1. Le problème « Trop, Trop Tôt » (Le compromis)

Les chercheurs ont découvert un équilibre délicat.

Si vous changez trop peu vos mots : Les Gardiens vous attrapent immédiatement.
Si vous changez trop vos mots : Les Gardiens pourraient vous manquer, mais maintenant vos amis (le public humain) ne peuvent pas vous comprendre non plus. Vous avez transformé votre message en un code secret que seule une poignée de personnes connaît, ce qui annule le but de diffuser un message à une foule.

Ils appellent le point parfait du milieu la « Modulation Compréhensible par la Majorité » (MUM). Pensez-y comme à tourner le bouton du volume sur une radio. Si vous le montez un peu, le bruit de fond (les gardiens) couvre la musique. Si vous le montez trop, la musique devient si déformée que même vos amis ne peuvent plus dire de quelle chanson il s'agit. La MUM est le réglage exact du bouton de volume où la musique est assez claire pour que vos amis l'entendent, mais où le bruit de fond est juste assez fort pour confondre la machine.

2. L'expérience : Un laboratoire de « Fausse Information »

Pour tester cela, les chercheurs n'ont pas utilisé de vraies personnes. À la place, ils ont construit un laboratoire numérique utilisant des robots IA (Grands Modèles de Langage) pour jouer les rôles des Hérauts et des Gardiens.

Le dispositif : Ils ont pris 20 phrases courantes sur la désinformation liée à la COVID-19 (comme « Boire de l'eau de Javel guérit le virus »).
La distorsion : Ils ont créé 700 versions de ces phrases. Certaines avaient quelques lettres modifiées (comme « c0vid »), d'autres utilisaient des abréviations, d'autres des émojis, et d'autres des mots complètement inventés.
Le test : Ils ont posé deux questions à différents modèles d'IA :
1. Le test du Gardien : « Est-ce un mensonge ? » (L'IA peut-elle détecter la désinformation ?)
2. Le test de l'Ami : « Que signifiait à l'origine cette phrase ? » (L'IA peut-elle reconstruire le sens original ?)

3. Ce qu'ils ont trouvé

Les résultats ont montré un schéma clair, comme un toboggan descendant :

À mesure que les mots devenaient plus « brouillés » (plus de modulation) : Les IA « Gardiens » devenaient moins bonnes pour repérer les mensonges.
En même temps : Les IA « Amis » devenaient moins bonnes pour comprendre ce que signifiaient les mots brouillés.

La Révolution Surprenante :
Les chercheurs ont découvert que différents types de brouillage fonctionnent différemment.

La stratégie du « Mot de Code » : Remplacer un mot par un code secret (comme utiliser « citron » pour signifier « virus ») était très efficace pour tromper les gardiens, mais rendait le message difficile à comprendre très rapidement.
La stratégie du « Changement d'Orthographe » : Changer simplement une lettre en un chiffre (comme « v1rus ») était facile à attraper pour les gardiens car c'est une astuce courante qu'ils connaissent déjà.
La stratégie « Phonétique » : Écrire les mots comme ils sonnent (comme « Kovit ») était étonnamment difficile à comprendre pour l'IA, même si cela semblait simple pour les humains.

4. L'avertissement de l'« Équipe Rouge »

Les auteurs sont très prudents à dire qu'ils n'apprennent pas aux méchants comment gagner. Au lieu de cela, ils agissent comme des « Équipes Rouges » (comme des testeurs de sécurité qui tentent de briser un coffre-fort bancaire afin que la banque puisse réparer la serrure).

Ils disent : « Nous avons trouvé exactement où la serrure est faible. Si vous construisez un système de sécurité (un modérateur de contenu), vous devez savoir que si les gens commencent à utiliser des « Mots de Code », votre système actuel échouera. Mais si vous rendez le système trop strict, vous risquez de bloquer accidentellement des personnes normales qui essaient simplement de parler. »

Résumé

Ce papier est une carte du jeu « Se Cacher à Vue ». Il prouve qu'il existe une limite spécifique à la quantité de distorsion linguistique que vous pouvez appliquer pour tromper un ordinateur avant de perdre votre public humain. Il nous donne un moyen de mesurer cette limite afin que nous puissions construire de meilleurs outils pour repérer les mauvais acteurs sans faire taire la conversation normale.

Note Importante : L'étude était une « preuve de concept » utilisant l'IA et des exemples synthétiques (fictifs). Elle n'a pas testé de vrais humains ni de plateformes de médias sociaux réelles, il s'agit donc des premiers pas pour comprendre le problème, et non de la solution finale.

Résumé Technique : Algospeak, se cacher en plein jour

Énoncé du problème
À mesure que les modèles de langage de grande taille (LLM) médiatisent de plus en plus la génération et la modération de contenu, des acteurs malveillants exploitent l'« Algospeak » — une pratique communicative impliquant des stratégies d'évasion linguistique — pour éviter la détection algorithmique tout en maintenant la compréhensibilité humaine. Cela crée une dynamique co-évolutrice où les techniques d'évasion s'intensifient, remettant en cause la capacité des systèmes automatisés à détecter les contenus toxiques ou trompeurs. Un vide critique existe dans la littérature concernant une compréhension fondée sur des principes du compromis entre la détection (par des systèmes automatisés) et la compréhensibilité (par des destinataires humains ou des LLM). Plus précisément, il n'existe aucune métrique formelle pour quantifier le point à partir duquel une modulation linguistique supplémentaire parvient à échapper aux détecteurs, mais rend le message inintelligible pour la majorité du public.

Méthodologie
Les auteurs formalisent la dynamique de l'Algospeak en utilisant le modèle d'action conjointe de Clark (1996), conceptualisant l'usage du langage comme une activité collaborative entre des « destinataires » (destinataires humains/LLM visés) et des « témoins » (modérateurs algorithmiques). Sur cette base, ils proposent deux propositions fondamentales :

À mesure que la modulation linguistique augmente, la proportion de participants capables de comprendre le sens sous-jacent diminue.
À mesure que la modulation augmente, la capacité des classificateurs entraînés à détecter le sens sous-jacent et à classer correctement le contenu diminue.

Pour tester ces propositions, l'étude introduit un cadre reproductible et un jeu de données de référence :

Construction du jeu de données : Un jeu de données de preuve de concept de 700 éléments modulés a été créé en utilisant la désinformation liée à la COVID-19 comme domaine. Le processus a impliqué 20 phrases de base, validées par GPT-4o. Celles-ci ont été modulées sur cinq niveaux (environ 10 % à 50 % de distorsion) en utilisant sept stratégies d'Algospeak distinctes identifiées dans la littérature antérieure (par exemple, mots de code, substitutions de mots inconnus, abréviations, substitutions phonétiques, paraphrases).
Configuration expérimentale : Deux évaluations liées ont été menées en utilisant sept LLM différents (y compris GPT-4o, Claude, Llama, Mistral, Qwen et Grok) :
- Expérience de détection : Les modèles ont été invités à classer les déclarations comme étant de la désinformation ou non.
- Expérience de compréhensibilité : Les modèles ont eu pour tâche de reconstruire les mots originaux à partir des entrées modulées. La performance a été mesurée par des scores de similitude par rapport au texte original.
Analyse : La relation entre le niveau de modulation et la performance a été modélisée à l'aide de fonctions logistiques (sigmoïdes) à deux paramètres. Les métriques clés comprenaient le seuil de Modulation Compréhensible par la Majorité (MUM) (le niveau de modulation où la majorité des modèles échouent à comprendre ou à détecter) et le point de Modulation Compréhensible Individuelle par la Majorité (IMUM).

Contributions clés

Définition formelle et dynamique : L'article fournit une définition formelle de l'Algospeak en tant que registre contextuel et multimodal où les formes de surface sont délibérément modulées pour préserver le sens pour les destinataires tout en réduisant la probabilité de détection par les témoins automatisés.
Concept MUM : Il introduit le concept de Modulation Compréhensible par la Majorité (MUM), définissant le seuil spécifique où des altérations évolutives supplémentaires améliorent l'évasion des détecteurs mais entraînent une perte de compréhension pour la majorité des destinataires.
Cadre et jeu de données : Les auteurs publient un cadre pour créer des variantes de style Algospeak préservant le sens et un jeu de données de référence de 700 exemples modulés couvrant sept stratégies et cinq niveaux de modulation.
Analyse empirique unifiée : L'étude offre un cadre expérimental unifié traitant les LLM à la fois comme interprètes (pour la récupération du sens) et classificateurs (pour la détection des violations de politique), révélant des points MUM cohérents à travers différents modèles et stratégies.

Résultats

Détection vs Modulation : Pour la plupart des stratégies (par exemple, mots de code, nouveaux mots, abréviations), la performance de détection a diminué de manière monotone à mesure que la modulation augmentait. Six stratégies sur sept ont montré de bons ajustements sigmoïdes ( $R^2$ ajusté > 0,90) et des diminutions monotones significatives de la détection à travers les modèles. Cependant, les stratégies reposant sur une simple substitution de caractères (par exemple, « mot inconnu » ou ressemblance phonétique) ont souvent échoué à bien s'ajuster à la courbe sigmoïde, suggérant qu'elles n'évitent pas efficacement la détection ou sont facilement reconnues comme des fautes de frappe standard.
Compréhensibilité vs Modulation : La compréhensibilité a également diminué avec l'augmentation de la modulation, bien que la relation ait été plus variable d'un modèle à l'autre. Les stratégies préservant la forme de surface (par exemple, changements phonétiques) ont permis des taux de reconstruction plus élevés même à des niveaux de modulation élevés, tandis que les mots de code ont provoqué une chute rapide de la compréhensibilité.
Variance des modèles : Bien que la tendance générale se soit maintenue, des stratégies spécifiques ont fonctionné différemment selon les modèles. Par exemple, les stratégies de « mot de code » étaient très efficaces pour échapper à la détection (nécessitant moins de modulations pour atteindre le seuil MUM) mais réduisaient également rapidement la compréhensibilité.
Compromis : Les résultats confirment un compromis : les stratégies qui dégradent efficacement la performance des détecteurs dégradent souvent simultanément la compréhensibilité, bien que le « point de bascule » spécifique (MUM) varie selon la stratégie et le modèle.

Importance et affirmations
L'article prétend poser les bases de la compréhension des dynamiques co-évolutrices du langage dans les écosystèmes médiatisés par les LLM. En établissant une frontière mesurable (MUM) pour un langage évolutif efficace mais interprétable, ce travail vise à :

Fournir une base pour concevoir des systèmes de modération plus robustes.
Offrir un cadre pour évaluer l'efficacité des outils de modération face aux tactiques d'évasion en évolution.
Souligner que la détection et la compréhension sont des capacités distinctes dans les LLM ; un modèle peut signaler avec succès des « motifs anormaux » (détection) sans nécessairement récupérer le sens intended (compréhension).

Les auteurs présentent explicitement ce travail comme une « preuve de concept » et un effort de « red-teaming » pour soutenir le développement de systèmes défensifs. Ils reconnaissent les limites, notamment l'utilisation de données synthétiques, l'accent mis sur l'anglais et la désinformation liée à la COVID-19, et l'absence de validation sur des sujets humains, notant que les travaux futurs doivent s'étendre à des domaines diversifiés et à des populations humaines.