💬 NLP

Measuring AI "Slop" in Text

Cet article traite de l'absence d'une définition standard du « slop » de l'IA en développant une taxonomie et des dimensions interprétables grâce à des entretiens avec des experts, démontrant que si les jugements binaires sont subjectifs, ils sont corrélés à des facteurs latents tels que la cohérence et la pertinence afin de permettre une meilleure évaluation du texte généré par l'IA.

Auteurs originaux : Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

Publié 2026-01-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez qu'Internet soit un immense marché animé. Pendant longtemps, des vendeurs (des humains) ont vendu des produits frais et artisanaux. Mais récemment, une vague de produits bon marché et produits en masse est arrivée. De loin, ils ont l'air corrects, mais de près, ils semblent fragiles, répétitifs et creux. Dans le monde de l'IA, les gens ont commencé à appeler ce contenu de faible qualité généré par l'IA de la « slop » (ou « bouillie »).

Ce document est comme une équipe d'experts tentant de construire un manuel de contrôle qualité pour cette bouillie. Ils veulent répondre à deux grandes questions : Qu'est-ce qui fait exactement qu'un texte ressemble à de la « slop » ? et Pouvons-nous construire une machine capable de la repérer automatiquement ?

Voici la décomposition de leurs découvertes, en utilisant des analogies simples :

1. Définir la « Slop » (La Taxonomie)

Les chercheurs n'ont pas simplement deviné ce qu'est la slop. Ils ont interrogé 19 experts — écrivains, journalistes, philosophes et scientifiques de l'IA — pour obtenir une définition claire. Ils ont réalisé que la « slop » n'est pas une chose unique ; c'est un mélange de trois problèmes principaux, comme un mauvais repas qui est trop salé, trop fade et servi dans une assiette sale.

Ils ont organisé ces problèmes dans une liste de contrôle appelée Taxonomie :

Utilité de l'information (Le « Bol Vide ») :
- Densité : Le texte est rempli de mots mais contient très peu de substance réelle. C'est comme une soupe qui est composée à 90 % d'eau et à 10 % de bouillon.
- Pertinence : Le texte parle de choses qui n'ont pas d'importance par rapport à la question posée. C'est comme commander un burger et recevoir un cours sur l'histoire des vaches.
Qualité de l'information (Les « Ingrédients Périmés ») :
- Factualité : Le texte invente des choses ou se trompe sur les faits (hallucinations).
- Biais : Le texte semble trop robotique ou neutre alors qu'il devrait avoir une voix humaine, ou il adopte une position étrange et unilatérale.
Qualité du style (La « Mauvaise Présentation ») :
- Répétition et Aspect Modèle : L'IA répète sans cesse la même chose ou utilise exactement la même structure de phrase, comme un disque rayé.
- Verbosité : Elle utilise 100 mots pour dire ce qui pourrait être dit en 10. C'est « bavard » sans être « sage ».
- Cohérence et Ton : Les idées ne s'enchaînent pas logiquement, ou le ton semble étrange (comme un robot essayant de raconter une blague).

2. Le Test Humain (Annoter la Slop)

Pour voir si leur liste de contrôle fonctionnait, ils ont engagé des correcteurs professionnels pour lire 150 articles de presse et 100 passages de type Questions-Réponses (Q&A). Ils ont demandé aux éditeurs de surligner les parties spécifiques « négligentes » du texte.

La Surprise :
Même les experts ne s'entendaient pas toujours sur ce qui constituait de la « slop ».

Le Problème de la Subjectivité : Un éditeur peut penser qu'un texte est de la « slop » parce qu'il est trop verbeux, tandis qu'un autre pense qu'il est correct.
La Connexion : Cependant, lorsque les éditeurs étaient d'accord pour dire qu'un texte était de la « slop », c'était généralement parce que le texte manquait de pertinence (ne répondait pas à la consigne) ou de densité (était trop vide).
La Différence de Domaine :
- Dans l'Actualité (News), la slop concernait principalement le style et le ton (trop formels, trop répétitifs).
- Dans les Questions-Réponses (Q&A), la slop concernait principalement l'erreur de faits ou une structure désordonnée.

3. Les Machines peuvent-elles la repérer ? (Le Contrôle Automatique)

Les chercheurs ont tenté de voir si les outils d'IA actuels pouvaient signaler automatiquement cette slop sans l'aide humaine. Ils ont testé trois choses :

Métriques Mathématiques Standards : Ils ont utilisé de vieux outils mathématiques (comme compter la longueur des mots ou vérifier la répétition des mots).
- Résultat : Ces outils étaient corrects pour repérer les textes « verbeux », mais ils échouaient à détecter les aspects plus subtils comme « est-ce pertinent ? » ou « est-ce que cela fait sens ? ».
Modèles de Récompense d'IA : Ils ont utilisé des modèles d'IA avancés entraînés pour noter la qualité de l'écriture.
- Résultat : Ces modèles pouvaient faire la différence entre une « bonne » et une « mauvaise » écriture de manière générale, mais ils ne pouvaient pas identifier spécifiquement la « slop » telle que définie par les humains. Ils manquaient de nuance.
Juges IA (LLM comme Juges) : Ils ont demandé à de puissants modèles d'IA (comme GPT-5 et d'autres) de lire le texte et de dire : « Est-ce de la slop ? » et « Surlignez les mauvaises parties ».
- Résultat : Ils ont échoué lamentablement. Les juges IA étaient terribles à ce jeu. Ils passaient souvent à côté de la slop ou surlignaient les mauvaises parties. Ils avaient tendance à se concentrer uniquement sur la « verbosité » et ignoraient tout le reste.

La Conclusion

Le document conclut que, bien que nous ayons une bonne liste de contrôle définie par l'humain pour identifier ce qu'est la « slop » (il s'agit principalement d'être non pertinent, vide ou répétitif), nous n'avons pas encore de robot fiable capable de la trouver automatiquement.

Actuellement, si vous voulez savoir si un texte est de la « slop », vous avez toujours besoin d'un humain pour le lire et utiliser son jugement. Les outils automatiques sont comme un détecteur de métaux qui ne trouve que les gros cailloux, mais rate les petites pierres précieuses (ou les petits débris agaçants) cachées dans le sable.

Ce que le document ne prétend PAS :

Il ne dit pas que nous devrions bannir l'écriture par IA.
Il ne prétend pas que cette méthode corrigera l'IA à l'avenir (il dit simplement qu'il s'agit d'un défi ouvert).
Il ne suggère pas d'utiliser cela pour des décisions médicales ou juridiques.
Il se concentre strictement sur la définition du problème et sur le fait de montrer que les solutions automatisées actuelles ne sont pas encore prêtes à le résoudre.

Résumé Technique : Mesurer le « Slop » (déchet textuel) dans les textes

Énoncé du Problème
Le terme « slop » est apparu pour décrire le contenu générique de faible qualité produit par les modèles de langage étendus (LLM), caractérisé par des affirmations non factuelles, une faible densité d'information et des particularités structurelles. Malgré l'ubiquité du terme dans le discours public et sa pertinence face à l'utilisation croissante de l'IA dans les tâches de rédaction et de recherche d'information, il n'existe aucune définition convenue ni méthode standardisée pour mesurer le « slop ». Les méthodes actuelles de détection de texte IA se concentrent sur la distinction entre origine humaine et machine, alors que le « slop » est une métrique de qualité applicable à toute source de texte. De plus, les mesures de qualité de texte existantes (ex. : BLEU, ROUGE) et les modèles d'évaluation automatique échouent souvent à capturer les déficits stylistiques et substantiels spécifiques qui constituent le « slop », tels que le vague, l'absence de perspective ou le caractère de modèle préétabli (templatedness).

Méthodologie
Les auteurs emploient une approche multi-étapes pour conceptualiser, opérationnaliser et évaluer le « slop » :

Développement d'une Taxonomie : À travers des entretiens avec 19 experts en TAL (Traitement Automatique du Langage), en écriture, en journalisme, en linguistique et en philosophie, les auteurs ont dérivé une définition de travail et une taxonomie du « slop ». En utilisant l'analyse de contenu qualitative et le codage déductif, ils ont cartographié les définitions d'experts vers des concepts mesurables, les classant en trois thèmes :
- Utilité de l'Information : Densité (contenu substantiel par rapport à la longueur) et Pertinence (alignement avec la tâche/le prompt).
- Qualité de l'Information : Factualité (exactitude/hallucinations) et Biais (présence/absence de subjectivité nécessaire).
- Qualité de Style : Structure (Répétition, Caractère de modèle préétabli), Cohérence, Ton, Fluidité, Verbosité et Complexité lexicale.
Collecte et Annotation des Données : Le cadre a été validé par des annotations au niveau des segments (spans) sur deux ensembles de données :
- Articles de Presse : 150 articles (écrits par des humains vs générés par l'IA via Claude 3.5, GPT-4o, o1-pro) provenant de Russell et al. (2025).
- QA avec Récupération Augmentée (RAG) : 100 passages de MS MARCO avec des réponses générées par Llama-4, OLMo-2, Mistral-7B, GPT-4o et Gemma-2.
  Des correcteurs professionnels ont annoté les segments pour des codes de « slop » spécifiques. L'accord inter-annotateurs a été mesuré via le $\kappa$ de Cohen, l'AC1 de Gwet et l' $\alpha_{MASI}$ de Krippendorff.
Analyse des Dimensions Latentes : Des modèles de régression logistique ont été ajustés pour déterminer quels codes de segments annotés prédisent les jugements binaires de « slop ». L'étude a analysé les corrélations entre ces jugements humains et les métriques automatiques.
Évaluation de la Mesure Automatique : Les auteurs ont évalué l'efficacité de :
- Modèles Linéaires : Utilisation de métriques de texte automatiques standards (ex. : ratios de compression, lexiques de subjectivité, scores de lisibilité) pour prédire le « slop ».
- Modèles de Récompense (Reward Models) : Test du Modèle de Récompense de Qualité d'Écriture (WQRM) contre les étiquettes de « slop ».
- LLM-as-a-Judge (LLM comme juge) : Utilisation de GPT-5, Deepseek-V3 et o3-mini pour identifier les étiquettes binaires de « slop » et extraire les segments de « slop » dans des contextes zero-shot et few-shot.

Résultats Clés

Subjectivité et Accord : Les jugements binaires de « slop » sont quelque peu subjectifs, les annotateurs montrant un accord faible à moyen sur les étiquettes globales des documents ( $\kappa \approx -0,15$ à $0,29$). Cependant, l'accord s'améliore lorsqu'on corrige la prévalence (AC1) et lorsqu'on se concentre sur des codes spécifiques. Les codes de Factualité, de Biais et de Structure ont obtenu une annotation fiable ($AC1 > 0,5$), tandis que les construits cognitivement exigeants comme la Cohérence, la Densité et la Pertinence ont montré un accord modéré à difficile.
Validité Prédictive : Le nombre de segments de « slop » annotés est fortement corrélé aux jugements globaux de « slop » ( $\rho \approx 0,63$ ). À travers les domaines, la Pertinence, la Densité et le Ton sont les prédicteurs les plus forts d'un texte étiqueté comme « slop ».
Spécificité du Domaine : L'importance des dimensions spécifiques varie selon la tâche. Pour les articles de presse, la qualité de style (Cohérence, Ton) et l'utilité (Densité, Pertinence) sont significatives. Pour les tâches de QA, la Factualité et la Structure sont les principaux moteurs des jugements de « slop ».
Échec des Méthodes Automatiques :
- Modèles Linéaires : Bien que les modèles linéaires utilisant des métriques automatiques disponibles aient atteint un AUPRC environ deux fois supérieur à la ligne de base de la prévalence (0,52 pour News, 0,55 pour MS MARCO), ils sont insuffisants pour capturer pleinement le signal. Notamment, 3 des 5 caractéristiques significatives du « slop » (Pertinence, Factualité, Cohérence) manquent de métriques automatiques fiables.
- Modèles de Récompense : Le WQRM s'aligne partiellement avec les étiquettes de « slop » mais ne parvient pas à capturer pleinement le concept, montrant une faible corrélation avec les jugements binaires de « slop » (0,15–0,25).
- Juges LLM : Les LLM dotés de capacités de raisonnement (GPT-5, o3-mini) échouent à identifier de manière fiable le « slop ». Ils sous-prédisent significativement l'étiquette « slop » par rapport aux humains (0,03–0,08 vs 0,34) et peinent avec l'extraction de segments (Précision $\approx$ 0,08–0,14). De plus, les LLM ont tendance à sur-représenter les problèmes de « Densité » dans leurs justifications tout en sous-représentant la Cohérence, le Ton et le Biais.

Signification et Revendications
L'article affirme fournir la première tentative systématique de caractérisation qualitative du « slop » dans les textes générés par les LLM à travers une taxonomie validée. Les auteurs soutiennent que le « slop » est distinct de la simple détection d'IA ; c'est une mesure de qualité qui peut s'appliquer à l'écriture humaine mais qui est particulièrement présente dans les sorties d'IA.

L'étude souligne que les pratiques actuelles d'évaluation automatisée sont insuffisantes pour mesurer le « slop ». Les métriques standards ne parviennent pas à capturer si un texte est véritablement utile ou bien écrit par rapport aux déficits spécifiques identifiés dans la taxonomie. Bien que les auteurs démontrent qu'une augmentation des problèmes le long des axes identifiés (Utilité de l'information, Qualité et Style) augmente la probabilité qu'un texte soit jugé comme « slop », ils concluent que les méthodes entièrement automatisées et scalables pour mesurer le « slop » restent un défi ouvert. La taxonomie proposée sert de cadre pour guider les améliorations futures des modèles de récompense basés sur les LLM et l'évaluation de la qualité, particulièrement pour les tâches subjectives où les jugements de préférence humaine sont critiques.

1. Définir la « Slop » (La Taxonomie)

2. Le Test Humain (Annoter la Slop)

3. Les Machines peuvent-elles la repérer ? (Le Contrôle Automatique)

La Conclusion

Articles similaires