💬 NLP

Measuring AI "Slop" in Text

Dit artikel behandelt het gebrek aan een standaarddefinitie voor AI-"slop" door een taxonomie en interpreteerbare dimensies te ontwikkelen via expertinterviews, waarmee wordt aangetoond dat hoewel binaire oordelen subjectief zijn, ze correleren met latente factoren zoals coherentie en relevantie om een betere evaluatie van door AI gegenereerde tekst mogelijk te maken.

Oorspronkelijke auteurs: Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat het internet een enorme, bruisende marktplaats is. Lange tijd verkochten leveranciers (mensen) verse, handgemaakte goederen. Maar onlangs is er een vloedgolf van goedkope, massaal geproduceerde artikelen gearriveerd. Ze zien er van een afstandje oké uit, maar van dichtbij voelen ze flauw, repetitief en hol aan. In de wereld van AI zijn mensen dit kwalitatief laagwaardige, door AI gegenereerde troep "slop" gaan noemen.

Dit artikel is als een team van experts die probeert een kwaliteitscontrolehandleiding voor deze slop te bouwen. Ze willen twee grote vragen beantwoorden: Wat maakt tekst precies tot "slop"? en Kunnen we een machine bouwen die het automatisch herkent?

Hier is de uitslag van hun bevindingen, met gebruik van eenvoudige analogieën:

1. Het definiëren van de "Slop" (De Taxonomie)

De onderzoekers gokten niet zomaar wat slop is. Ze interviewden 19 experts — schrijvers, journalisten, filosofen en AI-wetenschappers — om een duidelijke definitie te krijgen. Ze realiseerden zich dat "slop" niet één ding is; het is een mix van drie hoofpproblemen, zoals een slechte maaltijd die te zout is, te flauw is en op een vuil bord wordt geserveerd.

Ze organiseerden deze problemen in een checklist genaamd een Taxonomie:

Informatieve Bruikbaarheid (De "Lege Kom"):
- Dichtheid: De tekst zit vol woorden maar bevat heel weinig echt vlees. Het is als een soep die voor 90% uit water bestaat en voor 10% uit bouillon.
- Relevantie: De tekst praat over zaken die er niet toe doen voor de gestelde vraag. Het is alsof je een burger bestelt en een lezing krijgt over de geschiedenis van koeien.
Informatiekwaliteit (De "Bedorven Ingrediënten"):
- Feitelijkheid: De tekst verzint dingen of krijgt feiten verkeerd (hallucinaties).
- Bias: De tekst klinkt te robotachtig of neutraal wanneer het een menselijke stem zou moeten hebben, of neemt een vreemd, eenzijdig standpunt in.
Stijlkwaliteit (De "Slechte Presentatie"):
- Repetitie & Templatedness: De AI blijft steeds hetzelfde zeggen of gebruikt steeds dezelfde zinsstructuur, als een kapotte plaat.
- Verbositeit: Het gebruikt 100 woorden om te zeggen wat in 10 woorden gezegd had kunnen worden. Het is "woordrijk" zonder "wijs" te zijn.
- Coherentie & Toon: De ideeën stromen niet logisch door, of de toon voelt vreemd aan (zoals een robot die een grap probeert te vertellen).

2. De Menselijke Test (Het Annoteren van de Slop)

Om te zien of hun checklist werkte, huurden ze professionele redacteurs in om 150 nieuwsartikelen en 100 Q&A-passages te lezen. Ze vroegen de redacteurs om specifieke "slordige" delen van de tekst te markeren.

De Verrassing:
Zelfs de experts waren het niet altijd eens over wat "slop" was.

Het Subjectiviteitsprobleem: De ene redacteur vindt een tekst "slop" omdat het te woordrijk is, terwijl een andere denkt dat het prima is.
De Verbinding: Echter, wanneer de redacteurs het wél eens waren dat een tekst slop was, kwam dat meestal omdat de tekst een gebrek had aan relevantie (beantwoordde de vraag niet) of dichtheid (was te leeg).
Het Domeinverschil:
- In het Nieuws ging slop vooral over slechte stijl en toon (te formeel, te repetitief).
- In Q&A ging slop vooral over het fout krijgen van feiten of een slordige structuur.

3. Kunnen Machines het Herkennen? (De Automatische Controle)

De onderzoekers probeerden te zien of huidige AI-tools dit slop automatisch konden signaleren zonder menselijke hulp. Ze testten drie dingen:

Standaard Mathematische Metrieken: Ze gebruikten klassieke wiskundige instrumenten (zoals het tellen van de woordlengte of het controleren op herhaalde woorden).
- Resultaat: Deze tools waren redelijk in het opsporen van "woordrijke" tekst, maar faalden in het vangen van de subtielere zaken zoals "is dit relevant?" of "maakt dit ergens zin?".
AI Reward Models: Ze gebruikten geavanceerde AI-modellen die getraind zijn om de kwaliteit van schrijven te beoordelen.
- Resultaat: Deze modellen konden het verschil zien tussen "goed" en "slecht" schrijven in algemene zin, maar ze konden "slop", zoals gedefinieerd door mensen, niet specifiek identificeren. Ze misten de nuance.
AI Judges (LLM's als Rechters): Ze vroegen krachtige AI-modellen (zoals GPT-5 en anderen) om de tekst te lezen en te zeggen: "Is dit slop?" en "Markeer de slechte delen."
- Resultaat: Ze faalden jammerlijk. De AI-rechters waren verschrikkelijk in dit. Ze misten de slop vaak volledig of markeerden de verkeerde delen. Ze hadden de neiging om alleen te focussen op "woordrijkheid" en negeerden de rest.

De Kernconclusie

Het artikel concludeert dat hoewel we een goede door mensen gedefinieerde checklist hebben voor hoe "slop" eruit ziet (het gaat vooral over irrelevant, leeg of repetitief zijn), we nog steeds geen betrouwbare robot hebben die het automatisch kan vinden.

Momenteel heb je nog steeds een mens nodig die de tekst leest en zijn oordeel gebruikt als je wilt weten of tekst "slop" is. De automatische tools zijn als een metaaldetector die alleen grote stenen vindt, maar de kleine, waardevolle edelstenen (of de kleine, irritante stukjes afval) verborgen in het zand mist.

Wat het artikel NIET beweert:

Het zegt niet dat we AI-schrijven moeten verbieden.
Het beweert niet dat deze methode AI in de toekomst zal oplossen (het zegt alleen dat het een open uitdaging is).
Het suggereert niet om dit te gebruiken voor medische of juridische beslissingen.
Het richt zich strikt op het definiëren van het probleem en het aantonen dat de huidige geautomatiseerde oplossingen nog niet klaar zijn om het op te lossen.

Technische Samenvatting: Het meten van AI-"slop" in tekst

Probleemstelling
De term "slop" is opgekomen om generieke, kwalitatief minderwaardige inhoud te beschrijven die door Large Language Models (LLM's) wordt gegenereerd, gekenmerkt door niet-feitelijke beweringen, een lage informatiedichtheid en structurele eigenaardigheden. Ondanks de alomtegenwoordigheid van de term in het publieke discours en de relevantie ervan voor het groeiende gebruik van AI bij schrijftaken en informatieverzameling, is er geen algemeen aanvaarde definitie of gestandaardiseerde methode voor het meten van "slop". Huidige methoden voor AI-tekstdetectie richten zich op het onderscheiden van menselijke versus machinale oorsprong, terwijl "slop" een kwaliteitsmeting is die van toepassing is op elke tekstbron. Bovendien schieten bestaande tekstkwaliteitsmetrieken (bijv. BLEU, ROUGE) en automatische evaluatiemodellen vaak tekort in het vastleggen van de specifieke stilistische en inhoudelijke gebreken die "slop" constitueren, zoals vaagheid, een gebrek aan perspectief of structurele templatedness.

Methodologie
De auteurs hanteren een meerfasige aanpak om "slop" te conceptualiseren, te operationaliseren en te evalueren:

Taxonomieontwikkeling: Door middel van interviews met 19 experts in NLP, schrijven, journalistiek, taalkunde en filosofie, hebben de auteurs een werkdefinitie en taxonomie van "slop" afgeleid. Met behulp van kwalitatieve inhoudsanalyse en deductieve codering hebben zij de expertdefinities naar meetbare concepten vertaald, gecategoriseerd in drie thema's:
- Informatie-utiliteit: Dichtheid (substantiële inhoud relatief aan de lengte) en Relevantie (afstemming op taak/prompt).
- Informatiekwaliteit: Feitelijkheid (nauwkeurigheid/hallucinaties) en Bias (aanwezigheid/afwezigheid van noodzakelijke subjectiviteit).
- Stijlkwaliteit: Structuur (repetitie, templatedness), Coherentie, Toon, Vloeiendheid, Verbaalheid en Woordcomplexiteit.
Dataverzameling en Annotatie: Het kader werd gevalideerd met behulp van span-niveau annotaties op twee datasets:
- Nieuwsartikelen: 150 artikelen (menselijk geschreven versus AI-gegenereerd door Claude 3.5, GPT-4o, o1-pro) van Russell et al. (2025).
- Retrieval-Augmented QA: 100 passages uit MS MARCO met reacties gegenereerd door Llama-4, OLMo-2, Mistral-7B, GPT-4o en Gemma-2.
  Pro-copyredacteuren annoteerden spans voor specifieke "slop"-codes. De inter-annotator overeenstemming werd gemeten met Cohen's $\kappa$ , Gwet's AC1 en Krippendorff's $\alpha_{MASI}$ .
Analyse van Latente Dimensies: Logistische regressiemodellen werden gefit om te bepalen welke geannoteerde span-niveau codes binaire "slop"-oordelen voorspellen. De studie analyseerde correlaties tussen deze menselijke oordelen en automatische metrieken.
Evaluatie van Automatische Meting: De auteurs evalueerden de effectiviteit van:
- Lineaire Modellen: Gebruik van standaard automatische tekstmetrieken (bijv. compressieratio's, subjectiviteitslexicon, leesbaarheidsscores) om "slop" te voorspellen.
- Reward Modellen: Het testen van het Writing Quality Reward Model (WQRM) tegen de "slop"-labels.
- LLM-as-a-Judge: Het prompten van GPT-5, Deepseek-V3 en o3-mini om binaire "slop"-labels te identificeren en "slop" spans te extraheren in zero-shot en few-shot settings.

Belangrijkste Resultaten

Subjectiviteit en Overeenstemming: Binaire "slop"-oordelen zijn enigszijn subjectief, waarbij annotatoren een matige tot redelijke overeenstemming vertoonden op het gebied van algemene documentlabels ( $\kappa \approx -0.15$ tot $0.29$). Echter, de overeenstemming verbetert wanneer er wordt gecorrigeerd voor prevalentie (AC1) en wanneer er wordt gefocust op specifieke codes. Codes voor Factualiteit, Bias en Structuur bereikten een betrouwbare annotatie ($AC1 > 0.5$), terwijl cognitief veeleisende constructen zoals Coherentie, Dichtheid en Relevantie een matige tot uitdagende overeenstemming vertoonden.
Voorspellende Validiteit: Het aantal geannoteerde "slop"-spans correleert sterk met algemene "slop"-oordelen ( $\rho \approx 0.63$ ). Over verschillende domeinen heen waren Relevantie, Dichtheid en Toon de sterkste voorspellers van een tekst die als "slop" werd bestempeld.
Domeinspecificiteit: Het belang van specifieke dimensies varieert per taak. Voor nieuwsartikelen zijn stijlkwaliteit (Coherentie, Toon) en utiliteit (Dichtheid, Relevantie) significant. Voor QA-taken zijn Feitelijkheid en Structuur de primaire drijfveren van "slop"-oordelen.
Falen van Automatische Methoden:
- Lineaire Modellen: Hoewel lineaire modellen met beschikbare automatische metrieken een AUPRC bereikten die ongeveer het dubbele was van de prevalentie-baseline (0.52 voor Nieuws, 0.55 voor MS MARCO), zijn ze onvoldoende om het signaal volledig te vangen. Opvallend genoeg ontbreken voor 3 van de 5 significante "slop"-kenmerken (Relevantie, Feitelijkheid, Coherentie) betrouwbare automatische metrieken.
- Reward Modellen: De WQRM stemt gedeeltelijk overeen met "slop"-labels maar slaagt er niet in het concept volledig te vatten, waarbij een lage correlatie wordt getoond met binaire "slop"-oordelen (0.15–0.25).
- LLM Judges: In staat tot redeneren zijnde LLM's (GPT-5, o3-mini) falen in het betrouwbaar identificeren van "slop". Ze onderschatten het "slop"-label aanzienlijk vergeleken met mensen (0.03–0.08 versus 0.34) en hebben moeite met span-extractie (Precisie $\approx$ 0.08–0.14). Bovendien hebben LLM's de neiging om "Dichtheid"-problemen te oververtegenwoordigen in hun rationales en Coherentie, Toon en Bias te ondervertegenwoordigen.

Significantie en Claims
Het artikel claimt de eerste systematische poging te bieden om "slop" in door LLM gegenereerde tekst kwalitatief te karakteriseren via een gevalideerde taxonomie. De auteurs stellen dat "slop" verschillend is van eenvoudige AI-detectie; het is een kwaliteitsmaatstaf die ook op menselijk schrijven van toepassing kan zijn, maar met name veel voorkomt in AI-outputs.

De studie benadrukt dat huidige automatische evaluatiepraktijken onvoldoende zijn om "slop" te meten. Standaardmetrieken falen in het vastleggen van de vraag of een tekst daadwerkelijk nuttig of goed geschreven is in relatie tot de specifieke gebreken die in de taxonomie zijn geïdentificeerd. Hoewel de auteurs aantonen dat een toename van problemen langs de geïdentificeerde assen (Informatie-utiliteit, Kwaliteit en Stijl) de waarschijnlijkheid vergroot dat een tekst als "slop" wordt beoordeeld, concluderen zij dat volledig geautomatiseerde en schaalbare methoden voor het meten van "slop" een openstaand probleem blijven. De voorgestelde taxonomie dient als een kader voor het begeleiden van toekomstige verbeteringen in LLM-gebaseerde reward modellen en kwaliteitsbeoordeling, met name voor subjectieve taken waar menselijke voorkeursoordelen cruciaal zijn.

1. Het definiëren van de "Slop" (De Taxonomie)

2. De Menselijke Test (Het Annoteren van de Slop)

3. Kunnen Machines het Herkennen? (De Automatische Controle)

De Kernconclusie

Meer zoals dit