💬 NLP

From Perceptions To Evidence: Detecting AI-Generated Content In Turkish News Media With A Fine-Tuned Bert Classifier

Deze studie vult een onderzoekskluf in door met een op een Turks BERT-model gebaseerde classifier voor het eerst empirisch, in plaats van op percepties gebaseerd, aan te tonen dat ongeveer 2,5% van de nieuwsinhoud in Turkse media door AI is herschreven.

Oorspronkelijke auteurs: Ozancan Ozdemir

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Ozancan Ozdemir

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Van Gokkels naar Bewijs: Hoe een Digitale Detektiv AI-Nieuws in Turkije Ontdekt

Stel je voor dat de wereld van het nieuws een enorme, drukke markt is. Tot voor kort waren alle kraampjes in handen van echte mensen: journalisten die hard werkten, feiten checkten en verhalen schreven. Maar toen kwam er een nieuwe, onzichtbare kracht op de markt: AI (kunstmatige intelligentie). Deze kracht kan net zo snel en net zo goed schrijven als een mens, maar dan zonder dat je het altijd merkt.

De vraag is: Hoeveel van die verhalen op de markt zijn eigenlijk geschreven door die onzichtbare kracht, en hoeveel door echte mensen?

In het Engels is dit al onderzocht, maar voor Turkse nieuwsmedia was het een raadsel. Niemand wist het zeker. Totdat Ozancan Ozdemir, een onderzoeker van de Universiteit van Groningen, besloot om een digitale speurhond te trainen om het antwoord te vinden.

Hier is hoe hij het deed, vertaald in een simpel verhaal:

1. Het Trainen van de Speurhond (De Data)

Om een goede speurhond te maken, heb je eerst veel voorbeelden nodig. Ozdemir pakte 3.600 nieuwsartikelen uit drie verschillende Turkse kranten:

Een krant die pro-regering is.
Een krant die pro-oppositie is.
Een neutrale krant in het midden.

Hij nam oude artikelen uit 2021 (toen AI nog niet in de krant zat) en liet die als "menselijk" labelen. Vervolgens gaf hij diezelfde artikelen aan ChatGPT met een speciale opdracht: "Schrijf dit verhaal opnieuw, maar verander de feiten niet. Gebruik de stijl van deze krant, maar maak het net iets anders."

Dit creëerde een perfecte vergelijking:

De Mens: Het originele verhaal.
De AI: Het herschreven verhaal dat er bijna hetzelfde uitziet, maar door een computer is gemaakt.

2. De Digitale Detektiv (Het BERT-model)

Ozdemir gebruikte een slim computerprogramma genaamd BERT. Denk aan BERT als een superleesende detective die de Turkse taal tot in de puntjes kent. Hij "lees" de 3.600 artikelen en leerde het verschil tussen een menselijke pen en een computercode.

Het resultaat? De detective werd 97% betrouwbaar. Hij kon met bijna 100% zekerheid zeggen: "Dit is door een mens geschreven" of "Dit is door AI herschreven".

3. De Grote Test (Het Onderzoek)

Nu de detective getraind was, ging hij aan het werk op een gigantische stapel van 3.500 nieuwe artikelen uit de afgelopen jaren (2023 tot 2026). Hij keek naar kranten van alle drie de politieke richtingen.

Wat vond hij?
Het was niet zo dat AI de hele markt overnam. Integendeel!

97,5% van de artikelen was nog steeds door echte mensen geschreven.
Maar... ongeveer 2,5% van de artikelen was door AI herschreven of aangepast.

Dat lijkt weinig, maar in een wereld van duizenden artikelen per dag is dat een flinke hoeveelheid. Het is alsof je in een grote zaal met 100 mensen staat, en 2 of 3 van die mensen zijn eigenlijk robots die perfect doen alsof ze mensen zijn.

4. Wat Betekent Dit voor Ons?

De studie laat zien dat AI in Turkije al langere tijd in de krant zit, maar dat het niet overal even vaak gebeurt. Soms gebruiken kranten AI om sneller te werken, om teksten te vertalen of om ze beter vindbaar te maken op Google.

De grote les:
Net zoals je niet altijd kunt zien of een schilderij door een mens of een robot is gemaakt, kun je ook niet altijd zien of een nieuwsartikel door AI is geschreven. Maar nu hebben we eindelijk een bewijsmiddel.

De auteur concludeert dat we transparantie nodig hebben. Als een krant AI gebruikt om een artikel te schrijven, moeten ze dat eerlijk zeggen. Net als op een voedingsetiket: "Bevat AI". Zo kunnen lezers zelf beslissen wie of wat ze vertrouwen.

Kortom:
Ozdemir heeft bewezen dat we niet hoeven te gokken of er AI in het nieuws zit. Met slimme technologie kunnen we het nu zien, meten en begrijpen. Het is een eerste stap om de markt van het nieuws eerlijk en transparant te houden.

Probleemstelling

De snelle integratie van Large Language Models (LLM's) in nieuwsredacties heeft vragen opgeworpen over de prevalentie van door AI gegenereerde of herschreven content. Hoewel er computergestuurde studies zijn uitgevoerd voor Engelstalige media, ontbreekt er tot nu toe elk empirisch onderzoek naar de Turkse nieuwsmedia. Bestaand onderzoek in Turkije is beperkt tot kwalitatieve interviews met journalisten of detectie van "fake news", maar niet tot het kwantificeren van AI-gebruik in nieuwsartikelen.

De specifieke uitdagingen voor de Turkse taal zijn:

Morfologische complexiteit: Turks is een agglutinerende taal met een rijke morfologie, waardoor modellen die voor analytische talen (zoals Engels) zijn ontwikkeld, niet direct toepasbaar zijn.
Media-polarisatie: De Turkse media landschap is sterk gepolariseerd (pro-regering, oppositie, centraal), wat unieke patronen van bias en schrijfstijl met zich meebrengt.
Gebrek aan data: Er is geen bestaande dataset voor het detecteren van AI-gereviseerde content in het Turks.

Methodologie

1. Dataverzameling en Constructie

Bronnen: De auteurs verzamelden data van drie grote Turkse nieuwsmedia met verschillende redactionele oriëntaties: een pro-regeringskrant, een oppositie-krant en een centrale (neutrale) krant. De namen zijn om privacyredenen geanonimiseerd.
Human-Written Data (Ground Truth): 2.000 willekeurig geselecteerde artikelen uit 2021. Dit jaar werd gekozen omdat men ervan uitging dat er nog geen sprake was van LLM-ondersteuning, waardoor deze artikelen dienen als "menselijk geschreven" labels.
AI-Generated/Revised Data: ChatGPT (versie 5.2 in de context van het paper) werd gebruikt om de menselijke artikelen te herschrijven. Er werd een strikte prompt gebruikt om de betekenis, feiten, tijden en lengte van het origineel te behouden, maar de stijl, zinsbouw en vloeiendheid aan te passen aan de specifieke krant.
Dataset: De uiteindelijke gelabelde dataset bevat 3.600 artikelen (1.800 menselijk, 1.800 AI-herschreven), verdeeld over de drie bronnen. De semantische gelijkenis tussen origineel en herschreven tekst is gemiddeld 0,9 (cosine similarity), wat zorgt voor een robuuste testomgeving.

2. Model Architectuur en Fine-Tuning

Basis Model: Er werd gebruikgemaakt van dbmdz/bert-base-turkish-cased, een specifiek voor het Turks getraind BERT-model ontwikkeld door het Munich Digitization Center (MDZ). Dit model is getraind op een corpus van ca. 35 GB Turks taalgebruik en houdt rekening met de hoofdlettergevoeligheid van het Turks (bijv. het onderscheid tussen 'I' en 'ı').
Opdracht: Binair classificatie (Menselijk vs. AI-herschreven).
Fine-Tuning: Het model werd end-to-end gefinetuned met een extra classificatielaag bovenop de [CLS] token.
- Optimizer: AdamW met een learning rate van $2 \times 10^{-5}$ .
- Regularisatie: Dropout (0.2), Label Smoothing (0.1) en Early Stopping (patience 2) om overfitting te voorkomen.
- Hyperparameters: Maximale sequentielengte van 512 tokens, batch size 16, en training gedurende 6 epochs.
- Hardware: Getraind op een NVIDIA Tesla T4 GPU met mixed-precision (FP16).

3. Evaluatie

De dataset werd gesplitst in 80% training, 10% validatie en 10% test (stratified split).
De prestaties werden gemeten op Accuracy, Precision, Recall en F1-score.
Externe Validatie: Het getrainde model werd toegepast op meer dan 3.500 ongeziene artikelen uit de periode 2023–2026 om de prevalentie van AI-gebruik in de echte wereld te schatten.

Belangrijkste Resultaten

Modelprestaties: Het gefinetunde model bereikte op de held-out testset een F1-score van 97,08%, met een symmetrische prestatie voor beide klassen (Precision: 99,38%, Recall: 98,78%). Dit bevestigt dat het model geen systematische bias heeft ten opzichte van een van de klassen.
Externe Analyse (2023-2026):
- Toepassing op 3.500+ nieuwe artikelen toonde aan dat het model zeer zeker is in zijn voorspellingen (gemiddelde betrouwbaarheidsscore > 96%).
- Prevalentie: De schatting is dat ongeveer 2,5% van de nieuwsartikelen in de onderzochte periode door een LLM is herschreven of gereviseerd.
- Trend: Het gebruik was het hoogst in 2023 (een jaar na de release van ChatGPT), daalde daarna, en steeg in januari 2026 weer naar het niveau van 2023.
- Bronverschillen: De pro-oppositie krant had het hoogste percentage menselijk geschreven content, terwijl de pro-regeringskrant het laagste percentage had, hoewel de verschillen klein waren.

Bijdragen

Eerste Dataset: Constructie van de eerste gelabelde dataset (3.600 artikelen) specifiek voor het detecteren van AI-gereviseerde content in het Turks.
Deep Learning Baseline: Het vaststellen van de eerste deep learning baseline voor dit probleem met een fine-tuned Turkish BERT-model.
Empirisch Bewijs: De eerste computergestuurde kwantificering van AI-gebruik in Turkse media over een periode van meerdere jaren, in plaats van alleen te vertrouwen op zelfgerapporteerde percepties van journalisten.
Reproduceerbaarheid: Documentatie van de volledige pijplijn (datacollectie, preprocessing, training, evaluatie) als basis voor toekomstig onderzoek in onderbelichte talen.

Betekenis en Conclusie

De studie bewijst dat het mogelijk is om AI-gereviseerde content in een morfologisch complexe taal als het Turks betrouwbaar te detecteren. De bevindingen tonen aan dat AI-gebruik in de Turkse nieuwsmedia een meetbaar fenomeen is geworden, zij het op dit moment beperkt tot een klein percentage (ca. 2,5%).

De auteurs benadrukken dat de afwezigheid van transparantie een bedreiging vormt voor het publieke vertrouwen in journalistiek. Ze pleiten ervoor dat nieuwsartikelen die met behulp van een taalmodel zijn gegenereerd, herschreven of geredigeerd, duidelijk gelabeld moeten worden. Deze studie vormt een fundamentele basis voor toekomstig onderzoek op het snijvlak van Turkse NLP, computationeel journalistiek en mediastudies, en biedt een kader voor het monitoren van media-integriteit in niet-Engelstalige omgevingen.