Propaganda Forensics: Recovering the Generation Pipeline of an AI-Driven Influence Campaign

In het moderne informatielandschap is een nieuw soort ruis ontstaan, voortgekomen uit de snelle vooruitgang van kunstmatige intelligentie. Large language models, de krachtige computersystemen die in staat zijn om menselijke tekst te genereren, hebben de drempel voor het creëren van nieuwsartikelen op industriële schaal verlaagd. Hoewel deze tools vaak worden gevierd om hun nut, bezitten ze een dubbelzinnige natuur: ze kunnen worden gebruikt om bestaande verhalen te herschrijven naar een vorm die ontworpen is om de publieke opinie te manipuleren. Dit fenomeen, soms "slopaganda" genoemd, houdt in dat echt nieuws wordt genomen en wordt hervormd om in een specifiek, vaak misleidend narratief te passen. De uitdaging voor onderzoekers is niet langer alleen het opsporen van overduidelijke leugens, maar het onderscheiden van authentieke journalistiek en content die algoritmisch is gewijzigd om echt te lijken. Om te begrijpen hoe deze manipulatie werkt, moeten wetenschappers optreden als forensische analisten, waarbij ze de digitale vingerafdrukken onderzoeken die door de machines die de tekst creëren, zijn achtergelaten.

Een team van onderzoekers van instellingen waaronder Sorbonne Universiteit en Airbus richtte onlangs hun aandacht op een specifieke, grootschalige beïnvloedingscampagne genaamd Storm-1516. Deze operatie, die zich op het Franse publiek richtte, beheerde een netwerk van vierentachtig websites die legitieme nieuwsmedia zoals Le Monde en France Télévisions imiteerden. Deze sites publiceerden duizenden artikelen die leken op standaardnieuws, maar in werkelijkheid deel uitmaakten van een gecoördineerde inspanning om pro-Russische narratieven te verspreiden. De onderzoekers verzamelden 2.646 van deze artikelen in een nieuwe collectie die ze PROPAGIA noemden. Om te begrijpen wat deze teksten anders maakte dan echte journalistiek, vergeleken ze ze met een controlegroep van 2.385 door mensen geschreven artikelen van een grote Franse dagblad, Ouest-France, die dezelfde periode besloegen. Het doel was om niet alleen vast te stellen of de teksten door machines waren geschreven, maar ook om de specifieke instructies te ontdekken die aan de machines waren gegeven en om de familie van kunstmatige intelligentie-modellen te identificeren die verantwoordelijk was.

De eerste stap in het onderzoek was het analyseren van de stijl en toon van het schrijven. De onderzoekers ontdekten dat de artikelen in de PROPAGIA-collectie aanzienlijk vager en subjectiever waren dan de door mensen geschreven artikelen. Waar een echte journalist doorgaans specifieke bronnen zou citeren, experts zou benoemen of concrete details zou geven, vertrouwden de door AI gegenereerde teksten zwaar op algemene beweringen en emotionele taal. De propagandartikelen waren ook veel negatiever en bouwden vaak een gevoel van angst of overdrijving rond gebeurtenissen op. Ze citeerden externe stemmen veel minder frequent, waarbij de eigen beweringen van de auteur werden gesubstitueerd voor verifieerbare feiten. Dit patroon suggereerde een bewuste strategie om feitelijke verslaglegging te vervangen door opinie, een techniek die de content moeilijker controleerbaar maakt en makkelijker bruikbaar voor emotionele manipulatie.

Het meest directe bewijs van machinebetrokkenheid kwam uit een verrassende bron: de tekst zelf. In vijftig van de vierentachtig websites ontdekten de onderzoekers dat de kunstmatige intelligentie per ongeluk delen van zijn eigen instructies had achtergelaten. Deze "lekken" verschenen als aantekeningen of checklists ingebed in de gepubliceerde artikelen, wat de exacte commando's onthulde die de operators aan de machine hadden gegeven. Zo'n document bevatte een redactionele specificatie van tien punten, waarin het model de opdracht kreeg verhalen te herschrijven terwijl het vermeldingen van andere media vermeed, specifieke politieke leiders veroordeelde en de Russische president in een positief daglicht stelde. Deze instructies verklaarden de patronen in de tekst: het gebrek aan bronnen, de negatieve toon en de specifieke politieke kleur waren geen willekeurige fouten, maar het resultaat van een strikt, geautomatiseerd recept. De aanwezigheid van deze lekken bevestigde dat de content niet louter door een mens met een vooroordeel was geschreven, maar werd gegenereerd door een machine die een rigide set regels volgde.

Om te bepalen welk specifiek type kunstmatige intelligentie werd gebruikt, hanteerden de onderzoekers een methode die testte hoe verschillende modellen reageerden op de tekst. Ze vroegen verschillende AI-systemen om de artikelen te herschrijven en observeerden hoeveel elk systeem de oorspronkelijke bewoording veranderde. De logica was dat als een AI-model oorspronkelijk een tekst had geschreven, het minder waarschijnlijk zou zijn dat het zijn eigen werk aanzienlijk zou veranderen wanneer het gevraagd werd om te herschrijven, vergeleken met hoe het een door een mens geschreven tekst zou veranderen. De resultaten toonden een duidelijk patroon: de modellen waarvan de inlichtingendiensten werden vermoed dat ze achter de campagne zaten, specifiek die uit de Llama 3-familie, wijzigden de propagandartikelen het minst. Interessant genoeg vertoonden modellen uit de Mistral-familie een vergelijkbaar patroon, wat suggereert dat de campagne mogelijk een mix van gerelateerde technologieën gebruikte of dat deze verschillende families soortgelijke onderliggende kenmerken delen.

De studie concludeerde dat de Storm-1516-campagne een geavanceerde operatie was die vertrouwde op een pipeline van generatieve AI om propaganda op massale schaal te produceren. Door de tekst te analyseren op tekenen van vaagheid, de gelekte instructies te vinden en te testen hoe verschillende modellen de content herschreven, waren de onderzoekers in staat het generatieproces te reconstrueren. Ze ontdekten dat de campagne een specifieke set instructies gebruikte om de AI te dwingen negatieve, bronloze narratieven te produceren die de stijl van echt nieuws nabootsten. Hoewel de onderzoekers niet één specifiek model konden aanwijzen, suggereerde hun bewijsvoering sterk dat de Llama 3-familie van modellen centraal stond in de operatie, potentieel samen met Mistral-modellen. Dit forensische werk biedt een blauwdruk voor hoe men toekomstige door AI gedreven beïnvloedingscampagnes kan detecteren en begrijpen, waarbij men verder gaat dan eenvoudige detectie naar het begrijpen van de mechanica van hoe de manipulatie wordt geconstrueerd.