Technische Samenvatting: Op weg naar het detecteren van persuasie op sociale media

Probleemstelling

Het artikel adresseert de kritieke uitdaging van het detecteren van persuasieve elementen binnen politieke reclame op sociale media. Waar politieke propaganda de publieke opinie vormgeeft door middel van subtiele technieken (zoals geladen taal, scheldwoorden en appellen aan angst), is handmatige detectie door de omvang van de inhoud steeds minder haalbaar. Bestaande computationele benaderingen vertrouwen vaak op zware ensemble-modellen van transformers of uitgebreide data-augmentatie, wat hoge drempels creëert voor toegang wat betreft rekenkracht en data-eisen. Bovendien bestaat er een kennislacune over hoe deze detectiemodellen presteren wanneer ze worden overgebracht van mainstream nieuwsdomeinen naar de specifieke context van politieke advertenties op sociale media.

Methodologie

Het onderzoek is gestructureerd in twee onderling verbonden studies:

Studie 1: Ontwikkeling van een lichtgewicht model (SemEval-2023)

De auteurs ontwikkelden PPAsy (Persuasion Prediction Asymmetric), een nieuwe aanpak voor meervoudige labelclassificatie voor het detecteren van 23 verschillende persuasietechnieken.

• Modelarchitectuur: De studie selecteerde XLNet-base (110 miljoen parameters) als ruggengraat, waarbij prioriteit werd gegeven aan een balans tussen prestaties en resource-efficiëntie boven grotere ensemble-modellen.
• Verliesfunctie: Een aangepaste Asymmetrische Binaire Cross-Entropy-verliesfunctie werd geïntroduceerd om ernstige labelonevenwichtigheid aan te pakken. Deze functie past instantie-specifieke weging ($w_i$) toe, gemoduleerd door een parameter $\beta$, en straalt misclassificaties variabel af op basis van de klassenverdeling.
• Datastrategie: In plaats van te trainen op alle beschikbare meertalige data, vertaalden de auteurs alleen het Franse subset (dat alle 23 labels bevatte en het hoogste gemiddelde aantal technieken per document had) naar het Engels. Dit verkleinde de trainingsdatagrootte tot ongeveer 153K tokens, aanzienlijk kleiner dan de 1,16 miljoen tokens die door state-of-the-art (SOTA) concurrenten werden gebruikt.
• Preprocessing: Minimale preprocessing werd toegepast (lemmatisatie, omzetting naar kleine letters), waarbij leestekens behouden bleven omdat bleek dat dit de interpretatie van het model verbeterde.

Studie 2: Domeinadaptatie en toepassing in de echte wereld (APA22)

De tweede studie evalueerde de bruikbaarheid van het model op een nieuw samengesteld dataset, APA22, bestaande uit 56.958 politieke advertenties van de Australische federale verkiezingen van 2022, verzameld via de Meta Ad Library.

• Domeinadaptatie: Het model dat was getraind op SemEval-23 (nieuwsartikelen) werd getest op APA22. Na het vaststellen van een prestatiedaling werd het model fine-tuned op een handmatig geannoteerd subset van APA22 (658 samples, binair gemaakt tot "persuasief" versus "neutraal").
• Analyse: Het gefinetuned model labelde het volledige APA22-dataset om patronen te analyseren in financiering, demografie, temporele verschuivingen en linguïstische kenmerken (bi-grammen en TF-IDF) die advertenties met hoge persuasie onderscheiden van die met lage persuasie.

Belangrijkste bijdragen

1. Efficiënte modelontwikkeling: Introductie van een lichtgewicht model voor meervoudige labelclassificatie dat SOTA-prestaties bereikt op SemEval-2023 Taak 3 Subtaak 3 met aanzienlijk gereduceerde rekenkosten.
2. Resource-efficiëntie: De voorgestelde aanpak vereist ongeveer 86,8% minder data, tot 77,6% minder parameters (vergeleken met het APatt-ensemble) en 86,2% minder trainingstijd (vergeleken met KInIT), terwijl het bestaande SOTA-methoden overtreft of gelijktrekt.
3. Nieuwe dataset (APA22): Creatie en gedeeltelijke annotatie van een grootschalige dataset van politieke advertenties van de Australische federale verkiezingen van 2022, die de kloof overbrugt tussen academische benchmarks en content uit de echte wereld op sociale media.
4. Empirische inzichten: Aantonen dat domeinspecifieke hertraining essentieel is voor de analyse van advertenties op sociale media, en het blootleggen van onderscheidende persuasiestrategieën (zoals hogere uitgaven en langere duur voor advertenties met hoge persuasie) in politieke campagnes.

Resultaten

Prestaties op SemEval-2023

• PPAsy-XLNet behaalde een F1-Micro van 40,62% en een F1-Macro van 21,78% op de Engelse testset.
• Dit presteerde beter dan de baseline SVM (19,51% F1-Micro) en overtrof het APatt-ensemble (37,56% F1-Micro) en het KInIT RoBERTa-large-model (40,38% F1-Micro), ondanks het gebruik van een fractie van de parameters en trainingsdata.
• Ablatiestudies bevestigden dat de aangepaste verliesfunctie en het specifieke gebruik van het van Frans naar Engels vertaalde dataset cruciale drijvers waren voor de prestaties.

Prestaties op APA22

• Domeinverschuiving: Bij directe toepassing op APA22 zonder hertraining bereikte het op SemEval-getrainde model slechts 59,39% nauwkeurigheid, wat een significante kloof tussen nieuwsartikelen en advertenties op sociale media benadrukt.
• Fine-tuning: Hertraining op het APA22-subset verbeterde de nauwkeurigheid tot 82,42%, wat de noodzaak van domeinspecifieke data aantoont.

Inzichten uit APA22-analyse

• Correlatie met bereik: Advertenties die werden geclassificeerd als "hoge persuasie" (met >80% persuasieve zinnen) kregen 45,6% meer impressies en 48,2% meer uitgaven dan advertenties met "lage persuasie".
• Temporele dynamiek: Uitgaven en impressies voor advertenties met hoge persuasie steeg aanzienlijk (tot 4,8x) in de dagen voorafgaand aan de verkiezingen, terwijl advertenties met lage persuasie een stabiele, bescheiden groeitraject vertoonden.
• Linguïstische patronen: Advertenties met hoge persuasie maakten gebruik van actie-gerichte vocabulaire ("stemmen", "toekomst", "verandering") en emotionele bi-grammen ("klimaatverandering", "betere toekomst"). Advertenties met lage persuasie richtten zich op informatieve, lokale en administratieve details ("lokaal", "ondersteuning", "kleine onderneming").

Betekenis en claims

Het artikel claimt dat het werk de noodzaak van domeinspecifieke modellering onderstreept voor het analyseren van persuasie op sociale media. Het betoogt dat hoewel zware, resource-intensieve modellen gebruikelijk zijn, efficiënte, lichtgewicht modellen vergelijkbare of superieure resultaten kunnen bereiken wanneer ze worden gekoppeld aan strategische data-selectie (bijvoorbeeld het selecteren van het meest diverse taal-subset).

De auteurs stellen dat het blootleggen van deze persuasiestrategieën via automatische detectie kan:

• Transparantie in democratische processen verbeteren.
• Kiesers informeren over de aard van politieke boodschappen.
• Verantwoordingsplicht in digitale campagnes bevorderen.

De studie concludeert dat hoewel de huidige modellen een fundament bieden voor het begrijpen van digitale persuasie, toekomstig werk multimodale benaderingen (integratie van afbeeldingen) moet verkennen en classificatiestrategieën moet verfijnen om de complexe wisselwerking tussen tekst en visuele media bij het vormgeven van de publieke opinie beter te vatten. De auteurs blijven bescheiden wat betreft de beperkingen van hun data (bijvoorbeeld de afhankelijkheid van zelf gerapporteerde politieke vlaggen van Meta en het ontbreken van precieze micro-targeting-data) en de uitdagingen om bevindingen te generaliseren over verschillende politieke contexten.