Auditing Differential Visibility of Political Content on TikTok

Technische Samenvatting: Audit van de Differentiële Zichtbaarheid van Politieke Content op TikTok

Probleemstelling
Beschuldigingen dat TikTok politieke content "shadow bant"—het stilletjes beperken van het bereik van specifieke standpunten over omstreden kwesties—vormen het gedrag van makers, beslissingen van adverteerders en regelgevende agenda's. Het beoordelen van deze claims is echter moeilijk omdat platforms hun rangschikkingsalgoritmen niet openbaar maken. Bestaande audits en rapporten van belangenorganisaties vertrouwen doorgaans op het vergelijken van geaggregeerde totalen van weergaven of interacties tussen tegenoverliggende zijden van een debat. De auteurs stellen dat deze vergelijkingen vaak falen omdat ze de juiste eenheid van onafhankelijke observatie niet identificeren, wat leidt tot spuure conclusies over onderdrukking. Het kernprobleem van de methodologie is het onderscheiden van een werkelijke actie van het platform versus artefacten van de datastructuur, zoals pseudoreplicatie en verstorende variabelen.

Methodologie
De studie construeert een dichte, per uur gemeten paneldataset om de zichtbaarheidsmechanismen van TikTok te auditen over drie omstreden onderwerpen: Amerikaanse immigatiedienst handhaving (ICE), berichtgeving over Trump, en Israël/Palestina.

• Gegevensverzameling: De auteurs volgden 6-67 gecureerde politieke accounts (die zowel "voor" als "tegen" zijden van elk onderwerp vertegenwoordigen) over een venster van 26 dagen (3–28 april 2026). Ze verzamelden per uur snapshots van 2.753 video's, waarbij playCount, diggCount (likes), commentCount, shareCount, collectCount (saves) en volgersaantallen werden geregistreerd. Dit leverde 556.946 observaties op, met een mediaan van 99 uurlijkse snapshots per video.
• Standpunt en Relevantie: Een multi-step ensemble LLM-classifier (GPT-4o, Gemini, Claude Sonnet) identificeerde on-topic video's. Cruciaal voor de primaire analyse werd het standpunt van een video afgeleid van de gecureerde zijde van het account waar het bij hoorde, in plaats van de per-video classifier-label, om de resultaten te beschermen tegen classifier-fouten op niet-Engelse content.
• Metrieken:
  • Bereik: Gemeten als ViewsPer1K (1.000 × playCount / volgers) om te normaliseren voor de omvang van het publiek.
  • Interactie: Gemeten als het totaal aantal reacties gedeeld door het aantal weergaven.
• Analytisch Ontwerp: De primaire analyse-eenheid is het account, niet de video of de uurlijkse snapshot. De auteurs aggregeren video-niveau data naar accountniveau (met behulp van de mediaan van de piekbereik) en voeren randomisatie-inferentie uit (het permuteren van standpuntlabels over accounts) en Mann–Whitney U-testen. Ze hebben hun analysegrid, estimators en discovery/confirmatory splits vooraf geregistreerd.
• Validatie: De studie bevat een geconstrueerde nul-simulatie (het willekeurig toewijzen van standpuntlabels) om fout-positieve percentages te testen en een poweranalyse om de detecteerbare effectgroottes te bepalen.

Belangrijkste Bijdragen

1. Dichte Panel-audit: Het artikel biedt een hoogwaardige, door een classifier gelabelde audit van differentiële zichtbaarheid op TikTok met een dichte temporele resolutie, waardoor de problemen van "dunne data" die bij eerdere studies voorkomen, worden vermeden.
2. Identificatie van Pseudoreplicatie: De auteurs demonstreren dat de "significante" bereikverschillen gevonden in conventionele gepoolde analyses artefacten zijn van pseudoreplicatie. Het behandelen van tienduizenden autocorrelatieve uurlijkse snapshots als onafhankelijke observaties blaast de statistische significantie op (bijv. $p < 10^{-140}$) zonder extra informatie toe te voegen, aangezien de effectieve steekproefomvang wordt bepaald door het aantal onafhankelijke accounts, niet door het aantal rijen.
3. Verstorende Variabelen: De studie identificeert dat ogenschijnlijke bereikverschillen worden gedreven door verstorende factoren die in lijn liggen met het standpunt: accountgrootte (pro-Palestina accounts zijn aanzienlijk groter), video-leeftijd (pro-Israël video's werden later in hun levenscyclus waargenomen) en de taal van de content (pro-Palestina content is overwegend Arabisch, terwijl de gegevensverzameling standaard op een Amerikaanse regio was ingesteld).
4. Specificatiecurve-analyse: Het artikel laat zien dat de conclusie (significante onderdrukking versus nul) volledig afhankelijk is van de eenheid van analyse. Wanneer de eenheid verschuift van video-uur naar account, verdwijnt de significantie terwijl de effectgrootte nabij nul blijft.

Resultaten

• Bereikonderdrukking: Op accountniveau is er geen bewijs van matige tot grote bereikonderdrukking voor een van de drie onderwerpen. Alle accountniveau bereikcontrasten zijn nul na correctie voor meervoudig testen (BH-FDR $q \approx 0.9$), met effectgroottes (Cliff's $\delta$) nabij nul ($|\delta| \le 0.08$). Een poweranalyse bevestigt dat het ontwerp effecten van de magnitude gevonden in interactie kon detecteren ($\delta \approx 0.5$–$0.6$), wat de nul-bevinding bij het bereik informatief en begrensd maakt.
• Interactie-asymmetrie: In tegen tegenstelling tot het bereik bestaat er een robuuste asymmetrie in interactie per weergave. Oppositionele content (anti-Trump, pro-Palestina) genereert significant meer likes, shares en saves per weergave dan establishment content ($\delta = -0.51$ voor Trump, $\delta = -0.64$ voor Israël/Palestina). Dit patroon blijft bestaan zelfs wanneer de analyse wordt beperkt tot Engelstalige content, wat suggereert dat het reflectie is van publieksmobilisatie in plaats van een taal-artefact of bereikonderdrukking.
• De "Nul" is Informatief: Het gebrek aan een bereikverschil is geen falen van detectie, maar een bevinding op zich. De studie sluit bereikonderdrukkingseffecten uit die groter zijn dan $|\delta| = 0.49$ (Trump) en $|\delta| = 0.51$ (Israël/Palestina) met 95% betrouwbaarheid.

Significantie en Claims
Het artikel claimt dat de perceptie van shadow banning op deze onderwerpen beter verklaard kan worden door een meer betrokken publiek voor oppositionele content dan door platformonderdrukking. De "significante" resultaten gevonden in eerdere literatuur en rapporten van belangenorganisaties worden getoond als methodologische artefacten die het gevolg zijn van:

1. Pseudoreplicatie: Het tellen van autocorrelatieve tijdreeksdata als onafhankelijke observaties.
2. Confounding (Verstoring): Het vergelijken van groepen die systematisch verschillen in grootte, leeftijd en taal.

De auteurs concluderen dat geloofwaardige zichtbaarheidsaudits vereisen dat de data wordt geanalyseerd op het niveau van de onafhankelijke eenheid (het account), waarbij designeffecten en effectieve steekproefomvang expliciet worden gerapporteerd, verstorende variabelen worden gedetecteerd en vooraf geregistreerde analysegrids worden gebruikt. Zij stellen dat het vaststellen van dergelijke effecten een of andere vorm van gerandomiseerde on-platform experimenten of rigoureuze observationele ontwerpen vereist die de valkuilen van gepoolde, niet-onafhankelijke data vermijden. De studie benadrukt dat het vaststellen van dergelijke effecten een ontwerp vereist dat de pitfalls van gepoolde, niet-onafhankelijke data vermijdt.