Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

Technische Samenvatting: Het modelleren van betrokkenheid bij merk- en organisatievideo's op TikTok middels machine-ondersteunde theorie-ensemble-annotatie

Probleemstelling
Short-form video-content op platforms zoals TikTok vormt aanzienlijke uitdagingen voor grootschalig onderzoek. Betekenis in deze video's ontstaat door complexe, multimodale interacties tussen audiovisuele elementen, taal, montage en algoritmische dynamiek. Traditionele handmatige annotatie van deze lagen is arbeidsintensief, moeilijk te standaardiseren en vaak beperkt tot kleine steekproeven, wat het onderzoek naar culturele productie en betrokkenheid op grote schaal belemmert. Bestaande grootschalige studies vertrouwen vaak op gemakkelijk meetbare voorspellers (bijv. accountgrootte, timing, netwerkstructuur) of algemene multimodale kenmerken, waarbij diepere interpretatieve vragen over narratieve structuur, retorische aanspreekvorm en semiotische organisatie vaak worden genegeerd. Hoewel multimodale Large Language Models (LLM's) veelbelovend zijn, is er behoefte aan een rigoureuze workflow die langgevestigde interpretatieve theorieën operationaliseert in gestructureerde variabelen zonder de theoretische nuance of interpreteerbaarheid te verliezen.

Methodologie
De studie maakt gebruik van een machine-ondersteunde "kwantitatiserende" benadering, waarbij kwalitatieve theoretische oordelen worden omgezet in kwantificeerbare categorische variabelen.

• Corpusconstructie: De dataset bestaat uit 9.654 video's van 30 gecureerde merk- en organisatieaccounts in Estland (een taalkundig begrensde ecosystem van 1,3 miljoen mensen). De video's beslaan de periode van juli 2020 tot januari 2026, waarbij de meerderheid is geplaatst tussen 2023 en 2025.
• Annotatiedesign: De onderzoekers gebruikten een enkel video-bekwaam frontier model (Gemini 2.5 Pro) om het corpus te annoteren. Het annotatieschema is "theorie-verzadigd" en afgeleid van 77 structurele variabelen uit 11 verschillende theoretische blokken, waaronder:
  • Narratologie (Laboviaanse structuur, Propp/Campbell bogen, Polti conflicttypen).
  • Retorica (Aristotelische appels, Burke's dramatistische pentade).
  • Semiotiek (Chandler's tekenmodi, Hall's encoding/decoding).
  • Multimodale kaders (Grzenkowicz & Wildfeuer).
  • Communicatietheorieën (Uses and gratifications).
    Het model kreeg de opdracht om een gestructureerd JSON-object te genereren met binaire/categorische variabelen en diagnostische tekstvelden, waarbij vrije tekst werd vermeden om consistentie te waarborgen.
• Validatie: Een subset van 100 video's werd handmatig geannoteerd door drie menselijke coders om de betrouwbaarheid te beoordelen. Overeenkomstmetrieken (Krippendorff's $\alpha$, Fleiss' $\kappa$) en de nauwkeurigheid van de LLM ten opzichte van de menselijke meerderheidsstem werden berekend. De resultaten toonden een betrouwbaarheidsgradiënt: perceptuele en communicatieve variabelen (bijv. type audio, camerahoek) vertoonden een hoge overeenkomst, terwijl diepere semiotische en archetypische constructen (bijv. Burke's pentade, Polti-conflicten) een lage overeenkomst vertoonden, vaak door de moeilijkheid voor de menselijke annotator in plaats van uitsluitend door falen van het model.
• Kwantitatieve Analyse:
  • Voorspellend Modelleren: Gegroepeerde CatBoost-modellen werden getraind om engagement-metrieken (likes, comments, shares, saves) en reactie-activiteit in de commentsectie (ondersteunend versus informatiezoekend) te voorspellen. De modellen hanteerden "grouped out-of-account" splitsingen om data-lekkage te voorkomen, waardoor video's van hetzelfde account niet zowel in de trainings- als de testset terechtkwamen. Baseline-controles omvatten het aantal volgers van het account en de leeftijd van de video.
  • Interpreteerbaarheid: Een secundair lineair mixed-effects model analyseerde de belangrijkste voorspellers uit de CatBoost-modellen. Daarnaast simuleerde een "design choice" analyse de marginale effecten door één variabele te variëren terwijl andere constant werden gehouden, om hoog-gevoelige structurele kenmerken te identificeren.
  • Gelijkenismapping: Video's werden in een 2D-configuratieruimte gemapt met behulp van de Hamming-afstand over de volledige annotatieset om structurele gelijkenis en de relatie tot prestaties te verkennen.

Belangrijkste Bijdragen

1. Operationalisering van Theorie: De studie demonstreert een workflow voor het vertalen van complexe, langgevestigde interpretatieve theorieën (narratologie, semiotiek, retorica) naar een gestructureerd, machine-leesbaar annotatieschema voor short-form video.
2. Machine-ondersteunde Kwantitisering: Het valideert het gebruik van multimodale LL's om grote batterijen van theoretisch gemotiveerde variabelen te annoteren, waarbij wordt aangetoond dat hoewel diepe semiotische constructen uitdagend blijven, perceptuele en communicatieve variabelen met voldoende betrouwbaarheid kunnen worden gecodeerd voor exploratieve analyses.
3. Empirische Baseline: Het biedt een uitgebreide dataset van Estse merk- en organisatie-TikTok-content, wat een begrensd repertoire aan platformen biedt dat de ruis van geïsoleerde virale gevallen vermijdt.
4. Methodologisch Kader: Het papier vestigt een reproduceerbare pijplijn bestaande uit expliciete codeboeken, validatiesamples en bias-checks om kwalitatieve onderscheiden te transformeren in gestructureerde variabelen.

Resultaten

• Voorspellende Winst: De met theorie gecodeerde contentvariabelen boden bescheiden maar consistente winst ten opzien van de baseline-controles (accountgrootte en video-leeftijd). De volledige modellen bereikten $R^2$-waarden van 0,27 voor likes en 0,18 voor comments, wat een incrementele verbetering betekent van 0,056 tot 0,078 ten opzichte van de controle-only modellen. Likes en saves waren de meest voorspelbare uitkomsten; shares bleven het moeilijkst te voorspellen.
• Belangrijkste Voorspellers:
  • Likes: Waren het sterkst geassocieerd met brede verpakkingskeuzes: originele gesproken audio (hoogste contrast), entertainment-intentie en binnen-commerciële settings.
  • Comments: Het type "call-to-action" (CTA) was de dominante voorspeller, specifificamente "engagement bait". Informatiezoekende comments waren gekoppeld aan tutorial-formaten en logo-gestuurde retorica, terwijl ondersteunende comments correleerden met pathos-gestuurde retorica en reis/mode-onderwerpen.
• Betrouwbaarheidsgradiënt: Menselijke validatie bevestigde dat perceptuele variabelen (audio, visueel, montage) betrouwbaar worden gecodeerd door zowel mensen als LLM's. In tegen plaats vertoonden diepere interpretatieve variabelen (Burke, Polti, Chandler) een slechte betrouwbaarheid, waarbij LLM's vaak conflict of semiotische complexiteit detecteerden waar mensen een eenvoudige representatie zagen.
• Structurele Gelijkenis: Video's die overeenkwamen met het "modale profiel" (meest voorkomende waarden) van het corpus of het specifieke account, presteerden over het algemeen beter qua likes. Dit was echter geen uniform effect; specifieke afwijkingen (bijv. het breken met de corpusnorm voor promotionele intentie) konden ook gunstig zijn. Het voordeel van gelijkenis werd gedreven door hoog-gevoelige verpakkingsvariabelen in plaats van totale conformiteit.

Betekenis en Claims
Het artikel beweert dat deze aanpak drie primaire doelen ondersteunt:

1. Exploratieve Culturele Analyse: Het in kaart brengen van de variatie in short-form video-cultuur door grote batterijen van theoretische variabelen observeerbaar te maken.
2. Voorspellend Modelleren: Het verbeteren van de voorspelling van platformdynamiek en publieksfeedback voorbij eenvoudige zichtbaarheidsmetrieken.
3. Diagnostiek voor Creators: Het bieden van datagestuurde begeleiding voor contentcreators om te kiezen tussen structurele en narratieve strategieën, en identificeren welke subsets van variabelen een signaal dragen voor specifieke niches.

De auteurs benadrukken de bescheidenheid van hun claims: de studie is associatief, niet causaal. De waarde van de LLM's ligt niet in perfecte nauwkeurigheid voor elk theoretisch construct, maar in het mogelijk maken van de beoordeling van grote, diverse theoretische kaders. Dit stelt onderzoekers in staat om te identificeren welke specifieke variabelen een voorspellend signaal dragen en welke slechts beschrijvend zijn, waardoor theoretische inzichten worden vertaald naar bruikbare begeleiding voor contentstrategie binnen een specifieke niche. De bevindingen suggereren dat hoewel diepe semiotische analyse moeilijk te standaardiseren blijft, de operationalisering van narratieve en retorische structuren een levensvatbaar pad biedt voor het begrijpen van het "waarom" achter video-engagement.