Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

Sintesi Tecnica: Modellazione dell'Engagement con Video TikTok di Brand e Organizzazioni tramite Annotazione a Ensemble Teorico Assistita da Macchina

Problema
I contenuti video a breve durata su piattaforme come TikTok presentano sfide significative per la ricerca su larga scala. Il significato in questi video emerge da interazioni multimodali complesse tra elementi audiovisivi, linguaggio, montaggio e dinamiche algoritmiche. L'annotazione manuale tradizionale di questi livelli è laboriosa, difficile da standardizzare e spesso limitata a piccoli campioni, ostacolando lo studio della produzione culturale e dell'engagement su larga scala. Gli studi esistenti su larga scala si affidano spesso a predittori facilmente misurabili (es. dimensione dell'account, tempistica, struttura della rete) o a caratteristiche multimodali generiche, trascurando spesso domande interpretative più profonde riguardanti la struttura narrativa, l'indirizzo retorico e l'organizzazione semiotica. Sebbene i modelli linguistici di grandi dimensioni (LLM) multimodali siano promettenti, esiste la necessità di un flusso di lavoro rigoroso che operazionalizzi le teorie interpretative di lunga data in variabili strutturate senza perdere la sfumatura teorica o l'interpretabilità.

Metodologia
Lo studio impiega un approccio di "quantitizzazione" assistita da macchina, convertendo giudizi teorici qualitativi in variabili categoriche quantificabili.

• Costruzione del Corpus: Il dataset comprende 9.654 video provenienti da 30 account curati di brand e organizzazioni in Estonia (un ecosistema linguisticamente delimitato di 1,3 milioni di persone). I video spaziano da luglio 2020 a gennaio 2026, con la maggior parte pubblicata tra il 2023 e il 2025.
• Design dell'Annotazione: I ricercatori hanno utilizzato un singolo modello frontiera capace di elaborare video (Gemini 2.5 Pro) per annotare il corpus. Lo schema di annotazione è "saturo di teoria", derivante da 77 variabili strutturali appartenenti a 11 distinti blocchi teorici, tra cui:
  • Narratologia (struttura laboviana, archi di Propp/Campbell, tipi di conflitto di Polti).
  • Retorica (appelli aristotelici, pentade drammatica di Burke).
  • Semiotica (modi del segno di Chandler, codifica/decodifica di Hall).
  • Framework multimodali (Grzenkowicz & Wildfeuer).
  • Teorie della comunicazione (Uses and gratifications).
    Il modello è stato istruito per produrre un oggetto JSON strutturato contenente variabili binarie/categoriche e campi di testo diagnostico, evitando la prosa libera per garantire la coerenza.
• Validazione: Un sottoinsieme di 100 video è stato annotato manualmente da tre codificatori umani per valutare l'affidabilità. Sono stati calcolati i coefficienti di accordo (alfa di Krippendorff, $\kappa$ di Fleiss) e l'accuratezza dell'LLM rispetto alla maggioranza dei voti umani. I risultati hanno indicato un gradiente di affidabilità: le variabili percettive e comunicative (es. tipo di audio, angolazione della telecamera) hanno mostrato un alto accordo, mentre i costrutti semiotici e archetipici più profondi (es. pentade di Burke, conflitti di Polti) hanno mostrato un basso accordo, spesso dovuto alla difficoltà degli annotatori umani piuttosto che al solo fallimento del modello.
• Analisi Quantitativa:
  • Modellazione Predittiva: Modelli CatBoost raggruppati sono stati addestrati per predire le metriche di engagement (like, commenti, condivisioni, salvataggi) e l'attività nella sezione commenti (di supporto vs. orientata all'informazione). I modelli hanno imposto divisioni "out-of-account" raggruppate per prevenire la fuga di dati (data leakage), garantendo che i video dello stesso account non apparissero sia nel set di addestramento che in quello di test. I controlli di base includevano il numero di follower dell'account e l'età del video.
  • Interpretabilità: Un secondo modello lineare a effetti misti ha analizzato i principali predittori dai modelli CatBoost. Inoltre, un'analisi delle "scelte di design" ha simulato gli effetti marginali variando una singola variabile mantenendo costanti le altre per identificare le caratteristiche strutturali ad alto impatto.
  • Mappatura della Similarità: I video sono stati mappati in uno spazio di configurazione 2D utilizzando la distanza di Hamming sull'intero set di annotazioni per esplorare la similarità strutturale e la sua relazione con le prestazioni.

Contributi Chiave

1. Operazionalizzazione della Teoria: Lo studio dimostra un flusso di lavoro per tradurre complesse e consolidate teorie interpretative (narratologia, semiotica, retorica) in uno schema di annotazione strutturato e leggibile dalle macchine per i video brevi.
2. Quantitizzazione Assistita da Macchina: Valida l'uso di LLM multimodali per annotare ampie batterie di variabili teoricamente motivate, mostrando che, sebbene i costrutti semiotici profondi rimangano impegnativi, le variabili percettive e comunicative possono essere codificate con un'affidabilità sufficiente per l'analisi esplorativa.
3. Baseline Empirica: Fornisce un dataset completo del contenuto TikTok di brand e organizzazioni estoni, offrendo un repertorio di piattaforma delimitato che evita il rumore dei casi virali isolati.
4. Framework Metodologico: Il paper stabilisce una pipeline riproducibile che coinvolge codebook espliciti, campioni di validazione e controlli di bias per trasformare distinzioni qualitative in variabili strutturate.

Risultati

• Guadagni Predittivi: Le variabili di contenuto codificate teoricamente hanno fornito guadagni modesti ma costanti rispetto ai controlli di base (dimensione dell'account e età del video). I modelli completi hanno raggiunto valori di $R^2$ di 0,27 per i like e di 0,18 per i commenti, rappresentando un miglioramento incrementale di 0,056 a 0,078 rispetto ai modelli basati solo sui controlli. I like e i salvataggi sono stati gli esiti più prevedibili; le condivisioni sono rimaste i più difficili da predire.
• Predittori Chiave:
  • Like: Fortemente associati a scelte di packaging ampie: audio parlato originale (contrasto massimo), intento di intrattenimento e ambientazioni commerciali interne.
  • Commenti: Il tipo di "call-to-action" (CTA) è stato il predittore dominante, specificamente l' "engagement bait". I commenti orientati all'informazione sono legati a formati tutorial e retorica guidata dal logo, mentre i commenti di supporto correlano con la retorica basata sul pathos e temi di viaggio/moda.
• Gradiente di Affidabilità: La validazione umana ha confermato che le variabili percettive (audio, visuale, montaggio) sono codificate in modo affidabile sia dagli umani che dagli LLM. Al contrario, le variabili interpretative più profonde (Burke, Polti, Chandler) hanno mostrato una scarsa affidabilità, con gli LLM che spesso rilevavano eccessivamente il conflitto o la complessità semiotica dove gli umani vedevano una semplice rappresentazione.
• Similarità Strutturale: I video che si allineavano al "profilo modale" (valori più comuni) del corpus o dell'account specifico tendevano a performare meglio in termini di like. Tuttavia, questo non è stato un effetto uniforme; anche deviazioni specifiche (es. rompere la norma del corpus per l'intento promozionale) potevano essere favorevoli. Il vantaggio della similarità era guidato da variabili di packaging ad alto impatto piuttosto che dalla totale conformità.

Significatività e Rivendicazioni
Il paper sostiene che questo approccio supporta tre obiettivi primari:

1. Analisi Culturale Esplorativa: Mappare la variazione nella cultura dei video brevi rendendo osservabili ampie batterie di variabili teoriche.
2. Modellazione Predittiva: Migliorare la previsione delle dinamiche della piattaforma e del feedback del pubblico oltre le semplici metriche di visibilità.
3. Diagnostica per i Creator: Fornire una guida basata sui dati ai creatori di contenuti per scegliere tra strategie strutturali e narrative, identificando quali sottoinsiemi di variabili portano segnale per nicchie specifiche.

Gli autori sottolineano la modestia delle loro rivendicazioni: lo studio è associativo, non causale. Il valore degli LLM non risiede nella perfezione dell'accuratezza per ogni costrutto teorico, ma nel rendere fattibile la valutazione di ampie e diverse strutture teoriche. Ciò consente ai ricercatori di identificare quali variabili specifiche portano un segnale predittivo e quali sono puramente descrittive, traducendo gli insight teorici in guida azionabile per la strategia dei contenuti all'interno di una specifica nicchia. I risultati suggeriscono che, sebbene l'analisi semiotica profonda rimanga difficile da standardizzare, l'operazionalizzazione delle strutture narrative e retoriche offre una via percorribile per comprendere il "perché" dietro l'engagement nei video.