A Computational Model of Message Sensation Value in Short Video Multimodal Features that Predicts Sensory and Behavioral Engagement

Probleemstelling

De huidige mediabronnen worden gedomineerd door korte video's (short videos). Hoewel eerdere studies de effecten van individuele multimodale kenmerken (zoals helderheid of audiotempo) hebben onderzocht, blijft de collectieve impact van deze kenmerken op de betrokkenheid van de kijker onduidelijk. Bestaande theorieën over Message Sensation Value (MSV) – de mate waarin objectieve berichtkenmerken aandacht trekken en affectieve reacties oproepen – zijn vaak gebaseerd op handmatige contentanalyses van publieke dienstadvertenties (PSA's) en zijn niet direct toepasbaar op de complexe, algoritmisch samengestelde omgeving van moderne korte video's. Er is een gebrek aan een robuust, schaalbaar en theoriegedreven computationeel model dat de holistische invloed van multimodale kenmerken op zowel sensorische als gedragsmatige betrokkenheid kan voorspellen.

Methodologie

De studie volgt een vierstapsproces om een computationeel MSV-model te ontwikkelen en te valideren:

1. Dataverzameling en Steekproef:

   • Hoofddataset: 1.200 korte video's van Instagram Reels, afkomstig van populaire en gewone accounts, gerelateerd aan acht maatschappelijke thema's.
   • Validatiedatasets: Twee onzichtbare datasets (totaal N = 14.492 video's) van TikTok, Instagram Reels en YouTube Shorts (wetenschappelijke video's en video's voor kinderen).
   • Menselijke Evaluatie: 1.007 deelnemers beoordeelden de Perceived Message Sensation Value (PMSV) van 10 willekeurige video's via een survey (PMSV-schaal met 17 items).

2. Extractie van Multimodale Kenmerken:

   • Er werden 20 kenmerken geëxtraheerd uit de video's, onderverdeeld in:
     • Statische visuele kenmerken: Helderheid, verzadiging, warmte en visuele complexiteit.
     • Dynamische visuele kenmerken: Aantal shots per seconde, shotduur.
     • Gezichtskenmerken: Leeftijd, geslacht, grootte en emoties (afkeer, woede, angst, geluk, verdriet, verrassing), zowel statisch als dynamisch (aantal/duur per seconde).
     • Audio-kenmerken: Luidheid, tempo en geluidshelderheid (spectrale centroid).
   • Tools: OpenCV, Google Cloud Video Intelligence API, Face++ en Librosa.

3. Modelontwikkeling (Machine Learning):

   • Feature Selectie: Vijf verschillende feature sets werden getest (van alle 20 kenmerken tot geselecteerde sets via correlatie, stapsgewijze regressie en PLS-regressie).
   • Algoritmen: Vijf regressiemodellen werden vergeleken: lineaire regressie, polynomiale regressie, Random Forest, XGBoost en Support Vector Regression.
   • Optimale Model: De Random Forest-regressie met 11 audiovisuele kenmerken (exclusief specifieke gezichtsattributen) presteerde het beste met de laagste Mean Squared Error (MSE = 0,448) en een lage AIC-score.
   • Cross-validatie: Een 10-voudige cross-validatie bevestigde de stabiliteit van het model (gemiddelde MSE = 0,517).

4. Analyseplan:

   • Lineaire regressie en gemengde lineaire modellen voor de relatie tussen computationele MSV en PMSV (sensorische betrokkenheid).
   • Negatief binomiale regressie voor de relatie tussen computationele MSV en gedragsmatige betrokkenheid (aantal views, likes, comments).

Belangrijkste Resultaten

1. Voorspelling van Sensorische Betrokkenheid (PMSV):

   • Er is een sterke, positieve lineaire relatie gevonden tussen de computationele MSV en de door mensen waargenomen PMSV. Video's met een hogere computationele MSV worden door kijkers als sensationeler ervaren.
   • Dit resultaat was consistent over verschillende demografische groepen (leeftijd en sensatiezoekendheid).

2. Voorspelling van Gedragsmatige Betrokkenheid (De "Inverted U"):

   • In tegenstelling tot de lineaire relatie bij sensorische betrokkenheid, toont de relatie tussen MSV en gedragsmatige betrokkenheid (likes, shares, comments) een omgekeerde U-vormige curve.
   • Optimum: Gedragsmatige betrokkenheid wordt gemaximaliseerd bij een moderate MSV (ongeveer 3,36 op de schaal).
   • Effect: Video's met een te lage MSV zijn niet prikkelend genoeg, terwijl video's met een te hoge MSV (extreem snel, chaotisch of overweldigend) de aandacht kunnen afleiden en de gedragsmatige interactie verminderen.

3. Robuustheid en Generaliseerbaarheid:

   • Het omgekeerde U-vormige patroon werd bevestigd in twee onzichtbare datasets (wetenschappelijke video's en video's voor kinderen) over verschillende platforms.
   • Het model toont stabiliteit in het voorspellen van engagement, ongeacht het platform of de doelgroep.

Belangrijkste Bijdragen

• Theoretische Vooruitgang: De studie verduidelijkt het mechanisme van MSV door te tonen dat het een lineair effect heeft op sensorische stimulatie, maar een niet-lineair (omgekeerd U-vormig) effect op gedragsmatige actie. Dit lost eerdere tegenstrijdige bevindingen in de literatuur op door te suggereren dat verschillende studies verschillende fasen van betrokkenheid meten.
• Methodologische Innovatie: Introductie van een schaalbaar, computationeel model voor MSV dat verder gaat dan handmatige annotatie. Het onderscheidt objectieve berichtkenmerken (MSV) van subjectieve waarneming (PMSV) en gebruikt machine learning om complexe interacties tussen multimodale kenmerken te modelleren.
• Praktische Implicaties: De bevindingen bieden richtlijnen voor contentmakers: om maximale betrokkenheid te bereiken, moeten video's een "middengrond" nastreven in termen van snelheid en audiovisuele complexiteit, in plaats van te streven naar maximale sensatie.

Significantie

Dit onderzoek is significant omdat het een brug slaat tussen klassieke communicatietheorie (MSV) en moderne data-gedreven analyse van korte video's. Het biedt een kwantitatief kader om te begrijpen hoe multimodale features samenwerken om kijkers te betrekken. De bevinding dat "meer sensatie" niet altijd leidt tot "meer interactie", is cruciaal voor algoritmenontwikkeling, contentstrategieën en het begrijpen van de menselijke cognitie in een overvloed aan digitale stimuli. Het model fungeert als een robuust instrument voor toekomstig onderzoek naar multimodale media-effecten.