M3TR: Temporal Retrieval Enhanced Multi-Modal Micro-video Popularity Prediction

In de uitgestrekte, kolkende oceaan van korte videofragmenten, waar dagelijks miljoenen clips worden geüpload, drijft één enkele vraag de motoren van aanbevelingsalgoritmen aan: welke video zal de aandacht van de wereld trekken, en hoe lang? Het voorspellen van deze populariteit is niet louter een kwestie van het tellen van likes of shares; het is een poging om het toekomstige gedrag van een menigte te voorspellen op basis van de vluchtige, vaak chaotische reacties van individuen. Jarenlang hebben onderzoekers geprobeerd modellen te bouwen die de toekomst van het succes van een video kunnen zien door de inhoud ervan te analyseren—hoe het eruitziet, hoe het klinkt en wat de tekst erover zegt. Ze hebben ook geprobeerd te volgen hoe gebruikers gedurende een bepaalde tijd met een video interageren, waarbij die interacties werden behandeld als een eenvoudige lijngrafiek die omhoog of omlaag gaat. Deze benaderingen missen echter vaak het diepere, complexere ritme van menselijke betrokkenheid. Ze begrijpen niet dat een golf van likes een golf van shares kan triggeren, of dat een plotselinge vloedgolf van negatieve reacties de momentum van een video onmiddellijk kan doden, ongeacht hoe mooi de video zelf is.

Een team onderzoekers van de Shanghai Jiao Tong University en Queen's University Belfast heeft een nieuwe manier voorgesteld om dit puzzelstukje op te lossen, door een systeem te introduceren dat zij M3TR noemen. In plaats van alleen te kijken naar waar een video uit bestaat, of gebruikersfeedback te behandelen als een simpel getal dat in de loop van de tijd verandert, behandelt deze nieuwe aanpak populariteit als een levende, ademende sequentie van gebeurtenissen. De onderzoekers realiseerden zich dat je, om de toekomst van een video te voorspellen, de specifieke, ingewikkelde kettingreactie van menselijke reacties moet begrijpen. Ze bouwden een systeem dat leert de unieke "temporele DNA" van het succes van een video te herkennen. Dit betekent dat het systeem niet alleen vraagt: "Gaat deze video over katten?" Het vraagt: "Volgt deze video hetzelfde patroon van opwinding en verval als andere video's die beroemd zijn geworden, zelfs als die andere video's over koken of dansen gingen?" Door een diep begrip te combineren van hoe gebruikersinteracties elkaar beïnvloeden met een slimme zoekmachine die video's met vergelijkbare populariteitsgeschiedenissen vindt, creëerde het team een instrument dat de toekomst duidelijker ziet dan ooit tevoren.

De kern van hun ontdekking ligt in de manier waarop ze de wijze waarop mensen op video's reageren, hebben gemodelleerd. In het verleden behandelden systemen een "like", een "share" en een "comment" vaak als onafhankelijke gebeurtenissen, of telden ze ze simpelweg bij elkaar op tot één enkele score. De onderzoekers wisten dat dit fout was. Ze begrepen dat deze acties diep met elkaar verbonden zijn: een golf van likes kan meer shares aanmoedigen, terwijl een golf van controversiële reacties verdere betrokkenheid kan onderdrukken. Om dit te vangen, ontwikkelden ze een nieuwe methode die gebruikersfeedback beschouwt als een reeks zelf-exciterende gebeurtenissen, waarbij de ene actie natuurlijk de volgende triggert, maar waarbij de aard van die trigger kan veranderen op basis van de context. Ze gebruikten een geavanceerde neurale netwerkarchitectuur om de langetermijnpatronen in deze sequenties te leren, waardoor het systeem kan zien dat een specifiek type reactie het einde van de populariteit van een video kan signaleren, zelfs als de video nog steeds likes ontvangt. Dit vermogen om onderscheid te maken tussen positief momentum en een vals hoogtepunt was een cruciale doorbraak.

Zodra het systeem accuraat de complexe geschiedenis van de interacties van een video in kaart kon brengen, stonden de onderzoekers voor de volgende uitdaging: hoe die kennis te gebruiken om de toekomst te voorspellen. Traditionele methoden zouden zoeken naar andere video's die er hetzelfde uitzagen of hetzelfde klonken. Als je een video over een kat had, zou het systeem zoeken naar andere kattenvideo's. De onderzoekers vonden deze benadering gebrekkig. Een video over een kat kan een langzame, gestage stijging in populariteit hebben, terwijl een andere kattenvideo direct kan exploderen en daarna kan wegkwijnen. De inhoud was hetzelfde, maar het verhaal van hun succes was totaal verschillend. Hun nieuwe systeem, M3TR, veranderde de regels van de zoekopdracht. In plaats van alleen content te matchen, mat het de "story" van de populariteit. Het doorzocht een enorme bibliotheek van historische video's om voorbeelden te vinden die hetzelfde patroon van betrokkenheid deelden—video's die op dezelfde manier stegen en daalden, ongeacht of ze nu over katten, auto's of koken gingen.

Deze verschuiving van content-matching naar patroon-matching bleek ongelooflijk krachtig te zijn. Toen de onderzoekers hun systeem testten op echte wereldgegevens van twee grote datasets, waren de resultaten opmerkelijk. Het nieuwe model presteerde aanzienlijk beter dan alle voorgaande methoden, waarbij de fout in hun voorspellingen met wel 19,3 procent werd verminderd. In simpelere termen: het was veel nauwkeuriger in het raden hoeveel mensen een video in de komende uren en dagen zouden bekijken, liken of delen. Het systeem was bijzonder goed in het afhandelen van de moeilijkste gevallen: video's die sterk begonnen maar daarna vervaagden, of video's die sluimerden voordat ze plotseling viraal gingen. Door te leren van het specifieke traject van eerdere video's, kon het model de subtiele tekenen opmerken dat een video op het punt stond te stagneren of juist door te breken, iets wat oudere modellen volledig misten.

De onderzoekers toonden ook aan dat hun aanpak praktisch bruikbaar is voor de echte wereld. Hoewel het systeem een aanzienlijke hoeveelheid rekenkracht vereist om hun bibliotheek van videopatronen op te bouwen, wordt dit werk vooraf, offline, gedaan. Zodra de bibliotheek is opgebouwd, kan het systeem in realtime voorspellingen doen voor nieuwe video's, waarbij de meest relevante historische voorbeelden in een fractie van een seconde worden gevonden. Dit tweetrapsproces zorgt ervoor dat het systeem snel en efficiënt blijft voor gebruikers, zelfs naarmate de bibliotheek van gegevens groeit tot miljoenen video's. De studie bevestigt dat het begrijpen van het dynamische, evoluerende verhaal van hoe mensen met content interageren, veel belangrijker is voor voorspelling dan enkel het analyseren van de content zelf. Door te luisteren naar het ritme van de menselijke aandacht in plaats van alleen naar het plaatje te kijken, hebben de onderzoekers een nieuwe, betrouwbaardere manier geboden om door de onvoorspelbare wereld van virale media te navigeren.