M3TR: Temporal Retrieval Enhanced Multi-Modal Micro-video Popularity Prediction

Dans l'océan vaste et tumultueux du contenu vidéo court, où des millions de clips sont téléchargés chaque jour, une seule question anime les moteurs des algorithmes de recommandation : quelle vidéo captivera l'attention du monde, et pour combien de temps ? Prédire cette popularité n'est pas simplement une question de comptage de mentions « j'aime » ou de partages ; c'est une tentative de prévoir le comportement futur d'une foule en se basant sur les réactions fugaces et souvent chaotiques des individus. Pendant des années, des chercheurs ont tenté de construire des modèles capables de voir l'avenir du succès d'une vidéo en analysant son contenu — ce à quoi elle ressemble, ce qu'elle fait entendre et ce que le texte dit à son sujet. Ils ont également essayé de suivre la manière dont les utilisateurs interagissent avec une vidéo au fil du temps, en traitant ces interactions comme un simple graphique linéaire qui monte ou descend. Cependant, ces approches passent souvent à côté du rythme plus profond et plus complexe de l'engagement humain. Elles ne parviennent pas à comprendre qu'une explosion de « j'aime » peut déclencher une vague de partages, ou qu'un afflux soudain de commentaires négatifs peut instantanément tuer l'élan d'une vidéo, peu importe la beauté de la vidéo elle-même.

Une équipe de chercheurs de l'Université Jiao Tong de Shanghai et de l'Université Queen's de Belfast a proposé une nouvelle façon de résoudre ce casse-tête, en introduisant un système qu'ils appellent M3TR. Au lieu de regarder simplement de quoi est faite une vidéo, ou de traiter le feedback des utilisateurs comme un simple nombre qui change au fil du temps, cette nouvelle approche traite la popularité comme une séquence d'événements vivante et respirante. Les chercheurs ont réalisé que pour prédire l'avenir d'une vidéo, il faut comprendre la chaîne de réaction spécifique et complexe des réactions humaines. Ils ont construit un système qui apprend à reconnaître l'« ADN temporel » unique du succès d'une vidéo. Cela signifie que le système ne demande pas seulement : « Cette vidéo parle-t-elle de chats ? » Il demande : « Cette vidéo suit-elle le même schéma d'excitation et de déclin que d'autres vidéos qui sont devenues célèbres, même si ces autres vidéos concernaient la cuisine ou la danse ? » En combinant une compréhension profonde de la manière dont les interactions des utilisateurs s'influencent mutuellement avec un moteur de recherche intelligent qui trouve des vidéos ayant des historiques de popularité similaires, l'équipe a créé un outil qui voit l'avenir plus clairement que jamais.

Le cœur de leur découverte réside dans la manière dont ils ont modélisé la façon dont les gens réagissent aux vidéos. Par le passé, les systèmes traitaient souvent un « j'aime », un « partage » et un « commentaire » comme des événements indépendants, ou les additionnaient simplement en un score unique. Les chercheurs savaient que cela était erroné. Ils ont compris que ces actions sont profondément liées : une vague de « j'aime » peut encourager davantage de partages, tandis qu'une vague de commentaires controversés peut supprimer l'engagement futur. Pour capturer cela, ils ont développé une nouvelle méthode qui considère le feedback des utilisateurs comme une série d'événements auto-excitables, où une action déclenche naturellement la suivante, mais où la nature de ce déclencheur peut changer selon le contexte. Ils ont utilisé une architecture de réseau neuronal sophistiquée pour apprendre les modèles à long terme de ces séquences, permettant au système de voir qu'un type spécifique de commentaire pourrait signaler la fin de la popularité d'une vidéo, même si la vidéo reçoit encore des « j'aime ». Cette capacité à distinguer l'élan positif d'un faux sommet a été une avancée critique.

Une fois que le système a pu cartographier avec précision l'historique complexe des interactions d'une vidéo, les chercheurs ont été confrontés au défi suivant : comment utiliser cette connaissance pour prédire l'avenir. Les méthodes traditionnelles cherchaient d'autres vidéos qui avaient un aspect ou un son similaire. Si vous aviez une vidéo sur un chat, le système chercherait d'autres vidéos de chats. Les chercheurs ont trouvé cette approche défectueuse. Une vidéo sur un chat peut connaître une montée de popularité lente et régulière, tandis qu'une autre vidéo de chat peut exploser instantanément puis s'estomper. Le contenu était le même, mais l'histoire de leur succès était complètement différente. Leur nouveau système, M3TR, a changé les règles de la recherche. Au lieu de simplement faire correspondre le contenu, il faisait correspondre l'« histoire » de la popularité. Il parcourait une immense bibliothèque de vidéos historiques pour trouver des exemples partageant le même schéma d'engagement — des vidéos qui montaient et descendaient de la même manière, qu'elles concernaient des chats, des voitures ou la cuisine.

Ce passage de la correspondance de contenu à la correspondance de modèles s'est avéré incroyablement puissant. Lorsque les chercheurs ont testé leur système sur des données réelles provenant de deux grands ensembles de données, les résultats ont été frappants. Le nouveau modèle a nettement surpassé toutes les méthodes précédentes, réduisant l'erreur de ses prédictions jusqu'à 19,3 % . En termes plus simples, il était bien plus précis pour deviner combien de personnes allaient regarder, aimer ou partager une vidéo dans les heures et les jours à venir. Le système était particulièrement efficace pour gérer les cas les plus difficiles : les vidéos qui commençaient fort puis s'effaçaient, ou les vidéos qui restaient dormantes avant de devenir soudainement virales. En apprenant de la trajectoire spécifique des vidéos passées, le modèle pouvait repérer les signes subtils qu'une vidéo était sur le point de stagner ou de décoller, ce que les anciens modèles manquaient totalement.

Les chercheurs ont également démontré que leur approche est pratique pour une utilisation réelle. Bien que le système nécessite une puissance de calcul importante pour construire sa bibliothèque de modèles de vidéos, ce travail est effectué à l'avance, hors ligne. Une fois la bibliothèque construite, le système peut faire des prédictions pour de nouvelles vidéos en temps réel, trouvant les exemples historiques les plus pertinents en une fraction de seconde. Ce processus en deux étapes garantit que le système reste rapide et efficace pour les utilisateurs, même lorsque la bibliothèque de données s'étend pour inclure des millions de vidéos. L'étude confirme que comprendre l'histoire dynamique et évolutive de la manière dont les gens interagissent avec le contenu est bien plus important pour la prédiction que la simple analyse du contenu lui-même. En écoutant le rythme de l'attention humaine plutôt qu'en regardant simplement l'image, les chercheurs ont fourni une nouvelle façon plus fiable de naviguer dans le monde imprévisible des médias viraux.