Predicting total time to compress a video corpus using online inference systems

Imaginez que vous gérez une immense bibliothèque numérique où des gens déposent constamment des milliers de fichiers vidéo pour qu'ils soient réduits en taille pour le streaming. Ce processus, appelé « compression », revient à plier une valise : vous devez plier et compresser les données vidéo pour qu'elles prennent moins de place, mais plus le pliage est difficile (mouvements rapides ou textures complexes), plus cela prend du temps. Dans le monde du cloud computing, savoir exactement combien de temps prendra ce travail de rangement est crucial. Cela aide les entreprises à déterminer la quantité d'énergie qu'elles doivent consommer et, plus important encore, combien facturer à leurs clients. Actuellement, la plupart des systèmes agissent comme un chef cuisinier aux yeux bandés : ils ne vous donnent le prix du repas qu'une fois que vous l'avez déjà mangé. Cela transforme la gestion budgétaire en cauchemar. Les scientifiques ont essayé de prédire le temps pour chaque clip vidéo individuel, mais c'est comme essayer de deviner le poids total d'un camion entier de briques en pesant une seule brique à la fois. C'est lent, et les erreurs s'accumulent. La grande question est la suivante : peut-on prédire le temps total pour l'ensemble des vidéos avant même d'avoir terminé le travail, et peut-on devenir plus intelligent au fur et à mesure que nous progressons ?

Cet article, écrit par une équipe de Trinity College Dublin, s'attaque précisément à ce problème. Au lieu de deviner le temps pour chaque clip vidéo un par un, ils ont construit un nouveau type de « calculateur intelligent » qui prédit le temps total nécessaire pour compresser une collection entière (ou « corpus ») de vidéos. Ils ont découvert qu'observer la vue d'ensemble est bien plus efficace que de regarder les petites pièces. En fait, leur méthode de prédiction du temps total pour tout le groupe était plus de deux fois plus précise que l'ancienne méthode consistant à deviner par clip.

Voici comment leur système fonctionne, en utilisant une analogie amusante. Imaginez que vous êtes un contremaître sur un chantier de construction avec 600 pièces différentes à peindre. Certaines pièces sont petites et simples ; d'autres sont immenses et couvertes de fresques complexes.

• L'ancienne méthode (Prédiction par clip) : Vous essayez de deviner le temps qu'il faudra pour peindre chaque pièce avant de commencer. Vous pourriez deviner que la pièce avec la fresque prend 10 heures et le placard 1 minute. Mais si vous faites une seule erreur de calcul, votre estimation totale pour l'ensemble du travail sera faussée.
• La nouvelle méthode (Prédiction par corpus) : Vous commencez à peindre. Après avoir fini seulement quelques pièces (disons, 2 % du travail), vous vous arrêtez et observez ce que vous avez fait. Vous réalisez : « Hé, les pièces que j'ai peintes jusqu'à présent prennent en moyenne 15 minutes chacune ». Vous utilisez ensuite ces données réelles pour estimer le temps que prendront les 588 pièces restantes.

Les auteurs ont testé cette idée avec deux différents « outils de peinture » (des codecs vidéo appelés x264 et x265) et un énorme ensemble de données de 600 clips vidéo 4K de haute qualité. Ils n'ont pas seulement fait des suppositions ; ils ont construit un système qui apprend au fur et à mesure. Ils appellent cela « l'inférence en ligne ». C'est comme un GPS qui met à jour votre itinéraire et votre heure d'arrivée à chaque fois que vous passez un nouveau point de repère, plutôt que de simplement donner une carte statique au départ.

Ils ont testé plusieurs stratégies :

1. Le « Guess de la barre de progression » : C'est la méthode la plus simple. Elle suppose simplement que les vidéos restantes prendront le même temps moyen que celles que vous avez déjà terminées. C'est correct, mais pas génial.
2. Le « Guess par Groupement » : Cette méthode trie les vidéos en groupes (clusters) basés sur leur complexité visuelle (comme trier les pièces selon qu'elles ont des fresques ou des murs lisses). Elle prédit le temps pour les pièces restantes dans chaque groupe séparément. C'est mieux.
3. Le « Guess Super-Cerveau » (Machine Learning) : Cela utilise un algorithme intelligent appelé XGBoost. Il examine les détails des vidéos que vous avez déjà traitées et apprend un motif complexe pour prédire la suite.

Les résultats ont été surprenants et impressionnants. Les auteurs ont découvert qu'il n'est pas nécessaire d'utiliser le « Super-Cerveau » pour tout le travail. En fait, la meilleure stratégie est une approche de mélange et d'adaptation :

• Avant de commencer : Utilisez un modèle « Super-Cerveau » général pour avoir une idée globale. Pour l'outil x264, cette estimation était erronée d'environ 13,5 % du temps total.
• Après 2 % du travail effectué : Passez au « Super-Cerveau » qui apprend en ligne. Cela fait tomber l'erreur à environ 8,75 %.
• Après 6 % du travail effectué : Passez à la méthode plus simple du « Groupement ». Étonnamment, cette méthode simple est devenue encore plus précise, faisant tomber l'erreur à moins de 5 % (4,89 % pour x264 et 5,11 % pour x265).

L'article soutient explicitement l'idée qu'il n'est pas nécessaire d'utiliser un modèle unique et complexe entraîné sur l'ensemble des données pour obtenir de bons résultats. Ils ont montré que les modèles généraux (entraînés sur des données provenant d'autres sources) étaient en fait moins performants une fois que le travail réel avait commencé. Ils ont également prouvé qu'il n'est pas nécessaire d'attendre que le travail soit terminé à 50 % ou 90 % pour obtenir une bonne estimation ; on peut obtenir des prédictions très précises (moins de 5 % d'erreur) après avoir traité une infime fraction des vidéos.

L'équipe a mesuré cela sur un ordinateur puissant avec 64 cœurs, traitant 600 clips qui duraient soit 2, soit 4 secondes. Ils ont constaté que la « puissance cérébrale » nécessaire pour exécuter ces prédictions était minuscule — ajoutant moins de 0,2 % de temps supplémentaire à l'ensemble du processus. Cela signifie que le système est assez rapide pour être utilisé en temps réel sans ralentir la compression vidéo elle-même.

En résumé, l'article suggère que pour prédire la durée d'un travail vidéo massif, il vaut mieux être un « contremaître apprenant » qu'une « boule de cristal ». En observant un petit échantillon du travail et en ajustant votre estimation au fur et à mesure, vous pouvez prédire le coût et le temps total avec une précision bien supérieure à celle de tenter de deviner chaque étape à l'avance. Cela aide les entreprises du cloud à économiser de l'argent et permet aux clients de savoir exactement ce qu'ils paient avant même que le travail ne commence.