Deployment-Aware Codec Selection for Learned RGB-D Compression in Edge--Cloud 3D Reconstruction

Dans le monde moderne de l'imagerie numérique, les caméras font bien plus que simplement capturer une image plate du monde. De nombreux dispositifs, des smartphones aux capteurs spécialisés, enregistrent désormais deux choses à la fois : la couleur d'une scène et la distance de chaque point de celle-ci. Cette combinaison, connue sous le nom de données RGB-D, crée une carte tridimensionnelle riche qui permet aux ordinateurs de comprendre la forme et l'agencement d'une pièce, d'une forêt ou d'une rue. Cependant, cette couche supplémentaire d'informations de profondeur a un prix élevé : elle double la quantité de données à stocker ou à envoyer. Lorsque ces données sont capturées sur un petit appareil alimenté par batterie, comme un drone ou un robot, et qu'elles doivent être envoyées à un ordinateur puissant dans le cloud pour être traitées, le défi consiste à réduire la taille du fichier sans perdre les détails critiques nécessaires à la reconstruction ultérieure de la forme 3D.

Pendant des années, les ingénieurs ont tenté de résoudre ce problème en cherchant l'équilibre parfait entre la taille du fichier et la qualité de l'image. Ils ont développé des programmes informatiques avancés, souvent appelés codecs appris, qui utilisent l'intelligence artificielle pour prédire et compresser les images plus efficacement que les méthodes traditionnelles. L'approche standard consistait à rechercher l'algorithme qui produit le plus petit fichier pour l'image la plus claire, en supposant que si cela fonctionne bien dans une simulation informatique, cela fonctionnera bien dans le monde réel. Mais cette hypothèse échoue souvent lorsque les données doivent voyager d'un dispositif minuscule et limité en énergie vers un serveur distant. Le monde réel introduit des limites physiques : le dispositif peut ne pas avoir assez de mémoire pour exécuter un programme complexe, le logiciel peut ne pas être compatible avec le matériel du dispositif, ou le temps nécessaire pour compresser l'image peut être trop long pour un flux vidéo en direct. Une méthode qui semble parfaite sur un graphique peut devenir inutile si elle ne peut pas réellement s'exécuter sur le dispositif qui doit envoyer les données.

Une équipe de chercheurs de l'Institut de technologie de Harbin et de l'Université de technologie de Dalian s'est donné pour mission de corriger ce décalage. Au lieu de simplement chercher les meilleurs chiffres de compression, ils ont conçu une nouvelle façon de choisir l'outil de compression à utiliser. Ils ont traité la capacité à exécuter réellement le logiciel sur un dispositif spécifique comme une exigence primaire, tout aussi importante que la qualité de l'image. Leur objectif était de construire un système complet où une caméra sur un dispositif de bord (edge device) capture une scène 3D, la compresse, l'envoie via un réseau, et qu'elle soit reconstruite en un nuage de points 3D coloré sur un serveur cloud, tout en respectant les limites strictes du matériel.

Les chercheurs ont commencé par tester quatre types différents de modèles de compression basés sur l'IA sur un ensemble de données standard de scènes d'intérieur. Ils ont mesuré la réduction de la taille des fichiers et la clarté des images qui en résultait. Comme prévu, les modèles les plus complexes, qui utilisent des structures mathématiques sophistiquées pour prédire les valeurs des pixels, produisaient les fichiers les plus petits avec la plus haute qualité. L'un de ces modèles avancés, qui utilisait une technique appelée « attention » pour se concentrer sur les détails importants, a obtenu un score de qualité très élevé à un taux de données très bas. Cependant, lorsque les chercheurs ont examiné le temps d'exécution de ces modèles sur un dispositif réel, le tableau a changé. Le modèle le plus puissant était incroyablement lent, prenant beaucoup de temps pour traiter chaque image car il devait calculer des valeurs selon une séquence stricte, étape par étape, que le matériel du dispositif ne pouvait pas accélérer.

L'équipe a ensuite appliqué sa nouvelle méthode de sélection, qui élimine tout modèle ne pouvant pas répondre à des contraintes réelles spécifiques. Ils ont recherché des modèles capables de s'exécuter dans une limite de temps définie, de tenir dans la mémoire de l'appareil et de fonctionner avec les outils logiciels disponibles sur le dispositif. Ils ont découvert que le modèle le plus rapide et le plus efficace était en fait un modèle plus simple. Ce modèle utilisait une approche mathématique directe que le matériel du dispositif pouvait gérer très rapidement. Bien que ce modèle plus simple produise des fichiers légèrement plus volumineux et une qualité d'image légèrement inférieure à celle du modèle complexe, il était nettement plus rapide. En fait, le modèle complexe était plus de soixante fois plus lent à préparer pour le déploiement que le modèle plus simple. Les chercheurs ont conclu que pour un système réel, le « meilleur » modèle n'est pas celui qui possède la qualité théorique la plus élevée, mais celui qui peut réellement s'exécuter assez vite pour suivre le rythme de la caméra.

Pour prouver cela, l'équipe a construit un système complet fonctionnel utilisant une petite carte informatique puissante, le Jetson TX2, pour servir de dispositif de bord. Ils l'ont programmée pour capturer des images de couleur et de profondeur, les compresser en utilisant leur modèle plus simple, et envoyer les données via un réseau local. À l'autre extrémité, un serveur cloud décode les données et les transforme à nouveau en un nuage de points 3D. Ils ont mesuré chaque étape de ce voyage, du moment où la caméra prend la photo au moment où la forme 3D apparaît sur l'écran. Le système a réussi à livrer une vue 3D reconstruite à un taux de près de trente images par seconde, avec un délai total de juste plus de quatre-vingt-dix millisecondes. Cette vitesse est suffisante pour de nombreuses applications interactives, telles que la téléprésence à distance ou la cartographie en temps réel.

Les chercheurs ont également comparé leur nouveau système aux outils de compression traditionnels établis qui sont déjà intégrés au matériel. Ces outils plus anciens, qui gèrent la couleur et la profondeur séparément, étaient beaucoup plus rapides, compressant les images en un peu plus de dix millisecondes. Cependant, ils nécessitaient un peu plus de données pour atteindre un niveau de qualité similaire. Le nouveau système basé sur l'IA, bien que plus lent, a réussi à produire une reconstruction 3D avec moins d'erreurs dans les mesures de profondeur, ce qui signifie que les formes 3D étaient plus précises. Ce compromis a montré que la nouvelle méthode pouvait être une alternative viable lorsque la priorité est la précision de la forme 3D plutôt que la vitesse de traitement absolue.

Un élément clé de leur succès a été la gestion du logiciel sur le dispositif. Ils n'ont pas essayé de forcer l'intégralité du programme d'IA complexe à s'exécuter sur le processeur graphique spécialisé du dispositif. Au lieu de cela, ils ont divisé le travail. Les parties principales du programme qui transforment l'image ont été converties pour s'exécuter efficacement sur le matériel du dispositif, tandis que l'étape finale de mise en paquet des données dans un flux était gérée par une autre couche logicielle compatible. Cette approche hybride leur a permis de bénéficier de la vitesse du matériel sans rester bloqués sur des parties du logiciel que le matériel ne pouvait pas gérer. Ils ont découvert que cette façon spécifique d'organiser le logiciel était cruciale ; essayer de faire fonctionner l'intégralité du programme d'une manière unique et non optimisée aurait été trop lent.

L'étude a également examiné le comportement des données lorsqu'elles voyagent sur le réseau. Ils ont envoyé les images compressées en petits paquets, de la même manière que les services de streaming vidéo, et ont vérifié comment le système gérait les délais ou les pertes de données. Ils ont constaté que le système était robuste, capable de réassembler correctement les images même lorsque les conditions du réseau n'étaient pas parfaites. Le temps total nécessaire pour qu'une image aille de la caméra à la reconstruction 3D finale sur le cloud a été mesuré à environ quatre-vingt-onze millisecondes en moyenne. Cela inclut le temps de capture de l'image, de compression, d'envoi et de reconstruction. Les chercheurs ont noté que la plus grande variation de ce temps provenait de la transmission réseau elle-même, ce qui est attendu, mais le système est resté stable et cohérent.

En fin de compte, les chercheurs ont démontré que choisir un outil de compression n'est pas seulement un problème mathématique consistant à trouver le plus petit fichier. C'est un problème de conception de système qui doit tenir compte des limites physiques du dispositif, de la vitesse du matériel et des exigences de la tâche finale. En traitant la capacité de déployer le logiciel comme une partie centrale de la décision, ils ont pu sélectionner un modèle qui équilibre efficacement la qualité, la vitesse et l'utilisation des ressources. Leur travail fournit un schéma directeur clair pour la construction de ces systèmes de bord vers le cloud, montrant que la meilleure solution est souvent celle qui s'adapte à la machine, et non celle qui gagne un concours théorique. Le résultat est un système pratique et fonctionnel capable de capturer, compresser et reconstruire des scènes 3D en temps réel, comblant ainsi le fossé entre l'intelligence artificielle avancée et les contraintes physiques des dispositifs qui la portent.