Vision-Language Models on the Edge for Real-Time Robotic Perception
Cet article étudie le déploiement de modèles vision-langage sur une infrastructure de bord (ORAN/MEC) compatible 6G à l'aide d'un robot Unitree G1, démontrant que l'exécution en périphie réduit considérablement la latence tout en maintenant une précision proche de celle du cloud, les modèles compacts offrant une réactivité encore plus rapide au détriment de la précision.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez un assistant robotique très intelligent (comme un robot humanoïde) qui doit voir le monde et vous parler. Pour ce faire, il utilise un « cerveau » appelé Modèle Vision-Langage (VLM). Ce cerveau peut regarder une image, comprendre ce qui s'y passe et répondre à des questions à son sujet.
Le problème est que ces cerveaux sont énormes et lourds. Habituellement, pour les faire fonctionner, le robot doit envoyer toutes ses données vidéo et audio via Internet vers un centre de données géant et lointain (le « Cloud ») pour obtenir une réponse, puis attendre que la réponse revienne. C'est comme essayer de commander une pizza en envoyant une lettre au chef, attendre qu'il cuisine, puis lui renvoyer la lettre par la poste. C'est lent, coûteux, et si le courrier se perd, vous ne mangez pas.
Cette étude teste une nouvelle idée : Et si nous placions le cerveau juste à côté du robot ?
L'installation : Le Robot et l'« Edge »
Les chercheurs ont utilisé un vrai robot nommé Unitree G1 (un petit robot humanoïde agile) comme sujet de test. Au lieu d'envendre les données vers un Cloud lointain, ils ont connecté le robot à un serveur « Edge » local.
Considérez le Cloud comme une immense bibliothèque centralisée située dans une autre ville. Vous devez vous y rendre en voiture pour lire un livre.
Considérez l'Edge (plus précisément l'ORAN/MEC) comme un petit kiosque intelligent situé juste devant la porte de votre maison. Il possède les livres dont vous avez besoin juste là, vous n'avez donc pas besoin de voyager.
Ils ont construit un système utilisant WebRTC (une technologie qui permet aux ordinateurs de communiquer instantanément, comme un appel vidéo) pour diffuser la vidéo et la voix du robot vers ce kiosque local.
L'expérience : Deux types de cerveaux
Ils ont testé deux « cerveaux » différents sur ce kiosque local pour voir comment ils performaient par rapport au Cloud lointain :
- Le « Super-Cerveau » (LLaMA-3.2-11B) : C'est un modèle massif et hautement intelligent. C'est comme un professeur de doctorat qui sait tout, mais qui prend un moment pour réfléchir profondément.
- Le « Cerveau Compact » (Qwen2-VL-2B) : C'est un modèle plus petit et plus léger. C'est comme un stagiaire vif d'esprit qui peut répondre rapidement, mais qui pourrait passer à côté de certains détails profonds.
Ce qu'ils ont découvert
1. Le Super-Cerveau sur l'Edge est un gagnant
Lorsqu'ils ont placé le « Super-Cerveau » massif sur le kiosque Edge local au lieu du Cloud :
- Vitesse : Il était 5 % plus rapide. Cela ne semble pas être un bond énorme, mais dans le monde de la robotique, gagner même une fraction de seconde rend la conversation beaucoup plus naturelle et sûre.
- Intelligence : Il était tout aussi intelligent que la version Cloud. Il n'a perdu aucune précision.
- Confidentialité : Comme la vidéo n'a jamais quitté le réseau local, l'environnement du robot est resté privé. Personne dans un centre de données lointain n'a vu la vidéo.
2. Le Cerveau Compact est un démon de la vitesse
Lorsqu'ils ont utilisé le « Cerveau Compact » plus petit sur l'Edge :
- Vitesse : Il était plus de deux fois plus rapide que la version Cloud. Il pouvait répondre en moins d'une seconde, ce qui est excellent pour les interactions rapides.
- Intelligence : Il était moins précis. Il a manqué certaines des tâches de raisonnement plus profondes. C'est comme le stagiaire qui répond rapidement mais qui pourrait se tromper dans les calculs complexes.
3. Où passe le temps
Ils ont décomposé exactement où le temps était passé. Ils ont découvert que lire l'image était instantané. La partie lente était la génération de la réponse textuelle. La partie « réflexion » et « frappe au clavier » occupait plus de 85 % du temps. Cela nous indique que pour rendre les robots plus rapides, nous devons rendre la partie « frappe » plus intelligente, et non seulement la partie « regard ».
La vue d'ensemble
L'étude conclut que nous n'avons pas à choisir entre « intelligence » et « rapidité ».
- Si vous voulez une intelligence maximale (comme pour une navigation complexe ou des indices sociaux), vous pouvez exécuter le grand modèle sur l'Edge et obtenir presque la même intelligence que le Cloud, juste un peu plus vite et de manière plus privée.
- Si vous avez besoin de réactions instantanées (comme pour éviter un obstacle), le modèle plus petit est un excellent choix, même s'il est un peu moins intelligent.
En résumé, en déplaçant le « cerveau » du Cloud lointain vers un kiosque local (l'Edge), nous pouvons rendre les robots plus sûrs, plus privés et donner l'impression qu'ils nous parlent en temps réel, plutôt que d'attendre une réponse de l'autre bout de l'océan.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.