💻 computer science

Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing

Ce document introduit SegFS, un cadre à double flux rapide-lent pour la segmentation d'instances vidéo en vocabulaire ouvert en temps réel, qui atteint une latence jusqu'à 14 fois inférieure à celle des modèles orientés vers les appareils mobiles en découplant la compréhension sémantique multimodale sur des images clés éparses du conditionnement efficace dans l'espace des caractéristiques pour la prédiction de masques denses dans les trames suivantes.

Auteurs originaux : Luca Barsellotti, Martin Sundermeyer, Mattia Segu, Nikita Araslanov, Muhammad Ferjad Naeem, Marcella Cornia, Yongqin Xian, Maxim Berman

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luca Barsellotti, Martin Sundermeyer, Mattia Segu, Nikita Araslanov, Muhammad Ferjad Naeem, Marcella Cornia, Yongqin Xian, Maxim Berman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de filmer une scène de rue animée avec un smartphone, et que vous voulez que votre téléphone dessine instantanément un contour parfait autour de chaque voiture, chien ou personne en mouvement, même si vous lui demandez de trouver des choses qu'il n'a jamais vues auparavant (comme « un scooter violet »). C'est ce qu'on appelle la Segmentation d'Instance Vidéo à Vocabulaire Ouvert (Open-Vocabulary Video Instance Segmentation).

Le problème est que réaliser cela avec une grande précision nécessite généralement un supercalculateur. Essayer de faire tourner un "cerveau" aussi lourd sur un téléphone portable fait ramer, saccader ou figer la vidéo.

Le papier présente un nouveau système appelé SegFS (Segmenting, Fast and Slow) qui résout ce problème en utilisant une approche d'équipe « Rapide et Lent ». Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le goulot d'étranglement du « Cerveau Lourd »

Les systèmes vidéo de haute technologie actuels fonctionnent comme un chef étoilé qui goûte chaque ingrédient d'une soupe avant de la servir.

Le Chef (Le Chemin Lent) : C'est la partie lourde et précise de l'IA. Elle regarde la vidéo, lit votre consigne textuelle (ex: « cherche le chien ») et détermine avec précision à quoi ressemble exactement le chien et où il se trouve.
Le Goulot d'Étranglement : Ce chef est incroyablement lent. Si vous lui demandez de goûter chaque image d'une vidéo (30 fois par seconde), le téléphone surchauffe et la vidéo s'arrête.

2. La Solution : L'équipe « Rapide et Lent »

Au lieu de demander au Chef Étoilé de goûter chaque image, SegFS divise le travail en deux rôles :

Le Chemin Lent : Le Chef Étoilé (Images Clés)

Ce qu'il fait : Cette IA très puissante ne regarde qu'une image toutes les quelques secondes (comme une « image clé »).
Sa mission : Il fait le travail difficile. Il identifie les objets, lit les consignes textuelles et crée une « carte d'identité » détaillée (un embedding) pour chaque objet trouvé. Il dit : « D'accord, à cet instant précis, voici un chien, et voici un chat. »
Analogie : Considérez cela comme le fait de prendre une photo de haute qualité de la scène et de rédiger une description détaillée de chaque personne présente.

Le Chemin Rapide : Le Dessinateur de Croquis Rapide (Inter-images)

Ce qu'il fait : Cette IA légère regarde chaque image entre les images clés.
Sa mission : Elle n'essaie pas de « réfléchir » ou de « lire » le texte à nouveau. Au lieu de cela, elle prend les « cartes d'identité » créées par le Chef Étoilé et les utilise comme guide. Elle regarde les pixels bruts de la vidéo et demande : « En me basant sur les notes du Chef, où se trouve ce chien en ce moment même ? »
L'astuce : Le Chemin Rapide est très intelligent. Il sait que le « squelette » de base de l'image (les formes et les contours) est déjà présent dans les données vidéo. Il doit simplement « peindre » les contours en suivant les instructions du Chef.
Analogie : Imaginez que le Chef Étoilé dessine une carte de l'emplacement du chien. Le Dessinateur de Croquis n'a plus qu'à tracer rapidement les mouvements du chien sur cette carte pendant les quelques secondes suivantes. Le Dessinateur est si rapide qu'il peut dessiner 14 fois plus vite que le Chef ne pourrait jamais goûter la soupe.

3. Comment ils communiquent entre eux

Le papier décrit un processus spécial d'« injection ».

Lorsque le Chef Étoilé (Chemin Lent) trouve un chien, il n'envoie pas seulement une image. Il envoie une empreinte digitale numérique du chien.
Le Dessinateur de Croquis (Chemin Rapide) prend cette empreinte digitale et l'injecte directement dans les données vidéo brutes.
Cela permet au Dessinateur de savoir instantanément : « Ah, cette forme floue qui se déplace vers la gauche est le chien que le Chef a identifié. » Il n'a pas besoin de réidentifier le chien à partir de zéro ; il ne fait que suivre l'empreinte digitale.

4. Les Résultats : La Vitesse sans Perdre la Qualité

Le papier a testé ce système sur un Samsung Galaxy S25 Ultra (un téléphone très puissant).

Vitesse : Ce nouveau système est 14 fois plus rapide que les modèles précédents adaptés aux mobiles. Il peut traiter la vidéo à 30 images par seconde, ce qui est le standard pour une vidéo fluide en temps réel.
Précision : Malgré sa rapidité, il est presque aussi précis que les modèles lents et lourds. Le « Dessinateur de Croquis » fait très peu d'erreurs car il est guidé par les notes détaillées du « Chef Étoilé ».
Efficacité : Il économise une quantité massive de batterie et de puissance de calcul car le « goûtage » (calculs complexes) ne se produit que rarement, tandis que le « croquis » (calculs légers) se produit constamment.

Résumé

Considérez SegFS comme un chef d'orchestre et un orchestre.

Le Chef d'Orchestre (Chemin Lent) se tient sur le podium une fois toutes les quelques secondes, regarde la partition et dit à l'orchestre exactement ce qu'il doit jouer.
L'Orchestre (Chemin Rapide) joue la musique en continu, en suivant la dernière instruction du chef d'orchestre tout en s'adaptant instantanément au tempo du moment.

En séparant la « réflexion » (lent) de l'« action » (rapide), le système parvient à une compréhension vidéo en temps réel sur un téléphone sans avoir besoin d'un supercalculateur.

Résumé Technique : SegFS – Segmentation d'Instances Vidéo à Vocabulaire Ouvert en Temps Réel avec Traitement à Double Voie

1. Énoncé du Problème

La segmentation d'instances vidéo à vocabulaire ouvert (OV-VIS) vise à identifier, suivre et segmenter des instances d'objets à travers des séquences vidéo sur la base de requêtes textuelles arbitraires. Bien que les modèles récents centrés sur l'objet (par exemple, GLEE, MOBIUS) aient atteint une grande précision, ils souffrent d'une surcharge de calcul sévère, particulièrement dans les composants de l'amplificateur de caractéristiques (feature enhancer) et du décodeur d'objets (object decoder). Ces composants dominent les coûts d'inférence, rendant le déploiement en temps réel sur des appareils mobiles (ex: smartphones) infaisable. Les tentatives existantes pour optimiser ces modèles pour les appareils mobiles échouent encore à répondre aux exigences de taux de rafraîchissement élevés (ex: 30 FPS) sans une dégradation significative de la précision. Le défi central consiste à découpler la compréhension sémantique multimodale, coûteuse en calcul, de la prédiction de masques dense, image par image, requise pour la propagation temporelle.

2. Méthodologie : Le Cadre SegFS

Les auteurs proposent SegFS, un cadre à double flux « Rapide et Lent » conçu pour amortir les coûts de calcul en séparant le traitement en deux voies distinctes opérant à différentes fréquences temporelles.

L'Architecture à Double Voie

La Voie Lente (Images Clés) : Opère uniquement sur des images clés échantillonnées de manière éparse (ex: toutes les $T$ images). Elle utilise un modèle OV-VIS centré sur l'objet standard et lourd (tel que MOBIUS, GLEE ou TROY-VIS) pour effectuer une fusion multimodale complète et un décodage d'objets. Cette voie extrait des embeddings d'objets (représentations d'instances) de haute qualité et alignés sur le texte.
La Voie Rapide (Inter-images) : Opère sur chaque image intermédiaire entre les images clés. Elle contourne entièrement l'amplificateur de caractéristiques et le décodeur d'objets coûteux. À la place, elle repose sur un Agrégateur de Caractéristiques Rapide (Fast Feature Aggregator) léger qui conditionne les cartes de caractéristiques du backbone visuel en utilisant les embeddings d'objets propagés depuis la voie lente.

Mécanismes Fondamentaux

Projection vers l'Espace de Caractéristiques Rapides : Les embeddings d'objets décodés par la voie lente sont projetés dans l'espace de caractéristiques du backbone. Un réseau de propagation vers l'avant (FFN) sélectionne les $K$ meilleurs embeddings basés sur la similitude textuelle et ajoute un jeton de fond (background token) apprenable.
Module de Guidage d'Objet : Sur la carte de caractéristiques du backbone à la plus basse résolution ( $P_5$ $P_{5}$ ), les embeddings d'objets sélectionnés sont injectés spatialement. Ceci est réalisé via :
- Injection d'Objet : Calcul de la similitude cosinus entre les cellules spatiales de $P_5$ et les jetons d'objets pour créer une carte de caractéristiques sensible aux objets.
- Fusion à Porte (Gated Fusion) : Un mécanisme de porte mélange les sémantiques d'objets injectées avec les caractéristiques originales du backbone, préservant les indices visuels précis tout en incorporant la sémantique des instances.
Suréchantillonnage Progressif : La carte $P_5$ enrichie est suréchantillonnée progressivement et fusionnée avec les caractéristiques du backbone à plus haute résolution ( $P_4, P_3, P_2$ ) en utilisant des blocs de convolution séparables en profondeur (DSConvGN) légers.
Prédiction de Masque : La carte de caractéristiques finale à haute résolution est convoluée avec les embeddings d'objets (agissant comme des noyaux/kernels) pour générer les logit de masques.
Association Temporelle : Le cadre emploie le paradigme standard de « suivi par correspondance » (MinVIS), associant les requêtes d'objets à travers les images via la similitude cosinus de leurs embeddings, évitant ainsi l'estimation explicite du flux optique.

Stratégie d'Entraînement

SegFS est entraîné sur des jeux de données de segmentation d'instances basés sur des images (COCO, LVIS, RefCOCO, etc.) et est traité comme des jeux de données vidéo en ignorant la continuité temporelle pendant l'entraînement.

Correspondance Hybride : Pendant l'entraînement, le réseau lent traite l'image pour générer des logit de catégories et des boîtes englobantes précises. Celles-ci sont utilisées pour établir la correspondance bipartite optimale (algorithme hongrois) avec la vérité terrain.
Supervision : Le réseau rapide est supervisé en utilisant les prédictions de masques dérivées de cette correspondance, en utilisant les pertes de Masque et de DICE. Cela permet au réseau rapide d'apprendre à reproduire la qualité de segmentation du réseau lent sans exécuter les composants lourds de ce dernier.

3. Contributions Clés

Extension du Paradigme à Double Voie : Les auteurs étendent l'approche basée sur les images clés à l'OV-VIS, démontant que les caractéristiques du backbone contiennent intrinsèquement suffisamment de détails spatiaux pour la localisation. Par conséquent, l'amplificateur de caractéristiques lourd peut être restreint aux images clés éparses sans perte de précision significative.
Nouvel Agrégateur de Caractéristiques Rapide : Un module léger qui injecte les embeddings d'instances dans la pyramide de caractéristiques du backbone, permettant une génération de masques précise avec une latence minimale.
Compromis Efficacité-Précision : Le cadre réussit à découpler la compréhension sémantique de la prédiction dense, atteignant des vitesses en temps réel tout en maintenant des performances de segmentation compétitives.

4. Résultats Expérimentaux

Les auteurs ont évalué SegFS sur des benchmarks standards d'OV-VIS : YouTubeVIS19, OVIS, BURST et LV-VIS.

Performance vs Baselines :
- SegFS atteint une performance comparable à la baseline « Reuse Objects » (qui exécute le réseau lent complet mais saute le décodeur) et surpasse significativement les méthodes de propagation basées sur le flux optique (RAFT, LiteFlowNet2) ainsi que le concurrent à double réseau MPVSS.
- Sur le backbone MOBIUS-Mini-M, SegFS atteint une AP de 41.6 sur YouTubeVIS19, contre 42.1 pour le réseau lent complet, tout en réduisant drastiquement la latence.
Efficacité et Latence :
- Accélération : SegFS atteint jusqu'à une réduction de latence de 14× par rapport au modèle MOBIUS orienté mobile.
- Capacité Temps Réel : Sur un Samsung Galaxy S25 Ultra, SegFS franchit le seuil des 30 FPS (atteignant environ 38 FPS amortis sur un intervalle de 6 images), là où les modèles de référence peinent à dépasser 10–16 FPS.
- Matériel : La méthode a été testée sur diverses puces mobiles (Snapdragon 8 Elite, Gen 5, X2, XR2) et GPU (A100, T4), montrant systématiquement une latence de bord supérieure.
Études d'Ablation :
- Intervalle de Propagation ( $T$ ) : SegFS maintient une performance robuste à mesure que l'intervalle entre les images clés augmente (jusqu'à $T=10$ ), surpassant les méthodes de déformation de masque (mask-warping) qui se dégradent rapidement.
- Impact des Composants : Les modules « Object Injection » et « Attention-based Refinement » ont été identifiés comme les composants les plus critiques pour combler l'écart de performance entre la voie rapide et le réseau lent complet.

5. Signification et Revendications

L'article affirme que SegFS établit un nouveau standard pour l'OV-VIS en temps réel sur appareil. En déplaçant la charge de calcul de la propagation d'instances de l'encodage d'objets vers le conditionnement de l'espace de caractéristiques, le cadre contourne efficacement les composants les plus coûteux des modèles de pointe actuels.

Les auteurs soulignent que leur approche :

Préserve les Capacités Zero-Shot : Elle conserve la nature à vocabulaire ouvert des modèles lents sous-jacents.
Permet le Déploiement Mobile : C'est la première approche capable d'atteindre de manière constante plus de 30 FPS sur le matériel mobile moderne pour cette tâche sans sacrifier la qualité du masque.
Découple la Sémantique de la Géométrie : Elle prouve que la compréhension sémantique de haut niveau n'a pas besoin d'être recalculée pour chaque image, tant que les embeddings d'instances sont correctement projetés dans l'espace de caractéristiques du backbone visuel.

Le travail conclut que pour l'OV-VIS, l'amplificateur de caractéristiques lourd est redondant pour les inter-images, et qu'une fusion légère des caractéristiques du backbone avec les embeddings projetés est suffisante pour une segmentation de haute qualité en temps réel.