Résumé Technique : RGLStab – Un Cadre de Stabilisation Vidéo en Ligne Robuste

1. Énoncé du Problème

Les séquences vidéo capturées par des caméras embarquées (par exemple, des drones) sont fréquemment compromises par des perturbations environnementales externes, des vibrations mécaniques de rotors et des manœuvres rapides. Ces facteurs introduisent des oscillations visuelles non linéaires qui dégradent l'observation de l'opérateur et entravent les tâches de vision par ordinateur en aval.

Les technologies de stabilisation existantes font face à des compromis importants :

• Méthodes Traditionnelles Basées sur les Caractéristiques : Elles reposent sur des caractéristiques locales éparses et faites à la main. Elles échouent souvent lors de rotations ou de translations rapides, ou en cas de flou dynamique, en raison d'un nombre insuffisant de points de caractéristiques et d'un appariement instable, ce qui entraîne un bruit de trajectoire ou des écarts de compensation.
• Méthodes Basées sur l'Apprentissage Profond : Bien que les méthodes de flux optique dense et de déformation de grille offrent une meilleure résilience aux tremblements complexes, elles souffrent de surcharges de calcul élevées (latence d'inférence) et introduisent souvent des distorsions géométriques locales (artefacts non rigides) lors de l'application de déformations non linéaires localisées pour éliminer la parallaxe.
• Hors Ligne vs En Ligne : La plupart des méthodes de haute qualité sont hors ligne, s'appuyant sur des images futures (non causales), ce qui introduit une latence inacceptable pour les applications en temps réel. Les méthodes en ligne qui respectent strictement la causalité peinent souvent à équilibrer la performance en temps réel avec la fidélité géométrique et la robustesse face à la perte de caractéristiques.

2. Méthodologie

Le cadre proposé, RGLStab, répond à ces défis via un pipeline en trois étapes conçu pour un traitement en ligne strict et causal, sans dépendance aux images futures.

2.1 Estimation du Mouvement : Grille de Flux et RANSAC

Au lieu de s'appuyer sur des points de caractéristiques éparses ou sur un traitement par pixel dense et coûteux en calcul pour l'ensemble de l'image, RGLStab utilise une approche hybride :

• Extraction de Flux Dense : Il utilise l'architecture RAFT (Recurrent All-Pairs Field Transforms) pour générer des champs de flux optique dense de haute qualité au niveau du pixel, garantissant une robustesse même dans des scénarios à faible texture ou en mouvement rapide.
• Échantillonnage par Grille : Pour réduire la complexité de calcul, le champ de flux de haute dimension est sous-échantillonné via un échantillonnage de grille structuré, extrayant les vecteurs de mouvement uniquement à partir des sommets de la grille.
• RANSAC Géométrique : Les vecteurs de mouvement échantillonnés sont traités par l'algorithme RANSAC pour filtrer les valeurs aberrantes dynamiques et estimer une matrice de transformation de similitude globale à quatre degrés de liberté (4-DOF). Cette matrice inclut la translation ($t_x, t_y$), la rotation ($\theta$) et l'échelle uniforme ($s$). Cette étape impose des contraintes géométriques rigides, empêchant les distorsions non rigides locales communes aux méthodes de déformation de grille.

2.2 Lissage de Trajectoire : LSTM Unidirectionnel Causal

Pour obtenir un lissage en temps réel sans dépendance aux images futures, le cadre emploie un modèle temporel entièrement causal basé sur un réseau de mémoire à long et court terme (LSTM) unidirectionnel.

• Entrée : Le réseau reçoit le vecteur d'état physique 4-DOF actuel ($x_t = [t_x, t_y, \theta, s]^T$) et les états cachés historiques.
• Mécanisme : À travers des mécanismes de porte (oubli, entrée et sortie), le LSTM apprend les lois cinématiques du stabilisateur physique. Il sépare efficacement les tremblements mécaniques à haute fréquence de la trajectoire voulue de la caméra en utilisant uniquement les observations passées et présentes.
• Sortie : Le modèle prédit une séquence de pose fluide, garantissant une inférence à latence nulle par rapport au flux d'entrée.

2.3 Fonction de Perte Hybride Découplée

Pour guider le LSTM dans l'apprentissage d'une stabilisation optimale sans sacrifier le champ de vision (FOV), une fonction de perte pondérée découplée est introduite. Contra_irement aux pertes standards qui traitent tous les composants de mouvement de la même manière, cette fonction applique des pénalités spécifiques :

• Translation ($\lambda_{trans} = 1.0$) : Ancre la trajectoire globale.
• Rotation ($\lambda_{rot} = 2.0$) : Assigne une pénalité plus élevée aux erreurs de rotation. Puisque le tremblement de rotation provoque des effets de levier importants aux bords de l'image (entraînant des bordures noires et une perte de FOV), ce poids élevé force le réseau à minimiser les écarts de rotation.
• Échelle ($\lambda_{scale} = 1.0$) : Empêche les artefacts de zoom non naturels.
• Sélection de la Norme : La norme L1 est utilisée à la place de la L2 pour fournir des gradients linéaires stables et atténuer l'instabilité causée par les impacts mécaniques soudains.

2.4 Synthèse de Trame

L'étape finale reconstruit la trame vidéo en utilisant la transformation de similitude globale 4-DOF. En traitant l'image comme un corps rigide incompressible et en appliquant une cartographie algébrique linéaire unifiée, le système évite l'effet « Jello » et les distorsions locales associés au déformage de grille non rigide. Cela garantit une haute fidélité géométrique et maximise le FOV effectif conservé.

3. Contributions Clés

1. Cadre RGLStab : Un cadre de stabilisation vidéo en ligne intégrant un flux optique par grille structurée (RAFT + Échantillonnage de Grille) avec des réseaux temporels (LSTM) pour équilibrer l'efficacité de calcul et la robustesse.
2. Stratégie d'Extraction de Mouvement Robuste : Une stratégie novatrice combinant l'échantillonnage de grille du flux dense RAFT avec RANSAC pour dériver une matrice de similitude 4-DOF globale. Cela supprime efficacement les distorsions locales et gère les manœuvres complexes là où le suivi de caractéristiques éparses échoue.
3. Lissage Temporel Causal : Un modèle LSTM entièrement causal qui effectue le lissage de trajectoire en se basant uniquement sur la mémoire historique et les observations actuelles, atteignant une prédiction à faible latence sans dépendance aux images futures.
4. Optimisation Découplée : Une fonction de perte mixte avec des pénalités pondérées (spécifiquement un poids élevé sur la rotation) qui élimine efficacement les tremblements à haute fréquence tout en préservant les proportions géométriques et en maximisant le champ de vision utilisable.

4. Résultats Expérimentaux

Le cadre a été évalué sur le Jeu de Données de Benchmark de Stabilisation NUS à travers cinq scénarios : Régulier, Rotation Rapide, Zoom Intense, Foule et Parallaxe.

• Performance Quantitative :
  • Stabilité : RGLStab a atteint un Score de Stabilité de 0,8768 (moyenne), rivalisant avec les méthodes hors ligne et surpassant les autres bases de référence en ligne comme Meshflow (0,8617) et StabNet (0,8338).
  • Distorsion : Il a obtenu un score de Distorsion de 0,9788, surpassant nettement Meshflow (0,8447) et maintenant une haute fidélité géométrique comparable aux méthodes hors ligne comme PWStableNet (0,9803).
  • Ratio de Recadrage : La méthode a conservé un champ de vision élevé avec un ratio de recadrage moyen de 0,9423, supérieur à la plupart des méthodes en ligne, indiquant une perte minimale de la zone d'image effective.
• Efficacité de Calcul :
  • RGLStab a atteint un taux de rafraîchissement d'inférence en ligne de 24,51 FPS sur une NVIDIA RTX 2080Ti.
  • Cela surpasse d'autres méthodes d'apprentissage profond en ligne comme NNDVS (14,63 FPS) et StabNet (1,08 FPS), tout en maintenant une fidélité géométrique supérieure aux méthodes éparses ultra-légères comme SuperPoint (30,67 FPS mais avec une stabilité moindre dans des scénarios complexes).
• Analyse Qualitative : Les comparaisons visuelles ont démontré que RGLStab supprime efficacement les déformations non linéaires locales (effet Jello) et évite le recadrage agressif et les bordures noires observés dans les méthodes concurrentes en ligne (StabNet, SuperPoint) lors de rotations rapides.

5. Signification et Revendications

L'article affirme que RGLStab fournit une solution hautement pratique et orientée vers l'ingénierie pour des tâches sensibles au temps réel sur des plateformes aériennes. Sa signification réside dans :

• Briser le Compromis : Il équilibre avec succès la performance en temps réel (faible latence) avec la fidélité géométrique, un défi où les méthodes en ligne existantes échouent souvent.
• Robustesse dans des Conditions Extrêmes : En s'éloignant de l'appariement de caractéristiques éparses au profit de l'échantillonnage de grille de flux dense, il surmonte les échecs de suivi lors de rotations rapides et de flous dynamiques.
• Efficacité Causale : Il atteint une qualité de stabilisation comparable à certains algorithmes globaux hors ligne tout en respectant strictement la causalité, ce qui le rend adapté aux applications critiques comme la patrouille aérienne ou la reconnaissance de catastrophes où les données d'images futures sont indisponibles.
• Intégrité Géométrique : L'utilisation de contraintes de similitude 4-DOF rigides et de fonctions de perte pénalisant la rotation garantit que la vidéo stabilisée conserve des proportions géométriques naturelles et maximise le champ de vision effectif, évitant les artefacts courants des approches de déformation non rigide.

Les auteurs reconnaissent des limites, notant que le modèle de similitude 4-DOF ne peut pas pleinement corriger la distorsion de l'obturateur (rolling shutter) ou les déformations de perspective complexes causées par des écarts de profondeur significatifs lors de manœuvres 3D agressives, ce qui représente un compromis d'ingénierie pour l'efficacité en temps réel.