💻 computer science

GeoMag: Geometric-Aware Video Motion Magnification via State Space Model

L'article présente GeoMag, un cadre d'amplification du mouvement vidéo sensible à la géométrie exploitant des modèles d'espace d'état pour une amplification globalement cohérente et à complexité linéaire, étayé par le nouveau jeu de données Geo-200K afin de remédier aux limites des méthodes existantes concernant la cohérence structurelle et la diversité de l'entraînement.

Auteurs originaux : Kecheng Han, Yuchen Zhang, Bingqing Liu, Boqiang Guo, Wenbin Zheng, Shiyuan Pei

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kecheng Han, Yuchen Zhang, Bingqing Liu, Boqiang Guo, Wenbin Zheng, Shiyuan Pei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une vidéo des ailes d'un colibri ou d'une pièce mécanique vibrante. À l'œil nu, ces mouvements sont si infimes qu'ils ressemblent à un flou ou simplement à du bruit statique. La Magnification de Mouvement Vidéo (VMM) agit comme un « microscope de mouvement » qui tente de rendre ces infimes tremblements gigantesques afin que nous puissions les voir.

Cependant, amplifier ces mouvements infimes est délicat. Si vous augmentez simplement le volume du mouvement, vous augmentez aussi le « statique » (le bruit) et vous risquez souvent de dégrader l'image, rendant les choses instables ou déformées.

L'article présente un nouvel outil appelé GeoMag qui résout ces problèmes. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Problème : Le Dilemme « Flou vs Cassé »

Les méthodes précédentes tentaient d'amplifier le mouvement en utilisant deux approches principales, toutes deux présentant des défauts :

Le Détective Local (CNN) : Il est comme un détective qui examine une seule petite pièce à la fois. Il est rapide, mais il ne sait pas ce qui se passe dans le reste de la maison. Cela entraîne des distorsions locales où des parties de l'image semblent déformées.
Le Gardien Global (Transformers) : Il est comme un détective avec une vue par drone de toute la ville. Il voit parfaitement l'ensemble, mais il est si lent et coûteux à exécuter qu'il ne peut pas gérer des vidéos haute définition en temps réel.

GeoMag trouve la zone « Boucle d'Or » : il voit l'ensemble (cohérence globale) mais fonctionne aussi vite que le détective local.

2. L'Ingrédient Secret : Le Moteur « Mamba »

GeoMag utilise un nouveau type d'architecture d'IA appelée Modèle d'Espace d'État (spécifiquement, une variante appelée Mamba).

L'Analogie : Imaginez lire un livre. Les anciennes méthodes (Transformers) tentent de lire chaque mot et de le comparer à tous les autres mots du livre simultanément pour comprendre l'histoire. C'est lent.
L'Approche de GeoMag : Il lit le livre linéairement, mot par mot, mais il possède une « mémoire sélective ». Il se souvient des points clés de l'intrigue (le mouvement réel) et oublie instantanément les gribouillis aléatoires sur la page (le bruit de la caméra). Cela lui permet de comprendre toute l'histoire (l'ensemble de l'image vidéo) sans s'embourber, le rendant incroyablement rapide et efficace.

3. Le Terrain d'Entraînement : « Geo-200K »

Les modèles d'IA doivent être entraînés sur des exemples pour apprendre à amplifier le mouvement sans tout casser.

L'Ancienne Façon : La plupart des modèles précédents étaient entraînés sur des vidéos où les objets se déplaçaient simplement en ligne droite (comme une voiture avançant). C'était comme enseigner à un pilote de ne voler que sur une piste droite et vide.
La Nouvelle Façon (Geo-200K) : Les auteurs ont construit un vaste nouvel ensemble de données d'entraînement appelé Geo-200K. Ils ont créé une « aire de jeux virtuelle » où les objets ne se déplacent pas seulement en ligne droite ; ils tournent, se tordent et pivotent. Ils ont également ajouté des « bugs de caméra » réalistes comme du grain et du flou.
Le Résultat : C'est comme prendre ce pilote et l'entraîner dans une tempête avec des rafales de vent et des virages serrés. Maintenant, lorsque GeoMag est confronté à une vidéo du monde réel, il n'est pas surpris par des mouvements complexes ou du bruit de caméra. Il sait exactement comment les gérer.

4. Comment GeoMag Fonctionne (La Cuisine à Deux Flux)

Le système possède deux « chefs » travaillant ensemble pour cuisiner la vidéo finale :

Chef 1 (Le Spécialiste du Mouvement) : Ce chef utilise le moteur Mamba pour trouver les parties en mouvement. Il prend le mouvement infime, l'amplifie (le rend plus grand), puis utilise sa « mémoire sélective » pour lisser les bords irréguliers ou le bruit. Il s'assure que l'objet en mouvement reste rigide et ne se transforme pas en une masse informe.
Chef 2 (Le Spécialiste des Détails) : Ce chef se concentre sur l'arrière-plan et les détails statiques (comme la texture d'un mur ou d'une chemise). Son travail consiste à s'assurer que, tandis que le mouvement grossit, le reste de l'image ne devient pas flou ou ne perd pas sa netteté.
Le Plat Final : Ils combinent leurs travaux. Vous obtenez une vidéo où le mouvement est énorme et clair, mais où l'arrière-plan reste net et où l'objet ne semble pas fondre.

5. Les Résultats

L'article a testé GeoMag contre les meilleures méthodes existantes :

Meilleure Qualité : Il produit des vidéos plus claires avec moins d'« artefacts » (bugs visuels étranges comme des ondulations ou des formes brisées).
Plus Rapide : Il est environ 5 fois plus rapide que les méthodes précédentes les plus avancées utilisant l'approche du « Gardien Global » (Transformer).
Plus Robuste : Parce qu'il a été entraîné sur l'ensemble de données complexe Geo-200K, il gère beaucoup mieux les objets en rotation et les caméras bruyantes que les modèles entraînés uniquement sur des mouvements simples en ligne droite.

En résumé : GeoMag est une nouvelle façon rapide et intelligente de zoomer sur des mouvements invisibles dans les vidéos. Il utilise un système astucieux de « mémoire sélective » pour maintenir l'image stable et un ensemble de données d'entraînement surpuissant pour garantir qu'il fonctionne même lorsque les choses tournent ou que la caméra tremble.

Résumé Technique : GeoMag

Énoncé du Problème
La Magnification de Mouvement Vidéo (VMM) vise à révéler des dynamiques imperceptibles dans les séquences vidéo, agissant comme un « microscope à mouvement » pour des applications en analyse structurelle, biomédecine et détection de micro-expressions. Cependant, un défi central persiste : distinguer un mouvement minuscule et significatif du bruit d'imagerie sans compromettre l'intégrité structurelle. Les méthodes existantes basées sur l'apprentissage font face à un dilemme structurel. Les Réseaux de Neurones Convolutifs (CNN) sont efficaces sur le plan computationnel mais manquent des dépendances à long terme requises pour une cohérence géométrique globale, conduisant souvent à des distorsions locales. À l'inverse, les approches basées sur les Transformers offrent un contexte global mais souffrent d'une complexité computationnelle quadratique, rendant le traitement haute résolution prohibitif. De plus, les protocoles d'entraînement actuels (par exemple, LBVMM) reposent fortement sur des translations linéaires simples, échouant à capturer les transformations géométriques complexes (rotation, mouvement composé) et les dégradations de capteurs présentes dans les scénarios réels, conduisant à des modèles qui surajustent à des motifs de mouvement simplifiés.

Méthodologie
Les auteurs proposent GeoMag, un cadre VMM conscient de la géométrie construit sur des Modèles d'État d'Espace (SSM), exploitant spécifiquement l'architecture Mamba, pour réaliser une amplification de mouvement globalement cohérente avec une complexité computationnelle linéaire.

Architecture : GeoMag emploie une conception à double flux :
1. Flux de Mouvement Principal : Utilise un Extracteur de Caractéristiques Profondes (DFE) et un encodeur de Conscience de Séquence basé sur Mamba (MMSA). Le DFE, composé de blocs Vision Mamba empilés, extrait des représentations sémantiques profondes. L'encodeur MMSA traite les caractéristiques manipulées en utilisant un mécanisme de Numérisation Sélective 2D. Ce mécanisme agit comme un filtre variant spatialement qui exploite une sélectivité dépendante de l'entrée pour retenir les motifs de mouvement cohérents tout en supprimant le bruit stochastique, assurant une cohérence globale avec une complexité linéaire.
2. Raffineur de Caractéristiques Statiques (SFR) : Une branche parallèle opérant sur des caractéristiques peu profondes et haute résolution pour préserver les détails de texture haute fréquence et stabiliser l'arrière-plan statique, empêchant la perte de détails fins courante dans les encodeurs profonds.
3. Manipulation de Caractéristiques : Contrairement aux méthodes basées sur la phase traditionnelles, GeoMag calcule les différentielles de mouvement directement dans l'espace des caractéristiques latentes. Ces différentielles sont mises à l'échelle par un facteur d'amplification $\alpha$ et traitées par une fonction de manipulation non linéaire avant d'être raffinées par le MMSA et fusionnées avec les détails statiques.
Synthèse de Données (Geo-200K) : Pour pallier les limites des données d'entraînement existantes, les auteurs ont construit Geo-200K, un ensemble de données synthétique à grande échelle. Ce pipeline génère des paires d'entraînement en composant des objets d'avant-plan issus de CocoNut et des arrière-plans issus d'OpenImages. Crucialement, il introduit :
- Transformations Géométriques Complexes : Un mélange de translation pure, de rotation pure et de transformations combinées (ratio 30%/30%/40%).
- Dégradations Réalistes de Capteurs : Un pipeline de simulation basé sur la physique incluant le bruit photonique de grenaille, les artefacts de lecture, la cartographie des tons et la quantification de la conversion analogique-numérique.
- Contraintes Cinématiques : Des bornes strictes sur le déplacement et la rotation pour assurer la plausibilité physique et la stabilité numérique.

Contributions Clés

Cadre GeoMag : Une architecture VMM novatrice basée sur des Modèles d'État d'Espace qui gère efficacement les mouvements géométriques complexes tout en réduisant les artefacts visuels et le flou par rapport aux méthodes CNN et Transformer existantes.
Ensemble de Données Geo-200K : Un ensemble de données synthétique à grande échelle incorporant des transformations géométriques complexes et des dégradations réalistes de capteurs, fournissant une supervision diverse et réaliste pour l'entraînement VMM.
Validation Complète : Des expériences extensives démontrant que le cadre et l'ensemble de données proposés surpassent les méthodes de l'art dans la fidélité visuelle et l'efficacité computationnelle.

Résultats Expérimentaux

Performance Quantitative : Sur quatre benchmarks synthétiques (couvrant translation, rotation, bruit et flou), GeoMag entraîné sur Geo-200K a constamment surpassé les bases de référence existantes. Notamment, sur l'ensemble de données Synthétique-II axé sur la rotation, GeoMag a obtenu le LPIPS (0,16) et le RMSE les plus bas, surpassant significativement les bases de référence basées sur les Transformers comme STB-VMM et EulerMormer, qui ont lutté avec la rigidité structurelle sous une rotation non linéaire.
Efficacité : GeoMag atteint un compromis favorable entre performance et coût. Il nécessite environ 5 fois moins de GFLOPs (296,1G) que STB-VMM (1584G) tout en traitant une vidéo 720p de 300 images en 13,9 secondes, contre 31,6 secondes pour STB-VMM et 50,0 secondes pour EulerMormer.
Analyse Qualitative : Les comparaisons visuelles sur des vidéos réelles (par exemple, respiration d'un bébé, vibration de moteur, rotation de rotor) montrent que GeoMag préserve mieux la continuité structurelle que les méthodes antérieures. Il évite les artefacts de résonance des filtres conçus à la main, le flou de texture des CNN et les incohérences géométriques (discontinuités spatiales) observées dans les modèles basés sur l'attention.
Études d'Ablation : La suppression du module SFR a causé une dégradation marquée du RMSE (de 24,22 à 29,42), confirmant sa nécessité pour stabiliser les régions statiques. Le remplacement de l'architecture Mamba par des variantes CNN ou Transformer a entraîné une performance significativement inférieure, validant l'efficacité de la conception basée sur les SSM.

Signification
L'article affirme que GeoMag fournit une solution unifiée au compromis entre la modélisation des dépendances à long terme et les coûts computationnels dans la magnification de mouvement vidéo. En intégrant des Modèles d'État d'Espace avec une numérisation sélective, le cadre capture une cohérence géométrique globale sans la complexité quadratique des Transformers. De plus, l'introduction de Geo-200K adresse le goulot d'étranglement critique de la qualité des données, offrant une fondation de données de haute qualité qui simule la cinématique réelle complexe et la physique de l'imagerie. Les auteurs positionnent ce travail comme une référence solide pour la recherche sur l'amplification de mouvement efficace, démontrant qu'une fidélité visuelle supérieure peut être atteinte avec des ressources computationnelles considérablement réduites.