💻 computer science

OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder

L'article présente Omni-Encoder, un backbone Transformer unifié qui co-incorpore les signaux visuels et audio à 25 images par seconde symétriques pour surmonter les limites des encodeurs spécifiques à une modalité, permettant ainsi une perception holistique et humaine du mouvement continu et améliorant significativement les performances sur des tâches visuelles fines tout en maintenant des benchmarks audio-visuels compétitifs.

Auteurs originaux : Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de comprendre un film en regardant une seule photo figée chaque seconde tout en écoutant la bande-son à pleine vitesse. C'est essentiellement ainsi que fonctionnent aujourd'hui la plupart des modèles d'IA « omni-modaux » (systèmes qui voient et entendent). Ils observent les images vidéo lentement (1 ou 2 par seconde) mais écoutent l'audio très rapidement (25 fois par seconde). Cela crée un décalage : l'IA voit le monde au ralenti mais l'entend en temps réel, ce qui rend difficile la connexion d'un geste de la main spécifique au son exact qu'il produit.

L'article présente Omni-Encoder, un nouveau cerveau d'IA conçu pour corriger cela en voyant, en entendant et en « ressentant » le mouvement simultanément, tout comme le font les humains.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : La « Caméra au Ralenti » vs La « Oreille Rapide »

Les modèles d'IA actuels sont comme un gardien de sécurité qui inspecte un couloir toutes les 10 secondes mais entend chaque pas instantanément. Si quelqu'un agite la main rapidement entre deux inspections, le gardien le manque.

Le Problème : Les modèles existants échantillonnent la vidéo trop lentement pour capturer les mouvements rapides (comme la langue des signes ou la gymnastique) tout en traitant l'audio à pleine vitesse. Cela les empêche de saisir la « danse » entre ce que vous voyez et ce que vous entendez.

2. La Solution : Le « Super-Cerveau à 25 FPS »

Omni-Encoder est conçu pour traiter la vidéo et l'audio à la même vitesse élevée : 25 images par seconde. Il ne se contente pas de regarder des images ; il comprend le mouvement entre elles.

Pour rendre cela possible sans faire planter l'ordinateur à cause d'un volume de données trop important, les auteurs ont inventé trois astuces ingénieuses :

A. L'« Autoroute à Trois Voies » (Modèle de Jetons Omni-Encoder)

Au lieu de traiter la vidéo et l'audio comme un amas désordonné de données, le système organise l'information en trois « voies » distinctes pour chaque instant :

La Voie Audio : Transporte le son.
La Voie « Mouvement » (Visuelle Continue) : C'est l'ingrédient magique. Ce sont des points de données spéciaux qui agissent comme des « capteurs de mouvement ». Ils ne se soucient pas de l'apparence de l'objet (sa couleur ou sa forme) ; ils ne se soucient que de la façon dont il bouge d'une image à la suivante. Pensez-y comme au suivi de la trajectoire de la main d'un danseur plutôt que du visage du danseur.
La Voie « Statique » (Base Visuelle) : Elle transporte les détails de l'apparence des choses (textures, formes, arrière-plan).

L'Astuce d'Efficacité : Le système maintient les voies « Mouvement » et « Audio » à pleine vitesse (25 ips) afin qu'aucun mouvement ne soit manqué. Cependant, il ralentit la voie « Statique » à seulement 2 images par seconde. Pourquoi ? Parce que l'arrière-plan ne change pas aussi vite. Cela économise une quantité massive de puissance informatique tout en conservant intactes les données de mouvement rapide.

B. Le « GPS 3D » (Omni-RoPE)

Dans une IA normale, il est difficile de dire si un élément de données est un son, une main en mouvement ou un mur statique, car ils ressemblent tous aux mêmes nombres.
Omni-Encoder attribue à chaque élément de données des coordonnées GPS 3D uniques (Temps, Hauteur, Largeur).

Les sons reçoivent une coordonnée à l'« origine » (0,0).
Les mains en mouvement reçoivent une coordonnée juste à côté (0,1).
Les murs statiques reçoivent des coordonnées plus éloignées (1,1).
Cela permet à l'IA de savoir instantanément : « Oh, ce point de données est un son, et celui-ci est un objet en mouvement », afin qu'elle puisse comprendre leurs relations sans se confondre.

C. La « Fenêtre Glissante » (Décalage de Fenêtre Temporelle)

Traiter 25 images de vidéo et d'audio simultanément, c'est comme essayer de lire tous les livres d'une bibliothèque en même temps : c'est trop lourd.
Les auteurs utilisent une technique appelée Décalage de Fenêtre Temporelle. Imaginez lire un livre en regardant par une petite fenêtre qui couvre 16 pages à la fois.

D'abord, vous lisez les pages 1 à 16.
Ensuite, vous décalez la fenêtre de moitié et lisez les pages 9 à 24.
Puis, vous décalez à nouveau.
Cela permet à l'IA de voir comment l'histoire s'écoule d'un moment à l'autre sans avoir à mémoriser tout le film d'un coup. Cela maintient le processus de réflexion rapide et efficace.

3. Les Résultats : Qu'ont-ils Prouvé ?

L'équipe a testé ce nouveau système sur des tâches nécessitant la capture de mouvements rapides et détaillés :

Langue des Signes : Reconnaître des signes, c'est comme lire un livre écrit en mouvements rapides des mains. Les anciens modèles avaient raison environ 1 % à 37 % du temps. Omni-Encoder a eu raison de 90 % à 97 % du temps, surpassant même des systèmes spécialisés conçus uniquement pour la langue des signes.
Sports et Action : Dans des tâches comme la reconnaissance de plongeons ou de mouvements de gymnastique, il a égalé ou battu les meilleurs modèles existants.
Raisonnement Audio-Visuel : Lorsqu'on lui posait des questions nécessitant à l'écoute et la vue (par exemple : « Qui parle ? »), il a performé aussi bien que des systèmes complexes utilisant des « oreilles » et des « yeux » séparés.

La Conclusion

L'article affirme qu'en unifiant la façon dont l'IA voit et entend — en les traitant comme un flux de données unique et synchronisé plutôt que comme deux flux séparés et décalés — nous pouvons construire des modèles qui comprennent le monde plus comme les humains. Ils peuvent saisir la « sensation » du mouvement continu, ce qui les rend bien meilleurs pour comprendre les actions rapides, les gestes et la relation entre le son et la vue.

Résumé Technique : OmniEncoder

1. Énoncé du Problème

Les grands modèles de langage multimodaux actuels (OmniLLMs) emploient généralement une conception modulaire spécifique à la modalité, utilisant des encodeurs séparés pour la vision et l'audio. Cette architecture entraîne souvent une stratégie d'échantillonnage « vidéo grossière, audio dense », où les trames visuelles sont échantillonnées à de faibles fréquences (1–2 ips) tandis que l'audio est traité à de hautes fréquences (25 ips).

Les auteurs soutiennent que cette conception crée une divergence fondamentale avec la perception humaine. Les humains perçoivent le monde de manière holistique, voyant, entendant et ressentant un mouvement continu simultanément, avec des interactions inter-modales se produisant dès les premières étapes du traitement sensoriel. L'approche prédominante « trame par trame, modalité par modalité » conduit à :

Une interaction inter-modale appauvrie durant la phase d'encodage.
Une incapacité à capturer le mouvement visuel fin, ce qui est crucial pour des tâches comme la reconnaissance de la langue des signes, l'analyse sportive fine et la lecture labiale.
Une inefficacité computationnelle lors de la tentative d'augmenter les fréquences d'images visuelles pour correspondre à la densité audio en utilisant des mécanismes d'attention globale, qui évoluent de manière quadratique ( $O(T^2)$ ) avec la longueur de la séquence.

2. Méthodologie : Omni-Encoder

Pour répondre à ces défis, les auteurs proposent Omni-Encoder, un backbone Transformer unifié conçu pour co-encoder les signaux visuels et audio à une 25 ips symétrique dans un espace latent partagé. L'architecture traite la vidéo brute et l'audio simultanément plutôt que de les fusionner à un stade ultérieur.

Composants Architecturaux Principaux

A. Modèle de Jeton Omni-Encoder

La vidéo d'entrée est décomposée en trois flux de jetons distincts à chaque position temporelle ( $t$ ) :

Jeton Audio ( $a_t$ ) : Extraits des spectrogrammes log-Mel via des CNN 1D légers.
Jeton Visuel Continu (VC) ( $vc_t$ ) : Vecteurs apprenables par trame introduits pour capturer la dynamique du mouvement inter-trame (par exemple, trajectoires de mouvement, débuts de gestes, micro-mouvements).
Jeton Visuel de Base (VB) ( $vb_t$ ) : Générés via l'embedding de patches pour capturer les caractéristiques d'apparence statique (texture, forme, disposition).

Sparsification des Jetons : Pour maintenir la faisabilité computationnelle tout en préservant la fidélité du mouvement, un Sparsificateur de Jetons est appliqué. Il conserve tous les jetons Audio et VC à la résolution complète de 25 ips, mais sous-échantillonne les jetons VB à 2 ips. Cela réduit considérablement le nombre total de jetons transmis au décodeur LLM en aval sans sacrifier les informations de mouvement haute fréquence capturées par les jetons VC.

B. Omni-RoPE (Encodage Positionnel Rotatif 3D)

L'Encodage Positionnel Rotatif 3D (RoPE) standard attribue des coordonnées $(t, h, w)$ . Cependant, appliquer cela directement à des modalités hétérogènes crée un conflit où les jetons Audio et VC manquent de coordonnées spatiales indépendantes.

Solution : Les auteurs réaffectent les coordonnées spatiales. Les jetons VB sont décalés pour commencer à $(t, 1, 1)$ , tandis que les jetons Audio occupent $(t, 0, 0)$ et les jetons VC occupent $(t, 0, 1)$ .
Avantage : Cela garantit que les trois modalités reçoivent des encodages positionnels non chevauchants au sein de la même formulation RoPE 3D, permettant au modèle de distinguer les modalités et de modéliser les relations inter-modales tout en préservant l'extrapolation indépendante de la résolution.

C. Décalage de Fenêtre Temporelle

Pour gérer le coût computationnel de la vidéo à 25 ips, les auteurs remplacent l'attention spatiotemporelle globale par un mécanisme de Décalage de Fenêtre Temporelle inspiré du Transformer Swin.

Mécanisme : La séquence de jetons est partitionnée en groupes temporels non chevauchants ( $G=16$ trames). L'attention spatiotemporelle conjointe est calculée au sein de ces groupes.
Décalage : Dans des couches alternées, les limites de la fenêtre sont décalées de $G/2$ trames, permettant à l'information de circuler entre les groupes adjacents.
Complexité : Cela réduit la complexité de l'attention de quadratique $O(T^2)$ à linéaire $O(T \cdot G)$ , permettant une interaction inter-modale dense à 25 ips avec une surcharge computationnelle gérable.

Stratégie d'Entraînement

Le modèle emploie une stratégie d'entraînement en une seule étape, de bout en bout :

Base : Le composant LLM de Qwen2.5-Omni-3B est utilisé comme décodeur fixe.
Initialisation : L'Omni-Encoder est initialisé avec des poids issus de l'apprentissage de représentations vidéo auto-supervisé (V-JEPA). Les nouveaux composants (embeddings audio, requêtes apprenables VC) sont initialisés aléatoirement.
Optimisation : Seule la tête finale de modélisation du langage (LM) est entraînable ; tous les autres paramètres du LLM sont figés. Cela évite des pipelines de pré-entraînement multi-étapes complexes.

3. Contributions Clés

Encodage Unifié Haute Fréquence : Le premier encodeur unifié à traiter simultanément les signaux visuels et audio à 25 ips, comblant le fossé entre la perception continue de type humain et les méthodes d'échantillonnage discrètes actuelles.
Innovations Architecturales Nouvelles : L'introduction du Modèle de Jeton (séparant mouvement et apparence), de l'Omni-RoPE (coordonnées spatio-temporelles-modales unifiées) et du Décalage de Fenêtre Temporelle (attention dense efficace).
Performance sur les Tâches de Mouvement Dense : Démontrant qu'un encodeur unifié peut surpasser des modèles spécialisés sur des tâches nécessitant une modélisation temporelle fine, spécifiquement la reconnaissance de la langue des signes et des actions sportives.

4. Résultats Expérimentaux

Les auteurs ont évalué Omni-Encoder par rapport à des baselines spécifiques à la modalité et aux OmniLLMs existants (par exemple, Qwen2.5-Omni, Gemini-2.5-Pro) sur plusieurs benchmarks :

Compréhension Visuelle Continue :
- Langue des Signes : Sur NationalCSL6707, Omni-Encoder a atteint 90,32 %, surpassant le meilleur modèle spécifique au domaine précédent (69,61 %) de plus de 20 points de pourcentage. Sur SLR500, il a atteint 97,8 %, surpassant le spécialiste SignBERT.
- Reconnaissance d'Actions : Sur Diving48, il a atteint 90,8 % (vs 90,3 % SOTA), et 68,7 % sur SthSv2, rivalisant avec de solides baselines comme InternVideo2-S2-1B.
- Observation : Les OmniLLMs existants (même avec SFT) ont performé de manière quasi-aléatoire ou médiocre sur ces tâches (par exemple, Qwen2.5-Omni SFT a obtenu 25,7 % sur Diving48), soulignant la limitation de l'encodage visuel épars.
Raisonnement Audio-Visuel :
- Localisation/Identification de Locuteur : Omni-Encoder a atteint 98,8 % de localisation et 82,31 % d'identification, égalant ou surpassant des modèles dédiés comme HumanOmni-Speaker.
- AVQA : Il a obtenu 82,6 %, comparable à la variante SFT de Qwen2.5-Omni-3B.
Reconnaissance Audio-Visuelle (LRS2) :
- Sans prétraitement de recadrage des lèvres, le modèle a atteint un Taux d'Erreur de Mots (WER) de 45,3 % (Visuel uniquement), 10,2 % (Audio uniquement) et 7,2 % (Audio-Visuel), démontrant une fusion inter-modale efficace.

5. Signification et Affirmations

L'article postule que l'encodage omnivore unifié est une direction prometteuse pour construire des modèles omni-modaux qui reflètent plus étroitement la nature intégrée de la perception humaine.

Changement de Paradigme : Les résultats suggèrent que s'éloigner des taux d'échantillonnage spécifiques à la modalité et désynchronisés vers un espace d'encodage unifié et haute fréquence permet aux modèles de capturer des dynamiques de mouvement fines qui étaient précédemment inaccessibles aux OmniLLMs à usage général.
Efficacité vs Fidélité : L'architecture réussit à concilier les défis du désenchevêtrement des modalités (distinguant les signaux audio, visuel statique et mouvement) et de l'efficacité computationnelle (mise à l'échelle linéaire avec la longueur de la vidéo).
Généralisation : Le modèle atteint des performances de niveau spécialiste sur les tâches de mouvement dense sans personnalisation architecturale spécifique à la tâche, validant la modélisation temporelle haute densité comme une stratégie de représentation à usage général efficace.

Les auteurs concluent que bien que le modèle soit actuellement légèrement en retard par rapport aux modèles propriétaires de l'état de l'art dans des tâches de reconnaissance spécifiques (attribué à une échelle de données d'entraînement limitée), l'approche unifiée offre une base robuste pour les futurs systèmes omni-modaux qui perçoivent le monde de manière holistique.