OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams

Each language version is independently generated for its own context, not a direct translation.

🌊 OmniStream : Le Cerveau Universel qui Regarde, Comprend et Agit en Temps Réel

Imaginez que vous êtes un robot qui vient d'arriver sur Terre. Votre mission ? Vivre dans le monde réel, regarder autour de vous, comprendre ce qui se passe, et agir immédiatement (comme attraper une tasse ou éviter un obstacle).

Le problème, c'est que la plupart des "cerveaux" d'IA actuels sont comme des spécialistes très pointus mais rigides :

L'un est excellent pour reconnaître des chats sur une photo fixe, mais il ne comprend pas le mouvement.
L'autre est un expert pour analyser des vidéos, mais il oublie la géométrie (la profondeur, la distance).
Un troisième sait calculer la forme d'une pièce, mais il ne comprend pas le langage humain.

Pour qu'un robot fonctionne bien dans la vraie vie, il a besoin d'un cerveau qui fait tout en même temps, en temps réel, sans jamais se tromper. C'est là qu'intervient OmniStream.

1. Le Problème : Des lunettes qui changent tout le temps

Aujourd'hui, pour voir le monde, un robot doit souvent changer de "lunettes" selon la tâche.

Pour voir une image ? Il met des lunettes de photo.
Pour voir une vidéo ? Il enlève celles-ci et met des lunettes de cinéma.
Pour mesurer la distance ? Il met des lunettes de géomètre.

C'est lent, lourd et inefficace. De plus, la plupart des modèles actuels regardent le passé et le futur en même temps (comme si on regardait une vidéo en sachant déjà la fin), ce qui est impossible pour un robot qui doit réagir maintenant.

2. La Solution : OmniStream, le "Cerveau Fluide"

OmniStream est une nouvelle architecture d'IA conçue pour être un seul cerveau universel qui fonctionne comme un flux continu d'eau (d'où le nom "Stream").

Voici comment il fonctionne, grâce à deux astuces magiques :

La Mémoire Causale (Le Fil d'Actualité) :
Imaginez que vous lisez un livre. Vous ne pouvez pas tourner les pages pour lire la fin avant de commencer le début. OmniStream fait pareil : il ne regarde que le passé et le présent. Il ne triche jamais avec le futur.
Pour être rapide, il utilise une "mémoire tampon" (appelée KV-cache). C'est comme un carnet de notes où il écrit ce qu'il a vu. Quand une nouvelle image arrive, il n'a pas besoin de relire tout le livre, il consulte juste son carnet et ajoute la nouvelle ligne. C'est ultra-rapide et économe en énergie.
Les Lunettes 3D dans le Temps (3D-RoPE) :
La plupart des IA voient le monde en 2D (hauteur et largeur). OmniStream, lui, voit en 3D + Temps. Il comprend non seulement où est un objet, mais aussi quand il est arrivé et comment il bouge. C'est comme si le robot avait un sens de la profondeur et du mouvement inné, même s'il n'a jamais vu cet objet avant.

3. L'Entraînement : L'École Polyvalente

Au lieu d'apprendre une seule chose, OmniStream a été entraîné sur 29 bases de données différentes en même temps. C'est comme envoyer un étudiant à l'école pour apprendre :

Le langage et les images (pour comprendre ce qu'on lui dit).
La géométrie (pour savoir où sont les murs et les meubles).
Le mouvement (pour prédire où ira une balle lancée).

Le résultat ? Il a appris à faire des liens entre ces mondes. Il ne voit pas juste "une chaise", il voit "une chaise solide, à 2 mètres, qui ne bougera pas si je passe devant".

4. Les Résultats : Un Couteau Suisse Intelligent

Les chercheurs ont testé ce cerveau sur des tâches très différentes, sans jamais le réapprendre (il reste "figé" dans sa forme originale) :

Vision : Il reconnaît des objets sur des photos et dans des vidéos aussi bien que les meilleurs spécialistes.
Géométrie : Il peut reconstruire la forme 3D d'une pièce juste en regardant une vidéo, comme un architecte.
Raisonnement : Il peut répondre à des questions complexes comme "Combien de chaises y a-t-il dans cette pièce ?" ou "Quelle est la taille de la pièce ?".
Action (Robots) : C'est le plus impressionnant. Ils l'ont connecté à un bras robotique. Sans aucun entraînement supplémentaire, le robot a pu exécuter des tâches complexes comme "Mets la cuillère sur la serviette bleue".

En Résumé : Pourquoi c'est révolutionnaire ?

Imaginez que vous vouliez construire un assistant personnel pour la maison.

Avant : Vous deviez acheter un robot pour la cuisine, un autre pour le salon, et un troisième pour la sécurité, et les faire communiquer entre eux. C'était un cauchemar.
Avec OmniStream : Vous installez un seul cerveau. Il voit, il comprend l'espace, il écoute vos ordres et il agit. Il est capable de s'adapter à n'importe quelle situation, du simple regard à la manipulation d'objets complexes.

OmniStream ne cherche pas à être le meilleur dans une seule catégorie (comme un champion olympique d'une seule discipline), mais à être le meilleur tout-terrain. C'est un pas de géant vers des robots et des assistants intelligents qui peuvent vraiment vivre et interagir avec nous dans le monde réel, en temps réel.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Les agents visuels modernes (robots, assistants virtuels, dispositifs AR) opèrent dans des environnements de flux continu où ils doivent mettre à jour leurs croyances en temps réel, sous des contraintes strictes de latence et de mémoire. Cependant, les modèles de fondation visuels actuels sont fragmentés :

Les modèles d'images se spécialisent dans la perception sémantique statique.
Les modèles vidéo se concentrent sur la modélisation temporelle (souvent hors ligne/non-causale).
Les experts géométriques traitent la structure 3D mais manquent souvent de raisonnement sémantique.

Il n'existe pas de modèle unique capable de gérer simultanément la sémantique, la dynamique temporelle et la structure géométrique 3D dans un régime causal (ne dépendant que du passé et du présent) et en flux continu. De plus, les approches unifiées existantes (comme Unified-IO) unifient souvent au niveau de la sortie (génération de texte), ce qui nécessite un réentraînement coûteux pour chaque nouvelle tâche.

2. Méthodologie : OmniStream

OmniStream est une colonne vertébrale visuelle unifiée et en flux continu, conçue pour percevoir, reconstruire et agir à partir de flux vidéo diversifiés. Elle est construite à partir d'un encodeur d'images pré-entraîné (DINOv3) et introduit deux innovations architecturales majeures :

A. Architecture et Inférence

Attention Spatio-temporelle Causale : Contrairement aux Transformers standards qui utilisent une attention bidirectionnelle (nécessitant l'accès à l'ensemble de la vidéo), OmniStream impose un masque temporel strict. Un token à l'instant $t$ ne peut s'attendre qu'aux tokens des instants $t' \leq t$ .
Cache KV Persistant : Cette causalité permet une inférence en ligne et frame-by-frame. Les clés et valeurs (KV) des frames passées sont mises en cache et réutilisées, évitant ainsi la recomputation coûteuse de l'attention sur l'historique complet. Cela garantit une complexité linéaire $O(T)$ par étape et une gestion efficace de la mémoire.
3D-RoPE (Rotary Positional Embeddings) : L'auteur étend les embeddings positionnels 2D (RoPE) au domaine spatio-temporel. En allouant des dimensions spécifiques aux axes temps ( $t$ ), hauteur ( $y$ ) et largeur ( $x$ ) (ratio 2:3:3), le modèle peut raisonner sur la position "où-et-quand" sur de longs flux, tout en préservant les biais inductifs spatiaux pré-entraînés.

B. Entraînement Multi-tâches Synergique

OmniStream est pré-entraîné sur 29 datasets (environ 200M de frames) avec un cadre d'apprentissage couplant trois objectifs complémentaires :

Apprentissage de Représentation Statique et Temporelle : Une distillation étudiant-professeur (inspirée de DINOv3) qui unifie l'apprentissage d'images et de vidéos. Elle apprend des invariances sémantiques globales et des dynamiques sensibles au mouvement tout en respectant la causalité.
Reconstruction Géométrique en Flux : Des têtes légères (Dual-DPT et MLP) prédisent directement des cartes de profondeur, des rayons et des poses de caméra à partir du flux. Cela injecte des contraintes 3D explicites, forçant la représentation à encoder la structure physique de la scène et non seulement l'apparence.
Alignement Vision-Langage : Un décodeur de langage auto-régressif (Qwen3-0.6B) est entraîné sur des tâches de légendage, OCR et ancrage visuel. Cela assure que les tokens visuels sont alignés avec des concepts linguistiques, facilitant l'intégration future avec des modèles de langage (VLM) et d'action (VLA).

3. Contributions Clés

Unification Causale : Première colonne vertébrale visuelle unifiée capable de traiter des flux vidéo continus de manière strictement causale, comblant le fossé entre la perception statique, la dynamique temporelle et la géométrie 3D.
Efficacité en Temps Réel : Grâce au mécanisme de cache KV et à l'attention causale, le modèle permet une inférence incrémentale sans latence croissante, contrairement aux modèles bidirectionnels.
Généralisation Sans Réentraînement : La démonstration qu'une seule colonne vertébrale, strictement gelée (frozen), peut servir de base performante pour des tâches aussi diverses que la segmentation, la reconstruction 3D, le questionnement vidéo (VQA) et le contrôle robotique (VLA), sans nécessiter de fine-tuning visuel.
Extrapolation de Longueur : Le modèle, entraîné sur des séquences de 16 frames, parvient à généraliser de manière "zero-shot" à des flux continus de plus de 110 frames grâce à la 3D-RoPE.

4. Résultats Expérimentaux

Les évaluations montrent qu'OmniStream rivalise ou surpasse des experts spécialisés dans leurs domaines respectifs, même avec un encodeur gelé :

Perception (Image/Vidéo) : Performances compétitives sur ImageNet, ADE20K et NYUv2. Sur la reconnaissance d'actions (SSv2), il surpasse DINOv3 de 14,5 points (68,5% vs 54,0%), prouvant sa capacité à capturer le mouvement.
Reconstruction Géométrique : Il atteint des résultats de pointe (SOTA) ou très compétitifs pour l'estimation de profondeur et de pose de caméra en flux (benchmarks Sintel, KITTI, TUM), surpassant des modèles 3D spécialisés comme CUT3R sur certains métriques, tout en étant plus rapide.
Raisonnement (VLM) : Intégré à un LLM, il obtient les meilleurs résultats sur le benchmark spatial VSI-Bench (70,6%), surpassant des modèles spécialisés en géométrie comme SpaceMind, démontrant que la compréhension spatiale est intrinsèque à ses caractéristiques visuelles.
Contrôle Robotique (VLA) : Sur les benchmarks CALVIN et Simpler-Bridge, OmniStream permet à des politiques d'action d'atteindre des taux de réussite élevés (3,89 sur CALVIN, 45,8% sur Simpler-Bridge) sans fine-tuning visuel, comblant le fossé entre la perception sémantique et le contrôle bas niveau.

5. Signification et Impact

OmniStream représente une étape significative vers la compréhension visuelle à usage général pour les agents interactifs et incarnés.

Paradigme de Formation : Il démontre que l'entraînement d'un seul modèle versatile, couplant sémantique, dynamique et géométrie, est plus efficace que l'agrégation de modèles spécialisés.
Viabilité pour les Agents Incarnés : En fournissant une représentation qui est à la fois sémantique, géométriquement ancrée et temporellement cohérente, OmniStream résout le problème d'alignement critique entre les modèles de langage généraux et les besoins de contrôle physique précis des robots.
Efficacité : Son architecture en flux causal rend possible le déploiement sur des plateformes embarquées avec des contraintes de mémoire sévères, ouvrant la voie à des agents autonomes plus réactifs et capables de gérer des environnements dynamiques en temps réel.

En résumé, OmniStream ne cherche pas seulement à dominer un benchmark spécifique, mais à établir une fondation visuelle universelle capable de généraliser à travers les dimensions sémantiques, spatiales et temporelles, essentielle pour la prochaine génération d'agents intelligents.