💻 computer science

OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder

Het artikel introduceert Omni-Encoder, een uniforme Transformer-ruggengraat die visuele en audiosignalen symmetrisch met 25 fps co-embedt om de beperkingen van modality-specifieke encoders te overwinnen, waardoor een holistische, mensachtige waarneming van continue beweging mogelijk wordt en de prestaties op fijnkorrelige visuele taken aanzienlijk verbeteren terwijl concurrerende audio-visuele benchmarks behouden blijven.

Oorspronkelijke auteurs: Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een film te begrijpen door elke seconde naar één enkele, bevroren foto te kijken terwijl je de soundtrack op volle snelheid luistert. Dat is in wezen hoe de meeste huidige "omni-modale" AI-modellen (systemen die zien en horen) vandaag de dag werken. Ze bekijken videoframes langzaam (1 of 2 per seconde), maar luisteren naar audio zeer snel (25 keer per seconde). Dit creëert een mismatch: de AI ziet de wereld in slow motion maar hoort het in real-time, waardoor het moeilijk wordt om een specifiek handgebaar te koppelen aan het exacte geluid dat het maakt.

Het artikel introduceert Omni-Encoder, een nieuw AI-brein dat dit probleem oplost door tegelijkertijd te zien, te horen en beweging te "voelen", net zoals mensen dat doen.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Slow-Motion Camera" versus het "Snelle Oor"

Huidige AI-modellen zijn als een beveiligingsagent die elke 10 seconden een gang controleert, maar elke stap die gemaakt wordt direct hoort. Als iemand snel tussen de controles door zwaait met zijn hand, mist de agent dit.

Het Probleem: Bestaande modellen samplen video te langzaam om snelle bewegingen te vangen (zoals gebarentaal of gymnastiek), terwijl ze audio met volle snelheid verwerken. Dit zorgt ervoor dat ze de "dans" missen tussen wat je ziet en wat je hoort.

2. De Oplossing: De "25-FPS Super-Brein"

Omni-Encoder is gebouwd om video en audio met dezelfde hoge snelheid te verwerken: 25 frames per seconde. Het kijkt niet alleen naar plaatjes; het begrijpt de beweging ertussenin.

Om dit mogelijk te maken zonder dat de computer crasht door te veel data, hebben de auteurs drie slimme trucs bedacht:

A. De "Drie-rijen Snelweg" (Omni-Encoder Token Template)

In plaats van video en audio als één rommelige hoop data te behandelen, organiseert het systeem de informatie in drie distincte "rijen" voor elk moment in de tijd:

De Audio-rij: Draagt het geluid.
De "Beweging"-rij (Visueel Continu): Dit is het magische ingrediënt. Dit zijn speciale datapunten die fungeren als "bewegingssensoren". Ze geven niets om hoe het object er uitziet (zijn kleur of vorm); ze geven alleen om hoe het zich beweegt van het ene frame naar het volgende. Denk aan hen als het volgen van het pad van de hand van een danser in plaats van het gezicht van de danser.
De "Statische" rij (Visuele Basis): Deze draagt de details van hoe dingen eruitzien (texturen, vormen, achtergrond).

De Efficiëntie-truc: Het systeem houdt de "Beweging"- en "Audio"-rijen op volle snelheid draaiend (25 fps) zodat geen enkele beweging wordt gemist. Het vertraagt echter de "Statische" rij tot slechts 2 frames per seconde. Waarom? Omdat de achtergrond niet zo snel verandert. Dit bespaart enorme hoeveelheden rekenkracht terwijl de snelle bewegingsdata intact blijft.

B. De "3D GPS" (Omni-RoPE)

In een normale AI is het moeilijk om te zeggen of een stukje data een geluid, een bewegend hand of een statische muur is, omdat ze allemaal op dezelfde cijfers lijken.
Omni-Encoder geeft elk enkel datapunt een unieke 3D GPS-coördinaat (Tijd, Hoogte, Breedte).

Geluiden krijgen een coördinaat bij de "oorsprong" (0,0).
Bewegende handen krijgen een coördinaat direct ernaast (0,1).
Statische muren krijgen coördinaten verder naar buiten (1,1).
Dit stelt de AI in staat om direct te weten: "Oh, dit datapunt is een geluid, en dat is een bewegend object", zodat het kan begrijpen hoe ze met elkaar samenhangen zonder in de war te raken.

C. De "Schuifende Raam" (Temporele Raamverschuiving)

Het tegelijkertijd verwerken van 25 frames video en audio is als proberen elk boek in een bibliotheek tegelijkertijd te lezen – het is te zwaar.
De auteurs gebruiken een techniek genaamd Temporele Raamverschuiving. Stel je voor dat je een boek leest door door een klein raam te kijken dat 16 pagina's tegelijk bedekt.

Eerst lees je pagina's 1–16.
Vervolgens schuif je het raam halverwege en lees je pagina's 9–24.
Dan schuif je weer.
Dit stelt de AI in staat om te zien hoe het verhaal van het ene moment naar het volgende stroomt, zonder dat het de hele film in één keer hoeft te onthouden. Het houdt het denkproces snel en efficiënt.

3. De Resultaten: Wat hebben ze bewezen?

Het team testte dit nieuwe systeem op taken die het vangen van snelle, gedetailleerde bewegingen vereisen:

Gebarentaal: Tekens herkennen is als het lezen van een boek geschreven in snelle handbewegingen. Oude modellen hadden ongeveer 1% tot 37% goed. Omni-Encoder haalde 90% tot 97% goed, en versloeg zelfs gespecialiseerde systemen die uitsluitend voor gebarentaal waren gebouwd.
Sport & Actie: Bij taken zoals het herkennen van duikbewegingen of gymnastiek, kwam het overeen met of versloeg het de beste bestaande modellen.
Audio-visueel Redeneren: Wanneer er vragen werden gesteld die zowel horen als zien vereisten (bijvoorbeeld: "Wie spreekt?"), presteerde het net zo goed als complexe systemen die aparte "oren" en "ogen" gebruiken.

De Conclusie

Het artikel beweert dat we door te unificeren hoe AI ziet en hoort – door ze te behandelen als één enkele, gesynchroniseerde datastroom in plaats van twee aparte, mismatchende stromen – modellen kunnen bouwen die de wereld beter begrijpen zoals mensen dat doen. Ze kunnen het "gevoel" van continue beweging vangen, waardoor ze veel beter worden in het begrijpen van snelle acties, gebaren en de relatie tussen geluid en zicht.

Technische Samenvatting: OmniEncoder

1. Probleemstelling

Huidige omni-modale grote taalmodellen (OmniLLMs) maken doorgaans gebruik van een modale-specifieke modulaire architectuur, waarbij afzonderlijke encoders worden ingezet voor visie en audio. Deze architectuur leidt vaak tot een "video-grof, audio-dicht" bemonsteringsstrategie, waarbij visuele frames met lage frequenties worden bemonsterd (1–2 fps) terwijl audio met hoge frequenties wordt verwerkt (25 fps).

De auteurs stellen dat dit ontwerp een fundamentele discrepantie creëert met menselijke waarneming. Mensen waarnemen de wereld holistisch, waarbij zien, horen en het voelen van continue beweging gelijktijdig plaatsvinden, met cross-modale interacties die al in de vroegste stadia van sensorische verwerking optreden. De heersende "frame-voor-frame, modus-voor-modus" aanpak leidt tot:

Verarmde cross-modale interactie tijdens de coderingsfase.
Onvermogen om fijnmazige visuele beweging vast te leggen, wat cruciaal is voor taken zoals gebarentaalherkenning, fijnmazige sportanalyse en lippenlezen.
Rekenkundige inefficiëntie bij het proberen de visuele framefrequentie te verhogen om de audiobemonstering te matchen met behulp van globale attentiemechanismen, die kwadratisch ( $O(T^2)$ ) schalen met de sequentielengte.

2. Methodologie: Omni-Encoder

Om deze uitdagingen aan te pakken, stellen de auteurs Omni-Encoder voor, een unificerende Transformer-ruggengraat die is ontworpen om visuele en audiosignalen gelijktijdig te coderen in een gedeelde latente ruimte met een symmetrische 25 fps. De architectuur verwerkt ruwe video en audio gelijktijdig in plaats van ze in een later stadium te fuseren.

Kernarchitectuurcomponenten

A. Omni-Encoder Token Template

De invoervideo wordt bij elke tijdstip ( $t$ ) ontbonden in drie distincte tokenstromen:

Audiotokens ( $a_t$ ): Geëxtraheerd uit log-Mel-spectrogrammen via lichtgewicht 1D CNN's.
Visuele Continue (VC) Tokens ( $vc_t$ ): Frame-voor-frame leerbare vectoren die worden ingevoerd om inter-frame bewegingsdynamiek vast te leggen (bijvoorbeeld bewegingstrajecten, startpunten van gebaren, micro-bewegingen).
Visuele Basis (VB) Tokens ( $vb_t$ ): Genereerd via patch-embedding om statische uiterlijke kenmerken vast te leggen (textuur, vorm, lay-out).

Tokenversparring: Om rekenkundige haalbaarheid te behouden terwijl bewegingsgetrouwheid wordt bewaard, wordt een Token Sparsifier toegepast. Deze behoudt alle Audio- en VC-tokens met de volledige 25 fps-resolutie, maar downsampt VB-tokens naar 2 fps. Dit verlaagt het totale aantal tokens dat naar de downstream LLM-decoder wordt doorgestuurd drastisch, zonder de hoogfrequente bewegingsinformatie die door de VC-tokens wordt vastgelegd, te offeren.

B. Omni-RoPE (3D Rotary Positional Encoding)

Standaard 3D Rotary Positional Embedding (RoPE) wijst coördinaten $(t, h, w)$ toe. Het toepassen hiervan direct op heterogene modaliteiten creëert echter een conflict waarbij Audio- en VC-tokens geen onafhankelijke ruimtelijke coördinaten hebben.

Oplossing: De auteurs herschikken de ruimtelijke coördinaten. VB-tokens worden verschoven om te beginnen bij $(t, 1, 1)$ , terwijl Audio-tokens $(t, 0, 0)$ innemen en VC-tokens $(t, 0, 1)$ innemen.
Voordeel: Dit zorgt ervoor dat alle drie modaliteiten niet-overlappende positionele coderingen ontvangen binnen dezelfde 3D RoPE-formulering, waardoor het model onderscheid kan maken tussen modaliteiten en cross-modale relaties kan modelleren, terwijl resolutie-agnostische extrapolatie wordt behouden.

C. Tijdsvenster Verschuiving

Om de rekenkundige kosten van 25 fps-video te hanteren, vervangen de auteurs globale spatiotemporale attentie door een Tijdsvenster Verschuiving-mechanisme, geïnspireerd op de Swin Transformer.

Mechanisme: De tokensequentie wordt gepartitioneerd in niet-overlappende tijdsgroepen ( $G=16$ frames). Gezamenlijke spatiotemporale attentie wordt binnen deze groepen berekend.
Verschuiving: In afwisselende lagen worden de venstergrenzen verschoven met $G/2$ frames, waardoor informatie tussen aangrenzende groepen kan stromen.
Complexiteit: Dit verlaagt de attentiecomplexiteit van kwadratisch $O(T^2)$ naar lineair $O(T \cdot G)$ , waardoor dichte cross-modale interactie bij 25 fps mogelijk wordt met beheersbare rekenkundige overhead.

Trainingsstrategie

Het model maakt gebruik van een single-stage, end-to-end trainingsstrategie:

Basis: De LLM-component van Qwen2.5-Omni-3B wordt gebruikt als vaste decoder.
Initialisatie: De Omni-Encoder wordt geïnitieerd met gewichten uit zelftoezichtende video-representatielering (V-JEPA). Nieuwe componenten (audio-embeddings, VC-leerbare queries) worden willekeurig geïnitieerd.
Optimalisatie: Alleen het uiteindelijke taalmodellering (LM) hoofd is trainbaar; alle andere LLM-parameters zijn bevroren. Dit vermijdt complexe multi-stage pre-training pijplijnen.

3. Belangrijkste Bijdragen

Unificerende Hoogfrequente Codering: De eerste unificerende encoder die visuele en audiosignalen gelijktijdig verwerkt met 25 fps, waardoor de kloof wordt overbrugd tussen mensachtige continue waarneming en huidige discrete bemonsteringsmethoden.
Nieuwe Architecturale Innovaties: De introductie van de Token Template (scheiding van beweging en uiterlijk), Omni-RoPE (unificerende spatio-temporaal-modale coördinaten) en Tijdsvenster Verschuiving (efficiënte dichte attentie).
Prestaties op Dichte Bewegingstaken: Het aantonen dat een unificerende encoder gespecialiseerde modellen kan overtreffen bij taken die fijnmazige temporele modellering vereisen, specifiek gebarentaal- en sportactieherkenning.

4. Experimentele Resultaten

De auteurs hebben Omni-Encoder geëvalueerd tegenover modale-specifieke baselines en bestaande OmniLLMs (bijvoorbeeld Qwen2.5-Omni, Gemini-2.5-Pro) over verschillende benchmarks:

Visueel Continue Begrip:
- Gebarentaal: Op NationalCSL6707 behaalde Omni-Encoder 90,32%, waarmee het het vorige beste domeinspecifieke model (69,61%) met meer dan 20 procentpunten overtrof. Op SLR500 bereikte het 97,8%, waarmee het de specialist SignBERT overtrof.
- Actieherkenning: Op Diving48 behaalde het 90,8% (vs. 90,3% SOTA), en 68,7% op SthSv2, concurrerend met sterke baselines zoals InternVideo2-S2-1B.
- Observatie: Bestaande OmniLLMs (zelfs met SFT) presteerden bij deze taken bijna willekeurig of slecht (bijvoorbeeld Qwen2.5-Omni SFT scoorde 25,7% op Diving48), wat de beperking van spaarzame visuele codering benadrukt.
Audio-Visueel Redeneren:
- Sprekerlocatie/Identificatie: Omni-Encoder behaalde 98,8% locatiebepaling en 82,31% identificatie, gelijkend aan of overtreffend van toegewijde modellen zoals HumanOmni-Speaker.
- AVQA: Behaalde 82,6%, vergelijkbaar met de SFT-variant van Qwen2.5-Omni-3B.
Audio-Visuele Herkenning (LRS2):
- Zonder lip-cropping voorverwerking behaalde het model een Woordfoutpercentage (WER) van 45,3% (alleen visueel), 10,2% (alleen audio) en 7,2% (audio-visueel), wat effectieve cross-modale fusie aantoont.

5. Betekenis en Claims

Het artikel stelt dat unificerende omnivore codering een veelbelovende richting is voor het bouwen van omni-modale modellen die de geïntegreerde aard van menselijke waarneming beter weerspiegelen.

Paradigmaverschuiving: De resultaten suggereren dat het afstappen van modale-specifieke, mismatchende bemonsteringsfrequentie naar een unificerende, hoogfrequente coderingsruimte modellen in staat stelt fijnmazige bewegingsdynamiek vast te leggen die voorheen ontoegankelijk was voor algemeen doel OmniLLMs.
Efficiëntie versus Getrouwheid: De architectuur slaagt erin de dubbele uitdagingen van modale ontkoppeling (onderscheid tussen audio, statisch visueel en bewegingssignalen) en rekenkundige efficiëntie (lineaire schaling met videolengte) te verenigen.
Generalisatie: Het model bereikt specialist-niveau prestaties op dichte bewegingstaken zonder taak-specifieke architecturale aanpassing, wat hoog-dichtheid temporele modellering valideert als een effectieve general-purpose representatiestrategie.

De auteurs concluderen dat hoewel het model momenteel enigszins achterblijft bij propriëtaire state-of-the-art modellen in specifieke herkenningstaken (toegeschreven aan een beperkte schaal van trainingsdata), de unificerende aanpak een robuuste basis biedt voor toekomstige omni-modale systemen die de wereld holistisch waarnemen.