💻 computer science

Mobile-VideoGPT: Fast and Accurate Model for Mobile Video Understanding

Het paper introduceert Mobile-VideoGPT, een efficiënt multimodaal model met minder dan één miljard parameters dat door middel van lichtgewicht componenten en frame-selectie real-time video-interpretatie mogelijk maakt met een hogere snelheid en nauwkeurigheid dan bestaande modellen.

Oorspronkelijke auteurs: Abdelrahman Shaker, Muhammad Maaz, Chenhui Gou, Hamid Rezatofighi, Salman Khan, Fahad Shahbaz Khan

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Abdelrahman Shaker, Muhammad Maaz, Chenhui Gou, Hamid Rezatofighi, Salman Khan, Fahad Shahbaz Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt die video's kan bekijken en erover kan praten, alsof hij een vriend is die naast je zit. Dit is precies wat Mobile-VideoGPT doet. Maar hier is het probleem: de meeste van deze slimme robots zijn gigantisch. Ze zijn als een zware, dure vrachtwagen die alleen op grote, geasfalteerde wegen (krachtige servers) kan rijden. Ze passen niet in je auto, en zeker niet in je telefoon of een slimme camera. Ze zijn te traag en verbruiken te veel energie.

De onderzoekers van dit papier hebben een oplossing bedacht: Mobile-VideoGPT.

Hier is hoe het werkt, vertaald in alledaags taal:

1. De "Lichte" Robot

In plaats van een zware vrachtwagen te bouwen, hebben ze een elektrische fiets ontworpen. Deze fiets is klein, snel en past overal, maar hij is nog steeds slim genoeg om de weg te begrijpen.

Hoe klein? De hele robot past in een klein pakketje van slechts 0,6 miljard parameters (voor de kleine versie). Ter vergelijking: andere robots wegen vaak 8 of 10 keer zoveel.
Waarom is dit cool? Je kunt deze robot nu direct op je telefoon, in je auto of op een kleine camera (zoals een drone) zetten, zonder dat je een enorme server nodig hebt.

2. De Slimme Camera (De "Kijkers")

Normaal gesproken kijken deze robots naar elk beeldje van een video. Als een video 1 seconde duurt, kijken ze misschien naar 30 beelden. Dat is als proberen een heel boek te lezen door elk woord uit te spreken, zelfs de woorden die je niet nodig hebt. Dat kost veel tijd en energie.

Mobile-VideoGPT heeft een slimme filter (de Attention-Based Frame-Scoring):

De Analogie: Stel je kijkt naar een film. De robot kijkt niet naar elke seconde, maar kijkt alleen naar de belangrijkste momenten.
Als er een scène is waar niemand beweegt, negeert de robot die. Maar zodra iemand begint te dansen of een bal gooit, pakt de robot die beelden direct.
Dit is alsof je een samenvatting leest in plaats van het hele boek. Je mist niets belangrijks, maar je bent 2 keer zo snel klaar.

3. De "Vertaler" (De Projector)

De robot moet de beelden die hij ziet vertalen naar woorden. Normaal gesproken is deze vertaler traag en rommelig.

Mobile-VideoGPT gebruikt een efficiënte vertaler die alleen de essentie doorgeeft. Hij knipt de overbodige details weg (zoals de achtergrondruis) en houdt alleen de "kern" van het beeld over.
Dit zorgt ervoor dat de robot niet verstrikt raakt in een bos van data, maar snel en helder antwoordt.

4. Het Resultaat: Snelheid en Slimheid

Wat levert dit op?

Snelheid: Op een kleine computer (zoals een NVIDIA Jetson Orin, die je in robots of drones gebruikt) kan deze robot 7,3 woorden per seconde genereren. Dat is razendsnel. Op een krachtige desktopcomputer is hij zelfs 45,9 woorden per seconde snel.
Slimheid: Ondanks dat hij klein is, is hij slimmer dan de grote, zware robots. Hij scoort gemiddeld 6 punten beter dan andere modellen van dezelfde grootte op tests over video's.
Voorbeeld: Als je vraagt: "Wat gebeurt er in deze video?", geeft hij niet alleen een vaag antwoord, maar beschrijft hij precies wat er gebeurt, wie er bij betrokken is en in welke volgorde, terwijl hij nog steeds razendsnel reageert.

Samenvattend

Mobile-VideoGPT is als het verschil tussen een zware, trage tank en een wendbare, snelle sportauto.

De tank (oude modellen) kan alles zien, maar is te zwaar om mee te nemen en te traag om in real-time te gebruiken.
De sportauto (Mobile-VideoGPT) is licht, past in je achterbak, kijkt alleen naar de bochten die echt belangrijk zijn, en rijdt sneller dan de tank terwijl hij net zo goed de weg kent.

Dit betekent dat we binnenkort video's kunnen laten analyseren door AI direct op onze apparaten, zonder internetverbinding, zonder vertraging en zonder dat de batterij direct leeg is. Het is de sleutel tot slimme camera's, betere navigatie voor robots en realtime vertalingen in je eigen huis.

Probleemstelling

Bestaande modellen voor video-interpretatie (Video Large Multimodal Models of LMMs) kampen met aanzienlijke beperkingen voor gebruik op randapparaten (edge devices). Hoewel modellen zoals GPT-4o, Gemini-1.5-Pro en open-source alternatieven zoals Video-LLaVA uitstekende prestaties leveren, zijn ze vaak te zwaar voor praktische implementatie op apparaten met beperkte rekenkracht.

Hoge rekenvereisten: Deze modellen hebben vaak miljarden parameters en vereisen enorme hoeveelheden geheugen (VRAM).
Trage inferentie: De hoge complexiteit leidt tot lage doorvoersnelheden (tokens per seconde), wat real-time toepassingen onmogelijk maakt op energiezuinige hardware zoals de NVIDIA Jetson Orin.
Efficiëntie vs. Prestatie: Bestaande methoden om modelgrootte te verkleinen (zoals kennisdistillatie of pruning) gaan vaak ten koste van de nauwkeurigheid of vereisen gespecialiseerde hardware. Er is een behoefte aan een model dat zowel lichtgewicht is als complexe temporele en ruimtelijke relaties in video's kan begrijpen.

Methodologie: Mobile-VideoGPT

Mobile-VideoGPT is een efficiënt multimodaal framework ontworpen om met minder dan 1 miljard parameters te werken, specifiek geoptimaliseerd voor real-time inferentie op randapparaten. De architectuur bestaat uit vier kerncomponenten:

Dual-Encoder Architectuur:
- In plaats van één zware encoder, gebruikt het model twee lichte encoders:
  - Een CLIP-gebaseerde beeldencoder voor het vastleggen van ruimtelijke en semantische kenmerken van individuele frames.
  - Een VideoMamba-encoder (een parameter-efficiënte video-encoder) voor het extraheren van temporele dynamiek.
- Dit zorgt voor een betere balans tussen ruimtelijke details en temporele context zonder de zware rekenlast van traditionele video-encoders.
Attention-Based Frame-Scoring (Kaderselectie):
- Om redundantie te verminderen, wordt niet elk frame van een video verwerkt. Het model gebruikt een op aandacht gebaseerd mechanisme om de $K$ meest relevante "key-frames" te selecteren uit een set van $T$ frames (bijvoorbeeld 8 van de 16).
- Dit mechanisme berekent een belangrijkheidsvector op basis van de ruimtelijke kenmerken en selecteert alleen de frames die de meeste contextuele waarde toevoegen, waardoor de rekenlast voor de video-encoder drastisch wordt verlaagd.
Efficient Token Projector (ET-Proj):
- Een speciaal ontworpen module die de visuele tokens comprimeert en projecteert naar de taalruimte van het Small Language Model (SLM).
- De module bestaat uit drie fasen:
  1. Een Feed-Forward Network (FFN) voor feature-transformatie.
  2. Token-reductie via Adaptive Pooling om de ruimtelijke grootte te verkleinen.
  3. Een convolutie-based positie-encoder met een skip-connection om essentiële ruimtelijke en temporele afhankelijkheden te behouden.
- Dit reduceert het aantal tokens dat naar het taalmodel moet worden gestuurd, wat de inferentiesnelheid verhoogt zonder cruciale context te verliezen.
Small Language Model (SLM):
- Het model maakt gebruik van compacte taalmodellen (Qwen-2.5 van 0,5B of 1,5B parameters) in plaats van grote LLM's.
- De training verloopt in drie fasen: pre-training van de beeldprojector, uitbreiding naar video-projector pre-training, en tenslotte instruction tuning met LoRA (Low-Rank Adaptation) op het taalmodel.

Belangrijkste Bijdragen

Lichtgewicht Real-time Model: Een multimodaal model van slechts 0,6 tot 1,6 miljard parameters dat specifiek is ontworpen voor edge-deployments (bijv. Jetson Orin Nano) met een modelgrootte van slechts 1 GB (FP16) en een VRAM-behoefte van 3 GB.
Innovatieve Frame-Selectie: Een nieuwe strategie die op basis van aandacht de meest representatieve frames selecteert, wat de rekenlast verlaagt terwijl de visuele trouw behouden blijft.
Efficiënte Token Projectie: Een nieuwe projector die redundante visuele tokens verwijdert en essentiële context behoudt, wat leidt tot een hogere doorvoersnelheid.
Superieure Efficiëntie-Prestatie Trade-off: Het model presteert beter dan bestaande state-of-the-art modellen van vergelijkbare grootte, maar is aanzienlijk sneller en compacter.

Resultaten

Het model is geëvalueerd op zes gevestigde benchmarks voor video-interpretatie: ActivityNet-QA, EgoSchema, MLVU, MVBench, NExTQA en PerceptionTest.

Prestaties: Mobile-VideoGPT-0.5B presteert gemiddeld 6 punten beter dan de huidige state-of-the-art 0,5B-parameter modellen (zoals LLaVA-OneVision-0.5B).
Snelheid en Doorvoer:
- Op een NVIDIA Jetson Orin Nano (edge device): 7,3 tokens per seconde.
- Op een NVIDIA RTX A6000 (desktop): 45,9 tokens per seconde.
- Dit is meer dan 2x sneller dan vergelijkbare modellen, terwijl het model 40% minder parameters gebruikt.
Nauwkeurigheid: Ondanks de compacte grootte behaalt het model hoge scores op complexe taken zoals temporele redenering (MVBench) en actiebegrip (ActivityNet-QA). Bijvoorbeeld, op MVBench scoort het 0,5B-model 53,5, wat aanzienlijk hoger is dan LLaVA-Mini-8B (44,5) en LLaVA-OneVision-0,5B (47,2).
Kwaliteit: Kwalitatieve analyses tonen aan dat het model accurate, contextueel onderbouwde antwoorden geeft met lagere latentie (bijv. 0,3 seconden voor korte vragen) vergeleken met zwaardere modellen die vaak generieke of onvolledige antwoorden geven.

Significantie

Mobile-VideoGPT markeert een doorbraak in de haalbaarheid van geavanceerde video-interpretatie op randapparaten.

Praktische Toepasbaarheid: Het bewijst dat real-time video-interpretatie mogelijk is op energiezuinige hardware zonder in te leveren op de kwaliteit van het inzicht. Dit opent de deur voor toepassingen in autonome voertuigen, draagbare apparaten en IoT-systemen.
Efficiëntie: Het model lost het fundamentele probleem op van de hoge rekenkosten van video-LLMs door slimme architecturale keuzes (dual-encoder, frame-selectie) in plaats van brute kracht.
Toekomstperspectief: Het werk toont aan dat het mogelijk is om met minder dan 1 miljard parameters prestaties te leveren die concurreren met modellen die 10x zo groot zijn, wat een nieuwe richting aangeeft voor de ontwikkeling van efficiënte multimodale AI.

De code en modellen zijn open source beschikbaar gesteld, wat de adoptie en verdere ontwikkeling in de gemeenschap zal stimuleren.