💻 computer science

When LLaVA Meets Objects: Token Composition for Vision-Language-Models

Mask-LLaVA is een nieuw framework dat visuele efficiëntie verhoogt door maskeer-gebaseerde objectrepresentaties te combineren met globale en lokale tokens, waardoor het model tijdens de inferentie flexibel het aantal tokens kan verminderen zonder significant prestatieverlies.

Oorspronkelijke auteurs: Soumya Jahagirdar, Walid Bousselham, Anna Kukleva, Hilde Kuehne

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Soumya Jahagirdar, Walid Bousselham, Anna Kukleva, Hilde Kuehne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, gedetailleerde foto van een druk stadsplein probeert te beschrijven aan een vriend via een walkietalkie. De verbinding is heel slecht en je mag maar een paar woorden per keer zeggen.

Als je probeert om elk klein detail te beschrijven (elke steen, elk blaadje aan een boom, elke ruit in een raam), raak je meteen door je woorden heen en is je bericht veel te lang. Je vriend raakt de draad kwijt. Dat is precies het probleem waar huidige AI-modellen (zoals LLaVA) tegenaan lopen: ze proberen een afbeelding te "lezen" door duizenden kleine stukjes (pixels/patches) te beschrijven, wat enorm veel rekenkracht en tijd kost.

Dit onderzoek presenteert Mask-LLaVA, een slimme manier om die foto veel efficiënter te "vertellen".

De oplossing: De "Zoom-out, Zoom-in" methode

In plaats van elk korreltje zand te tellen, gebruikt Mask-LLaVA drie verschillende soorten "notities" om de afbeelding te begrijpen. Je kunt dit vergelijken met hoe een mens een kamer bekijkt:

De Landschapsfoto (Global Token): Dit is de snelle blik. Je ziet in één oogopslag: "Het is een woonkamer." Je hoeft niet te weten waar de afstandsbediening ligt, je weet alleen de sfeer en de algemene indruk.
De Landschapskaart (Local Patch Tokens): Dit zijn de grove contouren. Je ziet waar de bank staat, waar de tafel staat en waar het raam zit. Het zijn de grote vlakken, zonder dat je de textuur van de stof van de bank hoeft te beschrijven.
De Spotlight (Mask-based Object Tokens): Dit is de slimme truc van dit onderzoek. In plaats van de hele kamer te scannen, zet de AI een "spotlight" op de belangrijke dingen: de kat, de koffiekop, de hond. De AI maakt een specifiek lijstje van deze objecten.

Waarom is dit een doorbraak? (De "Slimme Samenvatting")

De grote kracht van Mask-LLaVA is de flexibiliteit.

Stel je voor dat je een verhaal vertelt. Soms heb je veel tijd en vertel je elk detail. Maar als je haast hebt, vertel je alleen de hoofdlijnen. Mask-LLaVA kan dat ook!

Tijdens het trainen leert de AI alles: de grote lijnen, de details én de specifieke objecten.
Tijdens het gebruik (inference) kan de AI besluiten: "Ik heb vandaag weinig batterij/rekenkracht, dus ik laat de details even weg en focus me alleen op de grote lijnen en de belangrijkste objecten."

Het mooie is dat de AI hierdoor niet "dommer" wordt. Zelfs als je de hoeveelheid informatie met 90% vermindert (dus van een dik boek naar een kort briefje), blijft de AI verrassend goed begrijpen wat er op de foto gebeurt. Hij is niet meer aan het "gokken" op basis van pixels, maar hij "kijkt" echt naar de objecten.

In het kort:

Mask-LLaVA is als een slimme assistent die niet meer een hele encyclopedie voorleest om een foto uit te leggen, maar die razendsnel de essentie pakt: "Het is een park (globaal), er is een grasveld (lokaal) en er zit een hond op een bal (object)." Dat is veel sneller, goedkoper en vaak net zo nauwkeurig!

Technische Samenvatting: Mask-LLaVA

1. Het Probleem: De "Token-Explosie" in VLM's

Huidige autoregressieve Vision-Language Models (VLM's), zoals de LLaVA-serie, hebben een fundamenteel efficiëntieprobleem. Om afbeeldingen te begrijpen, zetten ze visuele informatie om in een zeer groot aantal "tokens" (visuele representaties).

LLaVA-1.5 gebruikt bijvoorbeeld 576 tokens voor een afbeelding.
LLaVA-NeXT verhoogt dit zelfs naar 2880 tokens voor hogere resoluties.

Omdat de rekenkracht die nodig is voor een Large Language Model (LLM) kwadratisch toeneemt met het aantal tokens, zorgt dit voor een enorme belasting tijdens de inference (het genereren van antwoorden). Bestaande methoden proberen dit op te lossen door tokens te verwijderen (pruning) of samen te voegen (pooling), maar deze methoden werken meestal alleen op basis van kleine beeldfragmenten (patches) en verliezen vaak cruciale informatie over specifieke objecten.

2. Methodologie: Mask-LLaVA

De auteurs stellen Mask-LLaVA voor, een framework dat visuele informatie op drie verschillende niveaus (granulariteiten) combineert om een compacte maar informatie-rijke representatie te creëren.

De drie soorten tokens:

Global Feature ( $F_{global}$ ): De [CLS] token van de Vision Transformer (ViT), die de algemene context van de hele afbeelding bevat.
Local Feature Vectors ( $F_{local}$ ): Een compacte set van "gepoolde" patch-tokens. In plaats van honderden kleine fragmenten, gebruikt het model een 2D average pooling om de lokale structuur te behouden met veel minder tokens.
Mask-based Object Tokens ( $F_{object}$ ): Dit is de kerninnovatie. Het model gebruikt een geautomatiseerde pipeline:
- Een objectdetector (DeTR) vindt bounding boxes.
- SAM (Segment Anything Model) genereert nauwkeurige segmentatiemaskers voor deze objecten.
- Via een techniek genaamd Maskinversion wordt voor elk masker een specifieke embedding (token) berekend die exact de visuele kenmerken van dat object representeert.

Technische verfijningen:

Token Scaling: Omdat de verschillende soorten tokens (global, local, object) verschillende numerieke waarden (normen) hebben, introduceert het model een normalisatiestap. Hierdoor kunnen de verschillende groepen tokens harmonieus samenwerken in de LLM.
Flexibele Token-reductie: Het model wordt getraind met een overvloed aan object-tokens (oversampling). Hierdoor kan men tijdens de testfase (inference) eenvoudig het aantal object-tokens verminderen (bijv. door overlappende maskers te verwijderen) zonder dat het model opnieuw getraind hoeft te worden.

3. Belangrijkste Bijdragen

Nieuwe Architectuur: Een hiërarchische benadering die globale, lokale en object-specifieke informatie combineert.
Efficiëntie door Compositie: Het model bereikt vergelijkbare prestaties als de originele LLaVA, maar met een drastische vermindering van het aantal tokens (tot wel 75% minder).
Dynamische Adaptiviteit: De mogelijkheid om tijdens de inference het aantal tokens aan te passen aan de beschikbare rekenkracht zonder prestatieverlies.

4. Resultaten

De evaluatie vond plaats op acht standaard benchmarks (waaronder VQAv2, GQA, POPE en MME). De belangrijkste bevindingen zijn:

Superieure Efficiëntie: Bij een reductie van 90% tot 97% van de visuele tokens presteert Mask-LLaVA beter dan bijna alle andere state-of-the-art methoden (zoals FastV of SparseVLM).
Robuustheid tegen Hallucinaties: Op de POPE-benchmark (die test of modellen objecten "verzinnen" die er niet zijn) laat Mask-LLaVA een sterke prestatie zien, wat bewijst dat de object-tokens de nauwkeurigheid vergroten.
Behoud van Details: Zelfs wanneer de lokale patch-tokens worden gereduceerd, zorgen de object-tokens ervoor dat kleine, belangrijke details (zoals de kleur of positie van een object) behouden blijven.

5. Betekenis (Significance)

Dit onderzoek is significant omdat het een brug slaat tussen object-gecentreerde visie (weten wat er in een beeld zit) en autoregressieve taalmodellen. Het laat zien dat we niet simpelweg "meer pixels/tokens" nodig hebben voor betere prestaties, maar dat de kwaliteit en de hiërarchische structuur van de tokens belangrijker zijn. Dit opent de deur naar krachtige visuele AI op apparaten met beperkte rekenkracht (zoals smartphones of edge-devices), waar de enorme hoeveelheid tokens van huidige modellen onwerkbaar is.