Technische Samenvatting: LLaVA-UHD v4

Probleemstelling

Visuele codering vormt een primaire computationele knelpunt in Multimodale Grootte Taalmodellen (MLLM's), vooral bij het verwerken van hoge-resolutie afbeeldingen. Het heersende paradigma omvat globale codering, waarbij de volledige afbeelding direct wordt ingevoerd in een Vision Transformer (ViT), gevolgd door compressie na de ViT om de tokenreeks te verminderen voordat deze het Large Language Model (LLM) bereikt.

Deze aanpak lijdt aan twee kritieke inefficiënties:

1. Kwadratische Attentiekosten: Globale codering dwingt de ViT om volledige zelf-attentie te berekenen over een enorme tokenreeks (die schaalt met het afbeeldingsoppervlak) voordat er enige reductie plaatsvindt.
2. Ondoeltreffend Compressietijdstip: Compressie na de ViT verlicht alleen de last op de downstream LLM; het vermindert niet de computationele kosten die binnen de ViT zelf zijn gemaakt, aangezien de volledige encoderberekening al is uitgevoerd.

Naarmate de afbeeldingsresoluties toenemen, maakt deze "token-explosie" hoge-resolutie visuele codering een centraal efficiëntie-obstakel voor moderne MLLM's.

Methodologie

De auteurs stellen LLaVA-UHD v4 voor, een efficiënte visuele coderingsschema dat de coderingsstrategie en het tijdstip van tokencompressie heroverweegt. De methodologie rust op twee pijlers:

1. Slice-gebaseerde Codering (SE) versus Globale Codering (GE)

In tegenstelling tot het consensus binnen de gemeenschap dat globale codering superieur is voor het behoud van context, tonen de auteurs aan dat slice-gebaseerde codering effectiever is voor invoer met hoge resolutie.

• Mechanisme: In plaats van de volledige afbeelding aan de ViT te geven, wordt de afbeelding ontleed in een thumbnail met lage resolutie en een reeks slices met hoge resolutie, gebaseerd op een gridbeleid dat rekening houdt met het aspectratio. Deze weergaven worden onafhankelijk gecodeerd.
• Voordeel: Deze aanpak behoudt lokale details door de encoder in staat te stellen zich te richten op fijnmazige patronen binnen elke slice. Cruciaal is dat het structureel de kwadratische computationele explosie vermijdt die gepaard gaat met globale zelf-attentie op de volledige afbeelding.

2. Vroege Compressie binnen de ViT

Om de resterende computationele kosten binnen de ViT aan te pakken, introduceren de auteurs een compressor met hergebruik van parameters die binnen de ViT-pijplijn wordt ingevoegd, in plaats van erna.

• Plaatsing: De compressor ($D$) wordt ingevoegd na een specifieke ondiepe laag ($k=6$ in de SigLIP 2-ruggengraat) van de ViT.
• Architectuur: De module bestaat uit:
  1. Vensterattentie: Een $2 \times 2$ vensterattentieblok zonder overlapping dat tokens in staat stelt te interageren met hun directe ruimtelijke buren.
  2. Downsampling & Fusie: Een $2 \times 2$ Pixel-Unshuffle-operatie gevolgd door een MLP die de kanalen fuseert, waardoor het aantal tokens met $4\times$ wordt gereduceerd.
• Initialisatiestrategie: Om te voorkomen dat de voorgeprogrammeerde visuele representaties worden verstoord, wordt de compressor niet willekeurig geïnitieerd. In plaats daarvan hergebruikt het de gewichten van de voorafgaande ViT-laag (specifiek de attentieprojecties en FFN-gewichten). Deze "warm start" zorgt ervoor dat de nieuwe module vanaf de eerste trainingsstap werkt op dezelfde representatiemanifold als de oorspronkelijke ViT.

3. Tweestaps Compressiepijplijn

De uiteindelijke architectuur hanteert een tweestapsreductie:

1. Intra-ViT: Een $4\times$ reductie vindt vroeg in de encoder plaats (na laag 6), waardoor de meerderheid van de daaropvolgende ViT-lagen slechts met $25\%$ van het oorspronkelijke tokenbudget werkt.
2. Post-ViT: Een standaard MLP-gebaseerde connector (met Pixel-Unshuffle) voert een extra $4\times$ reductie uit voordat de LLM wordt bereikt, wat resulteert in een totale end-to-end compressieverhouding van $16\times$.

Belangrijkste Bijdragen

1. Herziening van Coderingsparadigma's: Het artikel toont empirisch aan dat slice-gebaseerde codering consequent beter presteert dan globale codering over diverse benchmarks (waaronder OCR- en fijnmazige perceptietaken) en dataschalen, waardoor de aanname wordt uitgedaagd dat globale context altijd noodzakelijk is voor begrip op hoge resolutie.
2. Intra-ViT Compressiearchitectuur: De auteurs stellen een nieuwe vroege compressiemodule voor die tokens binnen de ViT reduceert. Door vensterattentie te combineren met initialisatie via hergebruik van parameters, bereiken ze enorme rekenbesparingen zonder de representatiecapaciteit van het voorgeprogrammeerde model te offeren.
3. LLaVA-UHD v4: De integratie van slice-gebaseerde codering en intra-ViT-compressie levert een systeem op dat de FLOPs voor visuele codering met 55,75% reduceert, terwijl het de prestaties van sterke post-ViT-baselines evenaart of overtreft.

Experimentele Resultaten

De auteurs hebben LLaVA-UHD v4 geëvalueerd tegen een sterke post-ViT-baseline (slice-gebaseerde codering met een 16× post-ViT MLP-compressor) over acht benchmarks die algemene VQA, redenering en fijnmazige perceptie bestrijken (bijv. OCRBench, MMMU, MathVista).

• Efficiëntie: De voorgestelde methode reduceert de FLOPs voor visuele codering van 3555,1 G naar 1573,1 G (een reductie van 55,75%) voor een enkele slice.
• Prestaties: Over trainingsdataschalen variërend van 4 miljoen tot 64 miljoen samples, evenaart LLaVA-UHD v4 de baseline-prestaties binnen een verwaarloosbare marge (gemiddelde afwijking van -0,29 punten).
• Ablatiestudies:
  • Compressietijdstip: Het invoegen van de compressor te vroeg (bijv. laag 3) vernietigt de prestaties, terwijl invoegen te laat (bijv. laag 15) afnemende meerwaarde oplevert. Laag 6 werd geïdentificeerd als de optimale afweging.
  • Moduleontwerp: Eenvoudige samenvoeging (Average Pool) of willekeurige initialisatie faalt om de baseline-accuraatheid te herstellen. De combinatie van Vensterattentie en Initialisatie via Hergebruik van Parameters is essentieel voor het behoud van prestaties.
  • Connectorontwerp: Een MLP-gebaseerde ruimtelijke samenvoegingsconnector presteert beter dan query-gebaseerde resamplers, vooral bij lagere compressieverhoudingen.

Betekenis en Claims

Het artikel beweert dat de efficiëntie van visuele codering aanzienlijk kan worden verbeterd zonder downstream-prestaties te offeren, door het compressieparadigma te verschuiven van "post-ViT" naar "intra-ViT".

• Ontwerprichting: Het werk biedt een praktische ontwerprichting voor efficiënte MLLM's met hoge resolutie, wat suggereert dat agressieve tokenreductie binnen de visuele encoder kan worden uitgevoerd.
• Schaalbaarheid: Door het computationele knelpunt binnen de ViT te verminderen, maakt de aanpak schaalbaardere multimodale fundamentele modellen mogelijk die invoer met ultra-hoge resolutie kunnen verwerken.
• Beperkte Reikwijdte: De auteurs erkennen dat hun huidige module een vaste, uniforme downsamplingfrequentie gebruikt. Zij merken op dat toekomstig werk dynamische, inhoudsgerichte tokenreductiemechanismen zou kunnen verkennen (bijv. het toewijzen van meer tokens aan tekstrijke gebieden) en dat de optimale invoegdiepte kan variëren voor verschillende ruggengraatarchitecturen.

Kortom, LLaVA-UHD v4 toont aan dat door na te denken over waar en hoe visuele tokens worden gecomprimeerd, aanzienlijke rekenbesparingen kunnen worden bereikt terwijl de fijnmazige perceptiecapaciteiten worden behouden die nodig zijn voor geavanceerde multimodale taken.