Technische Samenvatting: AuroraEdge-V-2B

Probleemstelling

Hoewel Visual Large Language Models (VLLMs) superieure generalisatie en flexibiliteit bieden vergeleken met traditionele Deep Learning Modellen (DLMs) in industriële omgevingen, stuit hun implementatie op edge-apparaten op aanzienlijke hindernissen. Bestaande VLLMs lijden doorgaans onder:

1. Hoge computationele kosten: Grote aantallen parameters en de generatie van excessieve visuele tokens tijdens het decoderen creëren een substantiële belasting van floating-point operaties (FLOPs).
2. Latentie: Het enorme volume aan visuele tokens (bijv. 576 tokens per afbeelding in LLaVA-1.5) belemmert realtime respons, waardoor ze trager zijn dan op maat gemaakte DLMs.
3. Resourcebeperkingen: Industriële edge-omgevingen beschikken vaak niet over de substantiële computationele middelen die vereist zijn om state-of-the-art (SOTA) VLLMs te draaien.

De kernuitdaging is het ontwikkelen van een VLLM die sterke prestaties behoudt over diverse taken, terwijl deze compact genoeg is voor edge-implementatie en snel genoeg voor realtime industriële toepassingen.

Methodologie

De auteurs stellen AuroraEdge-V-2B voor, een VLLM met 2 miljard parameters ontworpen voor edge-implementatie. Het model is gebouwd op de LLaVA-architectuur, maar introduceert specifieke modificaties om een balans te vinden tussen efficiëntie en prestaties:

1. Architecturale Modificaties

• Basisonderdelen: Het model maakt gebruik van een vooraf getrainde SigLIP2 visuele encoder (die dynamische resoluties ondersteunt via Patch n' Pack en FlexiViT) en een Qwen2.5-1.5B LLM-backbone.
• Token Compressor: Om de computationele last van visuele tokens te verminderen, is een Token Compressor-module ingevoegd na de projector. Deze reduceert de visuele tokensequentie van 256 tokens (geëxtraheerd uit de afbeelding) naar een vaste set van 64 tokens. De auteurs hebben experimenteel vastgesteld dat een Multi-Layer Perceptron (MLP) de meest effectieve compressiemethode is vergeleken met Conv2d of MaxPool2d.
• Fusiemodule: Om het informatieverlies te compenseren dat inherent is aan tokencompressie, injecteert een Fusiemodule de oorspronkelijke (pre-compressie) visuele informatie in de teksttokens. De auteurs vergeleken drie fusiestrategieën:
  • Cross-Attention: Standaard cross-attention tussen tekst- en visuele tokens.
  • Decoder: Een enkele-laagse transformer-decoder.
  • Gecombineerd: Een sommatie van de Cross-Attention en de Decoder-output.
    De Gecombineerde aanpak leverde de beste prestaties op en werd geselecteerd voor het definitieve model.

2. Trainingsstrategie

Het model ondergaat een rigoureus driedelig trainingsproces:

• Fase 1 (Visuele Training): De LLM en de Visuele Encoder zijn bevroren. Alleen de projector, de token compressor en de fusiemodule worden getraind met beeld-tekst paren (image-caption data) om de modaliteiten op elkaar af te stemmen.
• Fase 2 (LLM Finetuning): De Visuele Encoder is bevroren. De LLM-backbone, de projector, de compressor en de fusiemodule worden bijgewerkt met Visual Question Answering (VQA) data om het visuele begrip te verbeteren.
• Fase 3 (Visuele-Tekst Gezamenlijke Training): Alle parameters worden bijgewerkt met een mix van gedetailleerde beeld-tekst paren en complexe VQA-data.

De trainingsdataset combineert open-source bronnen (zoals LLaVA-Pretrain, COCO, GQA, OKVQA) met een gesynthetiseerde pipeline die GPT-modellen gebruikt om diverse queries te genereren en curatiestappen om de kwaliteit te waarborgen.

Belangrijkste Bijdragen

1. AuroraEdge-V-2B Model: Introductie van een compact VLLM met 2 miljard parameters, specifiek geoptimaliseerd voor edge-implementatie, wat een balans biedt tussen snelheid en nauwkeurigheid.
2. Compressie-Fusie Methode: Een nieuwe techniek die visuele tokens met 75% vermindert (van 256 naar 64) om de inferentie FLOPs te halveren, terwijl tegelijkertijd een fusiemodule wordt gebruikt om de visuele context terug in de teksttokens te injecteren, waardoor de prestaties behouden blijven.
3. Snelle Constructie-Framework: Een reproduceerbare, data-efficiënte methodologie voor het bouwen van kleine VLLMs met behulp van vooraf getrainde LLMs en VE's, waarmee wordt aangetoond dat hoge prestaties kunnen worden behaald zonder massale aantallen parameters.

Empirische Resultaten

Het model werd geëvalueerd op 11 breed erkende benchmarks (waaronder ScienceQA, VQAV2, MMBench en MME) en vergeleken met SOTA-modellen met vergelijkbare parameter-schalen (Qwen2-VL-2B, Qwen2.5-VL-3B, InternVL-2.5-2B).

• Prestaties: AuroraEdge-V-2B behaalde state-of-the-art (SOTA) scores op 9 van de 11 benchmarks, waarbij het modellen met gelijke of grotere parameter-aantallen overtrof.
• Efficiëntie:
  • FLOPs: Het model vereist aanzienlijk minder floating-point operaties (minder dan 16% van de meest computationeel efficiënte baseline in de vergelijking).
  • Latentie: Op een enkele NVIDIA GeForce RTX 3090 GPU vertoonde het model een inferentiesnelheid die 3 keer sneller was dan zijn concurrenten (40ms latentie versus ~116–143ms voor anderen).
• Ablatie-studies: Experimenten bevestigden dat de "Gecombineerde" fusiemethode beter presteert dan de standalone Cross-Attention of Decoder-methoden, en dat de fusiefase cruciaal is, aangezien modellen zonder fusie (Compress-only) aanzienlijk verslechterde prestaties lieten zien.

Betekenis en Claims

Het artikel claimt dat AuroraEdge-V-2B het kritieke gat overbrugt tussen de theoretische capaciteiten van VLLMs en hun praktische bruikbaarheid in industriële edge-omgevingen. Door aan te tonen dat een 2B-parameter model zowel in snelheid als nauwkeurigheid grotere tegenhangers kan overtreffen, suggereert dit werk een levensvatbaar pad naar het vervangen van traditionele, domeinspecifieke DLMs door flexibelere VLLMs in productie.

De auteurs positioneren dit werk als een stap om VLLMs "sneller en sterker" te maken voor real-world toepassingen, waarbij zij benadrukken dat de voorgestelde compressie-fusie methode realtime respons mogelijk maakt zonder de robuustheid op te offeren die vereist is voor industriële taken. Zij erkennen huidige beperkingen, zoals het gebrek aan videosteun en vaste hyperparameters, maar stellen dat deze architectuur een sterke basis biedt voor toekomstige optimalisatie in industriële AI-implementatie.