Technische Samenvatting: Unified Pix Token en Woord Token Generatief Taalmodel

1. Probleemstelling

De auteurs identificeren kritieke beperkingen in de huidige state-of-the-art open-source multimodale modellen (bijv. LLaVA, Kimi-2.5, Qwen-2.5-VL) die Vision Transformers (ViT) gebruiken als visuele encoders, vooraf getraind via contrastieve methoden zoals CLIP of SigLIP. Het artikel betoogt dat deze architectuur lijdt aan vier primaire problemen:

1. Verlies van Detail: ViT codeert afbeeldingen naar featurevectoren die lijken op tekst, wat kan falen in het weergeven van fijne details zoals kleine tekst of nummers binnen een afbeelding.
2. Instabiliteit (De "Kettingreactie"): Kleine veranderingen in een afbeelding (bijv. het kentekennummer veranderen van 1 naar 6) veroorzaken dat alle floating-point getallen in de gecodeerde features veranderen, wat leidt tot instabiele representaties.
3. "Valse" Token Embeddings: ViT genereert token embeddings door pixels te patchen. Deze embeddings missen echt aanpasbare parameters, wat hun expressieve kracht beperkt in vergelijking met woordtokens in Large Language Models (LLM's).
4. Beperkingen van Supervised Training: CLIP en SigLIP vertrouwen op supervised training met beperkte datasets, wat kan leiden tot tekortkomingen in out-of-distribution scenario's.

2. Methodologie

Het artikel stelt een Unified Pix Token en Woord Token Generatief Taalmodel voor dat beeldpixels behandelt als eersteklas tokens, vergelijkbaar met woorden, waardoor een aparte ViT-encoder overbodig wordt. De methodologie bestaat uit drie kerncomponenten:

2.1 Pix Token Embedding

In plaats van patching, wijst het model een unieke, leerbare token embedding toe aan elke afzonderlijke pixel.

• Tokenberekening: Een pixel met RGB-waarden $(r, g, b)$ wordt gemapt naar een unieke tokenwaarde met de formule: $TokenValue = r + g \times L + b \times L^2$, waarbij $L$ de lengte van het kleurkanal is (standaard 256).
• Embeddingruimte: Dit creëert een vocabulaire van $256^3$ (ongeveer 16,7 miljoen) tokens. Elke token heeft zijn eigen onafhankelijke, trainbare embeddingvector van dimensie $d$, wat aanpasbare parameters mogelijk maakt, vergelijkbaar met woordtokens.
• Verliesvrije Preprocessing: In tegenstelling tot traditionele methoden die RGB-waarden normaliseren naar floating-point getallen (wat truncatiefouten introduceert), gebruikt deze methode integer-gebaseerde tokenisatie, wat verliesvrije data-preprocessing garandeert.

2.2 Kleurenvouwen

Om de rekenkundige onuitvoerbaarheid van een vocabulairegrootte van 16,7 miljoen aan te pakken, introduceren de auteurs Kleurenvouwen.

• Concept: Een "Vouwfactor" ($f$) verkleint de lengte van het kleurkanal van $L$ naar $L/f$. De nieuwe kleurwaarde wordt $(R//f, G//f, B//f)$.
• Redenering: De auteurs betogen dat het menselijk oog geen minute kleurverschillen kan onderscheiden (bijv. veranderingen van 8 eenheden in een 8-bit kanaal). Het verkleinen van de kleerruimte (bijv. met een vouwfactor van 16) vermindert de tokenvocabulairegrootte drastisch (naar 4.096 voor $f=16$) en de rekenlast, terwijl de visuele trouw behouden blijft.

2.3 Unified Model Architectuur

Het model integreert woordtokens en pixtokens in één generatieve sequentie.

• Global-to-Local Window Benadering: Om de $O(N^2)$ complexiteit van globale self-attention op lange pixelsequenties te vermijden, converteert het model de globale pixelsequentie naar een batch van lokale vensters.
• Lokaal Venster Attention: Binnen elk venster wordt een gemaskerde multi-head self-attention uitgevoerd.
• Global Conditional Attention Benadering: Het model extraheren de laatste token embedding uit elk lokaal venster. Deze embeddings worden vervolgens gecombineerd met woordtoken embeddings en doorgegeven aan daaropvolgende transformer decoders. De auteurs beweren dat dit globale conditionele attention benadert, aangezien de waarschijnlijkheid van de output $Y$ gegeven de input wordt benaderd door de waarschijnlijkheid gegeven de geaggregeerde lokale vensterrepresentaties.
• Voorspellingsstrategie: Het model voorspelt de volgende token, die kan zijn of een woordtoken of het eerste pixeltoken van het volgende lokale venster.

3. Belangrijkste Bijdragen

1. Echte Per-Pixel Tokenisatie: Het voorstellen van "Pix Token Embeddings" waarbij elke pixel een onafhankelijke, trainbare embedding heeft, in contrast met de "valse" op patch gebaseerde embeddings van ViT.
2. Kleurenvouwen: Een nieuwe techniek om de rekenkundige complexiteit van pixeltokenisatie te verminderen door kleerruimte te quantiseren op basis van de limieten van het menselijk visuele waarneming, waardoor ongesuperviseerde pixelniveau-training haalbaar wordt.
3. Unified Architectuur: Een generatief model dat tekst- en beeldtokens unificeert in één sequentie, waardoor het model self-attention en tokenvoorspelling op beide modaliteiten gelijktijdig kan uitvoeren.
4. Ongesuperviseerde Pretraining van Afbeeldingen: Een kader dat modellen in staat stelt patronen direct te leren uit enorme afbeeldingsdata zonder supervised labels, wat de succes van GPT-3's tekstpretraining nabootst.

4. Experimentele Resultaten

De auteurs voerden experimenten uit met focus op ongesuperviseerde pretraining van afbeeldingen vanwege beperkte rekenkracht.

• Opstelling: Een klein model (120 miljoen parameters) werd getraind op 100.000 samples uit de llava-cc3m-pretrain-595k dataset (ongeveer 5 miljard pixeltokens). De afbeeldingsgrootte was 224x224 met een kleurvouwfactor van 16.
• Vondsten:
  • De trainings- en validatieverliescurves convergeerden vergelijkbaar met GPT-3's tekstpretraining, maar met snellere convergentie relatief tot het aantal verwerkte pixeltokens.
  • Het model toonde het vermogen om patronen van pixeltokensequenties te leren, zelfs met een klein aantal parameters en beperkte data.
• Beperkingen: De auteurs stellen expliciet dat ze geen grootschalige modellen of gemengde tekst-afbeelding pretraining konden testen vanwege resourcebeperkingen.

5. Betekenis en Claims

Het artikel claimt dat deze architectuur een fundamentele verschuiving in multimodaal leren vertegenwoordigt:

• Schaalbaarheid: De auteurs geloven dat het model voldoet aan de scaling law; naarmate modelparameters en trainingsdata toenemen, zal de prestatie blijven verbeteren, en potentieel huidige ViT-gebaseerde benaderingen overtreffen.
• Robuustheid: Door pixelveranderingen te isoleren naar specifieke token embeddings in plaats van een hele featurevector te wijzigen, is het model robuuster tegen kleine beeldverstoringen.
• Toekomstpotentieel: De auteurs stellen dat deze methode de CLIP/SigLIP-pijplijn in productie zou kunnen vervangen, en een meer gedetailleerde, stabiele en schaalbare aanpak voor visueel begrip biedt. Ze uiten de hoop dat met voldoende rekenkracht het potentieel van het model de mensheid breed ten goede kan komen.

Het artikel concludeert dat het voorgestelde model succesvol pixel- en woordtokens unificeert, verliesvrije preprocessing en ongesuperviseerde pretraining mogelijk maakt, en daarmee de inherente beperkingen van huidige op contrastief leren gebaseerde visuele encoders aanpakt.