Technische Samenvatting: Schaalbare Visuele Pretraining voor Taalintelligentie

Probleemstelling

Huidige grote fundamentele modellen vertrouwen voornamelijk op pretraining met massale tekstcorpora. Dit paradigma werkt op de impliciete aanname dat alle leerbare kennis zonder verlies kan worden gecodeerd als een lineaire sequentie van teksttokens. Deze aanpak negeert echter inherent de rijke visuele informatie die aanwezig is in wetenschappelijke documenten, zoals figuren, gezettypeerde vergelijkingen, tabellen en paginavormige ruimtelijke lay-outs. Het converteren van deze visuele bronnen naar platte tekst via parsing (bijv. HTML/LaTeX-extractie of OCR) is een proces met informatieverlies dat geometrische beperkingen, symbolische topologieën en structurele correspondenties wegneemt die essentieel zijn voor wetenschappelijk redeneren. Bestaande multimodale modellen behandelen visuele inputs vaak slechts als conditionerende context voor tekstvoorspelling in plaats van ze diep te integreren in het voorspellende leerdoel.

Methodologie: Visuele Pretraining (VP)

De auteurs stellen Visual Pretraining (VP) voor, een framework waarbij een fundamenteel model direct leert van ruwe visuele documenten zonder tekstextractie of beeld-tekst paren supervisie.

Kernarchitectuur en Training

• Inputrepresentatie: Ruwe wetenschappelijke documentpagina's worden gerenderd als afbeeldingen. Een bevroren vision tower codeert deze afbeeldingen in visuele kenmerken.
• Sparsere Voorgrondextractie: Om de efficiëntie te verbeteren, worden blanco achtergrondregio's (marges, witruimte) weggefilterd met behulp van patch-niveau statistieken (pixelvariantie, luminantie). De resterende voorgrondpatches worden geordend in een raster-scanvolgorde om een sparse visuele sequentie te vormen.
• Projectie en Voorspelling: De sparse visuele kenmerken worden geprojecteerd in de verborgen ruimte van de LLM via een leerbare lineaire projectie. Het model wordt getraind met een autoregressieve next-visual-latent voorspellingsdoel.
  • In tegenstelling tot standaard next-token voorspelling, die zich richt op discrete teksttokens, richt VP zich op continue visuele latents.
  • De verliesfunctie maakt gebruik van een in-batch contrastieve verlies (InfoNCE) om de volgende voorgrond visuele latent $z_{t+1}$ te voorspellen gegeven de huidige staat, waarbij onderscheid wordt gemaakt van andere patches in de batch.
• Gezamenlijke Training: Het uiteindelijke doel combineert standaard tekst next-token voorspelling ($\mathcal{L}_{CE}$) met de visuele latent voorspellingsverlies ($\mathcal{L}_{VP}$), geïnterleaved volgens een vaste ratio. De visuele encoder blijft bevroren; alleen de LLM, de visuele projectiemodule en de voorspellingskop worden bijgewerkt.

Experimentele Opzet

De studie hanteert een strikt gecontroleerde vergelijking tussen VP en Tekst Pretraining (TP):

• Corpus: Beide methoden gebruiken exact hetzelfde onderliggende wetenschappelijke PDF-corpus.
• Verschil in Representatie:
  • TP: PDF's zijn geparst naar platte tekst (met behulp van MinerU2.5), wat resulteert in ~80B teksttokens.
  • VP: PDF's zijn gerenderd als afbeeldingen en geconverteerd naar sparse visuele tokens, wat resulteert in ~20B visuele tokens.
• Backbones: Experimenten worden uitgevoerd op meerdere architecturen, waaronder Qwen3.5, Qwen3, Llama 3.2 Vision en Llama 3.1.
• Evaluatie: Alle checkpoints ondergaan identieke Supervised Fine-Tuning (SFT) vóór evaluatie op wetenschappelijke redeneer- en multimodale benchmarks.

Belangrijkste Bijdragen

1. Demonstratie van Informatieverlies in Tekst-alleen Pretraining: Het paper levert empirisch bewijs dat het reduceren van visuele documenten tot platte tekst aanzienlijk informatieverlies veroorzaakt, en dat visuele pretraining dit weggegooiden informatie herstelt.
2. Autoregressief Visueel Pretraining Framework: De auteurs introduceren een methode om fundamentele modellen te trainen om documentpatches in de latent space te voorspellen, waardoor visuele latents diep worden geïntegreerd in het voorspellende proces zonder dat expliciete beeld-tekst paren nodig zijn.
3. Schaalbaar Alternatief voor Tekst-alleen Pretraining: Door middel van verenigde empirische studies over architecturen en benchmarks heen, vestigt het werk VP als een effectief, efficiënt en schaalbaar alternatief voor traditionele tekst-alleen pretraining.

Resultaten

1. Effectiviteit in Wetenschappelijk Redeneren

VP presteert consistent beter dan TP op wetenschappelijke redeneer-benchmarks (MMLU-Pro, GPQA, AIME-25, HLE) in zowel native multimodale modellen als taal-alleen modellen.

• Prestatiewinst: Op de Qwen 3.5 backbone verbeterde VP de GPQA Diamond scores van 76.24 naar 79.29 (+3.05) en MMLU-Pro van 83.91 naar 85.09.
• Architectuur-agnostisch: Verbeteringen werden waargenomen over alle geteste backbones, wat aangeeft dat het voordeel niet gebonden is aan een specifieke architectuur.
• Redeneren vs. Kennis: De winsten zijn het meest uitgesproken op benchmarks die kennis vereisen van geometrische figuren en schema's (GPQA, MMLU-Pro), terwijl de verbeteringen op HLE (gericht op complexe meerstaps-redeneren) marginaal waren, wat suggereert dat VP specifer visuele-structurele kennis herstelt.

2. Schaalbaarheid en Efficiëntie

• Token Efficiëntie: VP bereikt superieure downstream prestaties terwijl het slechts 25% van het tokenbudget verbruikt vergeleken met TP (20B visuele tokens vs. 80B teksttokens voor hetzelfde corpus).
• Scaling Laws: Naarmate de training vordert, vertoont VP gestaag toenemende genormaliseerde winsten ten opzichte van TP (bijv. 2.88× op AIME-25).
• Structuur-Dichtheid: Het voordeel van VP correleert sterk met de visuele-structuur dichtheid. Op pagina's die rijk zijn aan figuren, vergelijkingen en tabellen, presteert VP aanzienlijk beter dan TP, terwijl op tekst-dominante pagina's de prestaties vergelijkbaar zijn.

3. Cross-Modale Alignement en Transfer

Ondanks dat het is getraind op ongelabelde ruwe documenten zonder expliciete beeld-tekst pairing:

• Alignement: VP verbetert de cross-modale alignement aanzienlijk. De centroid separatie tussen visuele en tekstuele embeddings daalt van 1.665 naar 0.661, en de cosinus gelijkenis stijgt van 0.631 naar 0.907.
• Multimodale Benchmarks: VP-modellen presteren beter dan zowel base als TP modellen op multimodale benchmarks (MMMU-Pro, ChartQAPro, MathVista). Opvallend genoeg regresseert TP soms op visueel zware benchmarks (bijv. ChartQAPro), terwijl VP substantiële winsten oplevert (bijv. +5.4 op ChartQAPro).
• Mechanisme: Analyse van de attention maps onthult dat visueel redeneren in VP aandacht besteedt aan dezelfde semantische bewijslast (beperkingen, computationele stappen) als tekstueel redeneren, wat suggereert dat het model leert om redenerings-relevante visuele cues te extraheren.

Betekenis en Claims

Het paper claimt dat Visual Pretraining een schaalbaar pad is voor het leren van zowel taal als visuele intelligentie. Het daagt de standaard aanname uit dat taalmodellen getraind moeten worden op tekst-alleen representaties.

• Complementair, Niet Vervangend: De auteurs positioneren VP niet als een vervanging voor tekst pretraining, maar als een complementair doel dat modellen in staat stelt om tekstblootstelling te behouden terwijl ze leren van de natuurlijke visuele vorm van wetenschappelijke documenten.
• Efficiëntie: Het framework demonstreert dat fundamentele modellen kunnen worden getraind op hoog gecomprimeerde visuele corpora (25% van het aantal tokens) om de prestaties van tekst-getrainde modellen te evenaren of te overtreffen.
• Toekomstige Richtingen: Het werk suggereert dat visuele-latent voorspelling een effectief pretraining doel kan dienen voor hoog-densiteit visuele corpora (grafieken, formules, lay-outs) en opent een pad naar het trainen van fundamentele modellen primair op grootschalige visuele stromen met lichtgewicht tekst-alignement.

De auteurs blijven bescheiden en merken op dat hun aanpak geworteld is in tekst pretraining en dat de winsten moeten worden gezien als bewijs dat visuele pretraining de capaciteiten van fundamentele modellen aanvult en uitbreidt, in plaats van te opereren als een volledig onafhankelijk visueel pretraining regime. Ze erkennen ook dat de overdraagbaarheid naar bredere visuele corpora (bijv. natuurlijke afbeeldingen of video) een open vraag blijft.