PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation

Technische Samenvatting: PIXELRAG

Probleemstelling

Retrieval-Augmented Generation (RAG) is de dominante paradigma geworden voor het funderen van Large Language Models (LLMs) in externe kennis, met name voor open-domein vraagbeantwoording en zoek-geaugmenteerde agenten. Echter, huidige systemen vertrouwen op een cruciale, vaak over het hoofd geziene preprocessingsstap: HTML-naar-tekst parsing.

Bestaande pipelines extraheren schone tekst uit ruwe webpagina's met behulp van parsers (bijv. Trafilatura, mwparserfromhell). De auteurs stellen dat dit proces inherent verlieslatend en broos is:

1. Informatieverlies: Parsers verwijderen visuele aanwijzingen (nadruk, lay-out), gestructureerde inhoud (tabellen, grafieken, infoboxen) en afbeeldingen.
2. Structurele degradatie: Het converteren van 2D-lay-outs naar 1D-tokensequenties vlakt ruimtelijke groeperingen en hiërarchie af, wat het voor retrievers moeilijk maakt om antwoorddragende regio's te onderscheiden van de omliggende tekst.
3. Variabiliteit van de parser: De keuze van de parser heeft aanzienlijke impact op de downstream-prestaties, aangezien verschillende extractoren variërende hoeveelheden herstelbare tekst verwijderen.

Het artikel stelt dat aangezien het web van nature visueel is, RAG direct in de pixelruimte moet opereren in plaats van te vertrouwen op tekstabstractie.

Methodologie: PIXELRAG

PIXELRAG is het eerste end-to-end RAG-systeem dat volledig in de pixelruimte opereert op webschaal. Het omzeilt HTML-parsing volledig door websites te representeren als gerenderde screenshots. De pipeline bestaat uit drie hoofdfasen:

1. Dataverzameling en Tiling

• Offline Rendering: Om te schalen naar miljoenen pagina's (bijv. 7M Wikipedia-artikelen), ontkoppelt het systeem het ophalen van het renderen. Assets (HTML, CSS, afbeeldingen) worden eerst lokaal gecached (bijv. uit Kiwix ZIM-archieven of via asynchrone crawling).
• Rendering: Pagina's worden offline gerenderd met behulp van Playwright (headless Chromium) bij een vaste viewport-breedte (875px). Niet-inhoudelijke elementen (navigatie, zijbalken) worden verwijderd.
• Tiling: Volledige pagina-screenshots worden in niet-overlappende tegels (tiles) gesneden (1024px hoogte). Dit levert ~30M tegels op voor Wikipedia en ~3,6M voor een nieuwscorpus.

2. Indexconstructie

• Visuele Embedding: Het systeem gebruikt een single-vector retrieval-aanpak om de schaal te beheren (30M tegels). Het maakt gebruik van een Qwen3-VL-Embedding model (2B parameters) om elke tegel te coderen in een 2048-dimensionale vector.
• Contrastieve Fine-Tuning: Het basis-embeddingmodel wordt gefinetuned op de screenshot-datastore met behulp van een synthetische contrastieve leerpipeline:
  • Synthetische Querygeneratie: Een LLM genereert natuurlijke taalvragen op basis van de visuele inhoud van een tegel, waarbij wordt gewaarborgd dat het antwoord volledig zichtbaar is.
  • Dynamische Hard-Negative Mining: Het systeem haalt top-K kandidaten op voor een query. Een LLM fungeert als rechter om "false negatives" (tegels die ook de query beantwoorden) te filteren en behoudt "hard negatives" (topisch gerelateerd maar niet-beantwoordende tegels).
  • Training: Het model wordt gefinetuned met LoRA op zowel de LLM-backbone als de ViT (Vision Transformer) om de discriminatie van fijnmazige visuele details zoals tabelstructuren te verbeteren.
• Indexing: Een FAISS IVF-index ondersteunt benaderende nearest-neighbor search, wat efficiënte retrieval en incrementele updates mogelijk maakt.

3. Runtime Retrieval en Generatie

• Queryverwerking: Een gebruikersquery wordt geëmbed gebruikt met hetzelfde visuele embeddingmodel.
• Retrieval: Top-K screenshot-tegels worden opgehaald op basis van cosine similarity.
• Generatie: De opgehaalde tegels worden direct als pixel-inputs gevoed aan een Vision-Language Model (VLM) reader (bijv. Qwen3.5-4B), die het antwoord genereert zonder enige tussenliggende tekstconversie.

Belangrijkste Bijdragen

1. Eerste Web-Scale Pixel RAG: PIXELRAG is het eerste systeem dat opereert over een volledige Wikipedia-corpus (7M artikelen, 30M tegels) en nieuwscorpora, volledig in de pixelruimte, waardoor de HTML-naar-tekst parsing stap wordt geëlimineerd.
2. Schaalbare Pipeline & Training: De auteurs hebben een schaalbare offline rendering pipeline en een contrastieve trainingrecept ontwikkeld met behulp van synthetische QA-paren en dynamische hard-negative mining om visuele embeddingmodellen aan te passen aan web-screenshots.
3. Superieure Prestaties: Het systeem demonstreert dat pixel-ruimte retrieval consistent beter presteert dan tekst-gebaseerde RAG-baselines over diverse benchmarks, inclus\n bij tekst-gecentreerde taken (NQ, SimpleQA) en multimodale taken (MMSearch, LiveVQA).
4. Efficiëntie via Compressie: Het artikel identificeert beeldresolutie als een nieuwe efficiëntie-hefboom. Door de VLM-reader te trainen om lagere resoluties te tolereren, bereikt PIXELRAG tot 3× reductie in tokenkosten terwijl de nauwkeurigheid behouden blijft.

Experimentele Resultaten

Het artikel evalueert PIXELRAG tegenover "No Retrieval" en tekst-gebaseerde RAG-baselines (met gebruik van Trafilatura en mwparserfromhell parsers) over zes benchmarks:

• Tekst-gecentreerde Taken (NQ, SimpleQA): Verrassend genoeg presteert PIXELRAG beter dan tekst-gebaseerde RAG, zelfs op taken waar vragen alleen uit tekst beantwoord kunnen worden.
  • Op SimpleQA bereikt PIXELRAG (gefinetuned) een nauwkeurigheid van 78,8% versus 71,6% voor de beste tekst-baseline (Trafilatura).
  • Op NQ-Tables is het gat aanzienlijk (48,8% vs. 35,9%), toegeschreven aan het behoud van tabelstructuren die parsers vernietigen.
• Multimodale & Ruisige Taken:
  • LiveVQA (ruisige nieuwscorpus): PIXELRAG verbetert de nauwkeurigheid met 11,3% ten opzichte van tekst-baselines.
  • MMSearch en Encyclopedic VQA: PIXELRAG laat sterke winsten zien, met name in retrieval recall (bijv. +5× op EVQA).
• Foutanalyse: De auteurs identificeren drie foutmodi voor tekst-gebaseerde RAG:
  1. Parser Verlies: Gestructureerde inhoud (tabellen) wordt afgeplat of volledig verwijderd.
  2. Rank Verlies: Antwoorddragende tekst is aanwezig maar wordt laag gerankt door "infobox displacement" (lineaire infoboxen matchen trefwoorden maar missen het specifieke antwoord).
  3. Reader Verlies: Lineaire lijsten/tabellen verwarren het vermogen van de reader om rijen aan koppen te koppelen.
     PIXELRAG mitigeert dit door de 2D visuele structuur te behouden.
• Opschaling: Prestaties schalen met de capaciteit van de VLM. Modellen met sterkere visuele tekstleesvaardigheden (bijv. Qwen3-VL-4B en hoger) vertonen een kruispunt waarbij pixel-retrieval de tekst-retrieval overtreft.
• Agentic Search: In de MoNaCo multi-hop QA benchmark behaalt PIXELRAG de hoogste F1-score tegen de laagste kosten (2–4× goedkoper dan tekst-baselines) vanwege de hogere informatie-densiteit per retrieval-stap.

Betekenis en Claims

Het artikel claimt dat web RAG direct in de natuurlijke visuele vorm van het web kan opereren, wat de noodzaak van tekstrepresentaties uitdaagt.

• Prestaties: Pixel-representaties behouden cruciale 2D structurele aanwijzingen (tabellen, infoboxen, lay-out) die tekst-parsers onvermijdelijk degraderen, wat leidt tot betere retrieval- en generatienauwkeurigheid.
• Efficiëntie: Beeldcompressie maakt aanzienlijke reducties in tokenkosten mogelijk zonder de nauwkeurigheid op te offeren, wat een nieuwe dimensie biedt voor het optimaliseren van RAG-systemen.
• Paradigmaverschuiving: Naarmate VLMs blijven verbeteren in het lezen van tekst gerenderd als pixels, zal de kloof tussen pixel-gebaseerde en tekst-gebaseerde RAG naar verwachting groter worden, wat wijst op een toekomstige verschuiving naar native visuele retrieval voor web-schaal kennis.

De auteurs concluderen dat hoewel tekstparsing een noodzakelijke preprocessing-stap is geweest voor huidige LLM's, de vooruitgang van VLMs een pixel-native pipeline niet alleen haalbaar maar superieur maakt in zowel prestaties als efficiëntie.