Résumé Technique : PIXELRAG

Problématique

La génération augmentée par récupération (RAG - Retrieval-Augmented Generation) est devenue le paradigme dominant pour ancrer les grands modèles de langage (LLM) dans des connaissances externes, particulièrement pour le questionnement en domaine ouvert et les agents de recherche augmentée. Cependant, les systèmes actuels reposent sur une étape de prétraitement critique et souvent négligée : l'analyse syntaxique HTML-vers-texte (HTML-to-text parsing).

Les pipelines existants extraient du texte propre à partir de pages web brutes via des parseurs (ex: Trafilatura, mwparserfromhell). Les auteurs soutiennent que ce processus est intrinsèquement perte de données et fragile :

1. Perte d'information : Les parseurs rejettent les indices visuels (emphase, mise en page), le contenu structuré (tableaux, graphiques, infobox) et les images.
2. Dégradation structurelle : La conversion de mises en page 2D en séquences de tokens 1D aplatit les regroupements spatiaux et la hiérarchie, rendant difficile pour les récupérateurs de distinguer les régions porteuses de réponses des textes environnants.
3. Variabilité des parseurs : Le choix du parseur impacte significativement les performances en aval, différents extracteurs rejetant des quantités variables de texte récupérable.

L'article postule que puisque le web est nativement visuel, le RAG devrait opérer directement dans l'espace des pixels plutôt que de dépendre de l'abstraction textuelle.

Méthodologie : PIXELRAG

PIXELRAG est le premier système RAG de bout en bout opérant entièrement dans l'espace des pixels à l'échelle du web. Il contourne entièrement l'analyse HTML en représentant les sites web sous forme de captures d'écran rendues. Le pipeline se compose de trois étapes principales :

1. Collecte de données et découpage en tuiles (Tiling)

• Rendu hors ligne : Pour passer à l'échelle de millions de pages (ex: 7 millions d'articles Wikipédia), le système découple la récupération du rendu. Les ressources (HTML, CSS, images) sont d'abord mises en cache localement (ex: via des archives Kiwix ZIM ou via un crawling asynchrone).
• Rendu : Les pages sont rendues hors ligne en utilisant Playwright (Chromium sans tête) avec une largeur de vue fixe (875px). Les éléments non contextuels (navigation, barres latérales) sont supprimés.
• Découpage en tuiles : Les captures d'écran de pages complètes sont découpées en tuiles non chevauchantes (hauteur de 1024px). Cela produit environ 30 millions de tuiles pour Wikipédia et environ 3,6 millions pour un corpus d'actualités.

2. Construction de l'index

• Plongement visuel (Visual Embedding) : Le système utilise une approche de récupération par vecteur unique pour gérer l'échelle (30 millions de tuiles). Il emploie un modèle de plongement Qwen3-VL-Embedding (2 milliards de paramètres) pour encoder chaque tuile en un vecteur de 2048 dimensions.
• Apprentissage contrastif fin (Contrastive Fine-Tuning) : Le modèle de plongement de base est affiné sur le magasin de données de captures d'écran via un pipeline d'apprentissage contrastif synthétique :
  • Génération de requêtes synthétiques : Un LLM génère des questions en langage naturel basées sur le contenu visuel d'une tuile, en s'assurant que la réponse est entièrement visible.
  • Recherche de négatifs difficiles dynamiques (Dynamic Hard-Negative Mining) : Le système récupère les meilleurs candidats K pour une requête. Un LLM agit comme juge pour filtrer les "faux négatifs" (tuiles répondant également à la requête) et conserve les "négatifs difficiles" (topiquement liés mais ne répondant pas à la requête).
  • Entraînement : Le modèle est affiné avec LoRA sur le backbone LLM et le ViT (Vision Transformer) pour améliorer la discrimination des détails visuels fins comme les structures de tableaux.
• Indexation : Un index FAISS IVF supporte la recherche de plus proches voisins approximative, permettant une récupération efficace et des mises à jour incrémentielles.

3. Récupération et génération au runtime

• Traitement de la requête : Une requête utilisateur est plongée en utilisant le même modèle de plongement visuel.
• Récupération : Les tuiles de captures d'écran top-K sont récupérées sur la base de la similarité cosinus.
• Génération : Les tuiles récupérées sont transmises directement comme entrées de pixels à un modèle de lecture Vision-Langage (VLM) (ex: Qwen3.5-4B), qui génère la réponse sans aucune conversion de texte intermédiaire.

Principales contributions

1. Premier RAG de pixels à l'échelle du web : PIXELRAG est le premier système opérant sur un corpus complet de Wikipédia (7 millions d'articles, 30 millions de tuiles) et de corpus d'actualités entièrement dans l'espace des pixels, éliminant l'étape d'analyse HTML-vers-texte.
2. Pipeline et entraînement scalables : Les auteurs ont développé un pipeline de rendu hors ligne scalable et une recette d'entraînement contrastive utilisant des paires QA synthétiques et la recherche de négatifs difficiles dynamiques pour adapter les modèles de plongement visuel aux captures d'écran du web.
3. Supériorité de performance : Le système démontre que la récupération dans l'espace des pixels surpasse systématiquement les bases de référence RAG textuelles sur divers benchmarks, incluant les tâches centrées sur le texte (NQ, SimpleQA) et les tâches multimodales (MMSearch, LiveVQA).
4. Efficacité via la compression : L'article identifie la résolution d'image comme un nouveau levier d'efficacité. En entraînant le lecteur VLM à tolérer des résolutions plus basses, PIXELRAG atteint une réduction du coût en tokens allant jusqu'à 3× tout en maintenant la précision.

Résultats expérimentaux

L'article évalue PIXELRAG par rapport à des bases de référence "Sans Récupération" et RAG textuelles (utilisant les parseurs Trafilatura et mwparserfromhell) à travers six benchmarks :

• Tâches centrées sur le texte (NQ, SimpleQA) : Étonnamment, PIXELRAG surpasse le RAG textuel même sur des tâches où les questions sont répondables par le texte seul.
  • Sur SimpleQA, PIXELRAG (affiné) atteint une précision de 78,8 % contre 71,6 % pour la meilleure base textuelle (Trafilatura).
  • Sur NQ-Tables, l'écart est significatif (48,8 % contre 35,9 %), attribué à la préservation des structures de tableaux que les parseurs détruisent.
• Tâches multimodales et bruitées :
  • LiveVQA (corpus d'actualités bruité) : PIXELRAG améliore la précision de 11,3 % par rapport aux bases textuelles.
  • MMSearch et Encyclopedic VQA : PIXELRAG montre des gains importants, particulièrement en rappel de récupération (ex: +5× sur EVQA).
• Analyse d'échec : Les auteurs identent trois modes de défaillance pour le RAG textuel :
  1. Perte par le parseur : Le contenu structuré (tableaux) est aplati ou totalement perdu.
  2. Perte de rang (Rank Loss) : Le texte porteur de réponse existe mais est classé bas en raison du "déplacement d'infobox" (les infoboxes linéarisées correspondent aux mots-clés mais manquent de la réponse spécifique).
  3. Perte par le lecteur (Reader Loss) : Les listes/tableaux linéarisés confondent la capacité du lecteur à mapper les lignes aux en-têtes.
     PIXELRAG atténue cela en préservant la structure visuelle 2D.
• Passage à l'échelle : La performance croît avec la capacité du VLM. Les modèles ayant une lecture de texte visuel plus forte (ex: Qwen3-VL-4B et plus) montrent un point de croisement où la récupération par pixels surpasse la récupération textuelle.
• Recherche agentique : Dans le benchmark de QA multi-étapes MoNaCo, PIXELRAG atteint le score F1 le plus élevé au coût le plus bas (2 à 4 fois moins cher que les bases textuelles) grâce à une plus grande densité d'information par étape de récupération.

Signification et affirmations

L'article affirme que le RAG web peut opérer directement dans la forme visuelle native du web, remettant en question la nécessité des représentations textuelles.

• Performance : Les représentations de pixels préservent des indices structurels 2D critiques (tableaux, infoboxes, mise en page) que les parseurs textuels dégradent inévitablement, menant à une meilleure précision de récupération et de génération.
• Efficacité : La compression d'image permet des réductions significatives du coût en tokens sans sacrifier la précision, offrant une nouvelle dimension pour optimiser les systèmes RAG.
• Changement de paradigme : À mesure que les VLMs s'améliorent, l'écart entre le RAG basé sur les pixels et celui basé sur le texte devrait s'élargir, suggérant un futur passage vers une récupération visuelle native pour le savoir à l'échelle du web.

Les auteurs concluent que bien que le parsing de texte ait été une étape de prétraitement nécessaire pour les LLM actuels, l'avancement des VLMs rend un pipeline natif en pixels non seulement faisable mais supérieur, tant en performance qu'en efficacité.