💬 NLP

CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding

Le papier propose CausalEmbed, une méthode de génération auto-régressive de vecteurs en espace latent qui réduit considérablement le nombre de jetons visuels nécessaires pour l'encodage de documents tout en maintenant des performances élevées pour la recherche de documents visuels.

Auteurs originaux : Jiahao Huo, Yu Huang, Yibo Yan, Ye Pan, Kening Zheng, Wei-Chieh Huang, Yi Cao, Mingdong Ou, Philip S. Yu, Xuming Hu

Publié 2026-04-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiahao Huo, Yu Huang, Yibo Yan, Ye Pan, Kening Zheng, Wei-Chieh Huang, Yi Cao, Mingdong Ou, Philip S. Yu, Xuming Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imagine que vous avez une bibliothèque immense remplie de documents complexes : des factures, des contrats médicaux, des manuels techniques avec des tableaux et des graphiques. Vous voulez trouver un document spécifique en tapant une question simple, mais le système doit "lire" et comprendre non seulement le texte, mais aussi la mise en page, les images et les tableaux.

C'est là que le problème survient. Les méthodes actuelles pour faire cela sont comme si, pour chaque page de document, on prenait une photo de chaque centimètre carré et qu'on créait un dossier séparé pour chaque petit carré. Si une page a 1000 petits carrés, le système doit stocker 1000 dossiers pour cette seule page. C'est énorme, lent et coûteux en espace de stockage.

Voici comment CausalEmbed change la donne, expliqué simplement :

1. Le Problème : L'Encombrement des "Post-it"

Les anciennes méthodes (comme ColPali) fonctionnent un peu comme si vous deviez coller des milliers de petits post-it sur une page pour la décrire. Chaque post-it contient une petite information. Pour retrouver la page, l'ordinateur doit comparer votre question avec tous ces milliers de post-it.

Le problème : C'est comme essayer de ranger une bibliothèque entière dans un petit appartement. Ça prend trop de place et c'est lent à chercher.

2. La Solution : CausalEmbed, le "Résumé Intelligent"

CausalEmbed propose une idée géniale : au lieu de coller des milliers de post-it, pourquoi ne pas écrire un résumé fluide et intelligent de la page, mot par mot, comme un humain le ferait ?

Imaginez que vous demandez à un expert très intelligent de décrire une page complexe.

L'ancienne méthode : L'expert vous donne 1000 mots-clés isolés, un par un, sans lien entre eux.
La méthode CausalEmbed : L'expert vous raconte une histoire courte et structurée. Il dit : "D'abord, il y a un titre important ici, ensuite un tableau de chiffres là-bas, et enfin une conclusion en bas." Il génère cette description séquentiellement (mot après mot), en se basant sur ce qu'il vient de dire.

C'est ce qu'on appelle la génération auto-régressive. Le modèle "pense" à la page et produit une petite liste de vecteurs (des résumés numériques) qui capturent l'essentiel, au lieu de stocker chaque détail brut.

3. L'Analogie du "Chef de Cuisine"

Pour faire encore plus simple, comparons cela à un chef de cuisine :

Méthode traditionnelle : Le chef prend tous les ingrédients d'un plat (tomates, oignons, sel, poivre, etc.) et les met dans des sacs séparés. Pour retrouver le plat, il doit fouiller dans des milliers de sacs.
Méthode CausalEmbed : Le chef prépare le plat et écrit une recette de 30 lignes. Cette recette contient toute l'information nécessaire pour comprendre le plat, mais elle est beaucoup plus courte et facile à ranger. De plus, la recette est écrite dans un ordre logique : on commence par les ingrédients de base, puis on ajoute les épices, etc.

4. Pourquoi c'est une révolution ?

Économie d'espace : Au lieu de 1000 "sacs" (vecteurs) par page, CausalEmbed n'en utilise que 30 ou 60. C'est une réduction de taille de 30 à 150 fois !
Plus rapide : Comme il y a moins de choses à comparer, la recherche est beaucoup plus rapide.
Plus intelligent : Le modèle apprend à dire "ce qui est important" en premier, puis les détails plus fins ensuite. C'est comme un résumé qui s'affine au fur et à mesure qu'on lit.
Flexible : Si vous voulez une recherche très rapide, vous pouvez demander au modèle de s'arrêter après 10 mots. Si vous voulez une précision maximale, vous lui laissez écrire 50 mots. Le modèle s'adapte à vos besoins en temps réel.

En résumé

CausalEmbed est comme un traducteur ultra-intelligent qui transforme des pages entières, pleines de détails visuels, en un court résumé structuré et logique.

Au lieu de stocker une montagne de données brutes et lourdes, il crée une "carte au trésor" concise. Cela permet de retrouver l'information exacte dans des millions de documents, même sur des appareils moins puissants, sans perdre en précision. C'est passer d'une bibliothèque encombrée de cartons à une bibliothèque où chaque livre a un résumé parfait sur sa couverture.

1. Problématique

La Rétroaction Visuelle de Documents (Visual Document Retrieval - VDR) est essentielle pour des applications allant de la recherche d'entreprise à la génération augmentée par récupération (RAG). Les approches récentes basées sur les Modèles de Langage Multimodaux (MLLM) utilisent des représentations multi-vecteurs (comme ColPali) où chaque page de document est encodée en centaines ou milliers de tokens visuels (patchs).

Bien que performantes, ces méthodes souffrent d'un surcoût de stockage et de calcul prohibitif en raison du grand nombre de vecteurs par page. Les méthodes existantes de compression (élagage, clustering, fusion) tentent de réduire ce nombre, mais elles :

Limitent la flexibilité (budget de tokens fixe).
Dégradent souvent la précision de la récupération car elles dépendent de la qualité des représentations denses initiales.
Ne parviennent pas à capturer efficacement la sémantique complexe des pages riches en contenu.

L'article pose la question fondamentale : Peut-on exploiter la puissance générative des MLLM pour produire des embeddings multi-vecteurs compacts tout en réduisant la redondance inhérente aux représentations par patchs ?

2. Méthodologie : CausalEmbed

Les auteurs proposent CausalEmbed, une nouvelle approche qui génère des embeddings multi-vecteurs de manière auto-régressive dans un espace latent, plutôt que de générer des vecteurs en parallèle pour chaque patch.

A. Génération Auto-Régressive

Au lieu d'encoder une page en une seule passe parallèle (produisant $N_v$ vecteurs), CausalEmbed fine-tune un MLLM pré-entraîné pour générer une séquence de vecteurs latents $Z = [z_1, ..., z_L]$ token par token :

Le modèle conditionne la génération du token latent suivant $z_k$ sur l'entrée originale (image ou texte) et l'historique des tokens générés précédemment ( $z_1, ..., z_{k-1}$ ).
Cela permet de synthétiser une représentation dense et structurée avec un nombre de tokens drastiquement réduit (ex: 32 tokens au lieu de 4000+).

B. Analyse du Flux de Gradient

L'article fournit une analyse théorique démontrant que l'apprentissage auto-régressif est plus efficace pour l'entraînement des embeddings multi-vecteurs :

Dans les méthodes parallèles (forward-based), seuls les tokens de document sélectionnés par le mécanisme MaxSim reçoivent un signal de gradient direct, laissant la majorité des tokens sous-optimisés.
Dans CausalEmbed, grâce à la dépendance causale, le gradient se propage à travers toute la chaîne de génération. Chaque token généré dépend du contexte précédent, permettant une mise à jour plus complète des paramètres et une meilleure efficacité d'apprentissage.

C. Objectif d'Entraînement

Pour éviter l'effondrement des représentations (collapse) et garantir la diversité, la fonction de perte combine trois composantes :

Perte de contraste marginale ( $L_m$ ) : Assure que les paires (requête, document pertinent) ont un score plus élevé que les paires négatives.
Perte de raffinement progressif ( $L_d$ ) : Encourage le modèle à utiliser toute la séquence générée. Elle impose que l'ajout de chaque nouveau token améliore la capacité de récupération (somme télescopique), évitant ainsi que les premiers tokens ne capturent toute l'information.
Régularisation de diversité ( $L_q$ ) : Pénalise la similarité cosinus entre les tokens générés au sein d'une même requête pour empêcher l'homogénéisation (répétition de motifs).

3. Contributions Clés

Nouveau Paradigme Auto-Régressif : Introduction d'une méthode générative séquentielle pour les embeddings de documents visuels, s'éloignant du codage par patchs parallèles.
Compression Extrême sans Perte de Performance : La méthode atteint un ratio de compression de 30x à 155x (réduisant le nombre de tokens de milliers à quelques dizaines) tout en surpassant les méthodes d'élagage et de clustering existantes.
Évolutivité à l'Inférence (Test-time Scaling) : Découverte d'une propriété unique où la précision de récupération peut être ajustée dynamiquement en modifiant le nombre de tokens générés lors de l'inférence, offrant une flexibilité entre latence et précision.
Généralisation Robuste : La méthode fonctionne efficacement sur divers backbones (Qwen2.5-VL, PaliGemma), améliorant même les modèles plus faibles (PaliGemma) de 14,6% par rapport aux bases complètes.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks ViDoRe V1, V2 et V3 (couvrant des domaines académiques, industriels, multilingues et complexes).

Performance vs Compression : Sur ViDoRe V2 et V3, CausalEmbed (avec 32 tokens) surpasse significativement les meilleures méthodes de base (SemCluster, BiQwen2) tout en utilisant le même budget de tokens.
- Exemple : Sur ViDoRe V2, CausalQwen atteint un nDCG@5 de 0,516, contre 0,455 pour le meilleur élagage (SemCluster).
Supériorité sur les Modèles Faibles : Appliqué à PaliGemma (un modèle plus petit), CausalPali surpasse le modèle ColPali complet (utilisant 1031 tokens) de près de 5% sur tous les benchmarks, démontrant la capacité de la méthode à générer des embeddings de haute qualité même à partir de backbones limités.
Efficacité de Latence : Bien que la génération auto-régressive ajoute un léger temps d'encodage de requête, elle réduit massivement le temps de calcul de l'interaction tardive (MaxSim) grâce à la compression des tokens. Le gain global en latence est significatif pour les scénarios de récupération à grande échelle.
Évolutivité : Les courbes de scaling montrent que la performance s'améliore de manière monotone avec le nombre de tokens générés, permettant un compromis flexible entre rapidité et précision.

5. Signification et Impact

CausalEmbed représente une avancée majeure pour le déploiement pratique de la récupération de documents visuels :

Viabilité Économique : En réduisant le stockage et la bande passante nécessaires de plusieurs ordres de grandeur, il rend les systèmes multi-vecteurs économiquement viables pour des applications réelles.
Flexibilité Opérationnelle : La capacité d'ajuster la précision à l'inférence (Test-time Scaling) permet aux systèmes de s'adapter dynamiquement aux contraintes de ressources (ex: inference rapide sur mobile vs haute précision sur serveur).
Paradigme Génératif : L'article valide l'hypothèse que les MLLM peuvent être utilisés non seulement pour comprendre, mais aussi pour générer des représentations structurées et compactes, ouvrant la voie à de nouvelles recherches sur les embeddings génératifs dans le domaine multimodal.

En résumé, CausalEmbed résout le goulot d'étranglement de stockage des méthodes multi-vecteurs actuelles en transformant le problème d'encodage en un problème de génération séquentielle, offrant un équilibre optimal entre efficacité, stockage et précision.