🤖 AI

Internalized Reasoning for Long-Context Visual Document Understanding

Ce papier présente un pipeline de données synthétiques qui génère et internalise des traces de raisonnement pour la compréhension de documents visuels longs, permettant à des modèles de taille modeste comme Qwen3 VL 32B de surpasser des versions beaucoup plus grandes sur des benchmarks spécialisés tout en réduisant considérablement la longueur des sorties.

Auteurs originaux : Austin Veselka

Publié 2026-04-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Austin Veselka

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

📚 Le Problème : Le Livre de 1000 Pages et le Lecteur Épuisé

Imaginez que vous devez lire un livre de 1000 pages pour répondre à une seule question précise. Si vous lisez chaque page mot à mot, du début à la fin, vous allez vous épuiser, perdre du temps et probablement oublier le début avant d'arriver à la fin. C'est le problème des modèles d'intelligence artificielle (les "cerveaux" numériques) face aux longs documents (contrats juridiques, rapports scientifiques, manuels techniques).

Jusqu'à présent, les meilleurs modèles "voyaient" tout le livre mais ne savaient pas comment y réfléchir efficacement. Ils lisaient tout, mais ne "pensaient" pas assez.

💡 La Solution : Le Détective Synthétique

Les auteurs de ce papier (Austin Veselka et son équipe chez LightOn) ont eu une idée brillante : au lieu d'enseigner au modèle à lire tout le livre, ils lui ont appris à devenir un détective.

Voici comment ils ont fait, étape par étape, avec des analogies simples :

1. L'Entraînement du Détective (Le Pipeline Synthétique)

Au lieu de donner au modèle des réponses toutes faites, ils ont créé un simulateur d'entraînement :

Le Scan : Imaginez un robot qui passe une loupe sur chaque page du document. Pour chaque page, il se demande : "Est-ce que cette page contient la réponse ?"
Le Score : Il attribue une note de 0 à 10. Si la page est inutile, note 0. Si elle est cruciale, note 10.
Le Tri : Il ne garde que les 24 pages les plus importantes (les "Top K"). Il les range dans l'ordre, de la plus utile à la moins utile.
La Réponse : Il lit seulement ces pages triées et rédige la réponse.

C'est comme si on apprenait à un étudiant à ne pas lire tout le manuel, mais à savoir exactement quels chapitres ouvrir pour réussir son examen.

2. Le Secret : La "Réflexion Intérieure" (Internalized Reasoning)

C'est ici que ça devient magique. Habituellement, pour bien raisonner, un modèle doit "parler à voix haute" (écrire ses étapes de pensée). Cela prend beaucoup de temps et de ressources (comme un détective qui crie ses déductions dans la rue).

Les chercheurs ont découvert un truc incroyable : ils ont entraîné le modèle avec ces étapes de pensée, puis ils ont fusionné ce modèle avec un modèle plus simple.

L'analogie : Imaginez un chef étoilé qui a appris à cuisiner un plat complexe en écrivant chaque étape sur un carnet. Ensuite, il fusionne son cerveau avec celui d'un cuisinier débutant. Résultat ? Le cuisinier débutant sait cuisiner le plat complexe sans avoir besoin d'écrire le carnet. La recette est gravée dans ses muscles (ou son "cerveau").
Le résultat : Le modèle devient ultra-rapide. Il ne "crie" plus ses pensées (pas de longs textes de réflexion), mais il les a intériorisées. Il donne la réponse directement, mais avec la précision d'un expert.

3. Le Bouton Magique (Le Token de Contrôle)

Pour vérifier que c'est bien une compétence réelle et pas juste de la chance, ils ont ajouté un "bouton" virtuel (<cot>) :

Bouton ON : Le modèle "pense" à voix haute (il écrit ses étapes).
Bouton OFF : Le modèle répond directement.
La découverte : Même avec le bouton OFF, le modèle reste très performant ! Il a internalisé la logique. C'est comme un pianiste qui peut jouer un concerto complexe sans avoir besoin de regarder les partitions, car il a intégré la musique.

🏆 Les Résultats : Le Petit Géant

Pourquoi est-ce important ?

Efficacité : Leur modèle de 32 milliards de paramètres (le "petit") bat un modèle géant de 235 milliards de paramètres (le "géant") sur des tests de compréhension de documents longs. C'est comme si un enfant de 10 ans battait un professeur de mathématiques grâce à une meilleure méthode d'étude.
Vitesse et Économie : Comme le modèle n'a pas besoin d'écrire de longues réflexions à chaque fois, il est 12 fois plus rapide et consomme beaucoup moins d'énergie.
Mieux que l'imitation : Ils ont essayé d'apprendre au modèle en lui montrant les "pensées" d'un modèle géant existant. Ça a marché, mais leur méthode de "détective synthétique" (le tri et le score) a été encore plus efficace. Cela prouve que la structure de la pensée est plus importante que la simple présence de la pensée.

🚀 En Résumé

Ce papier nous dit que pour comprendre de longs documents, il ne faut pas juste "lire plus", il faut apprendre à trier et à raisonner.

En créant un entraînement artificiel où le modèle apprend à trier les informations pertinentes, puis en "compressant" cette intelligence, ils ont créé des modèles qui sont :

Plus intelligents (ils comprennent mieux les documents longs).
Plus rapides (ils ne perdent pas de temps à écrire des pensées inutiles).
Plus économiques (moins de calcul nécessaire).

C'est une avancée majeure pour l'avenir des IA dans les entreprises, les tribunaux et la science, où les documents sont longs et les erreurs coûteuses.

1. Problématique

La compréhension de documents visuels longs (Long-Context Visual Document Understanding) est cruciale pour les applications d'entreprise, juridiques, scientifiques et financières. Bien que des modèles à contexte long (LC-VLM) existent, les meilleures méthodes open-source actuelles peinent à rivaliser avec les modèles propriétaires (comme GPT-4o) et, surtout, n'explorent pas le raisonnement (reasoning).

Le raisonnement, qui a permis des bonds de performance en mathématiques et en code, reste sous-exploité dans la compréhension de documents longs pour deux raisons principales :

Absence de récompenses vérifiables : Contrairement aux maths, les questions ouvertes sur des documents n'ont pas de "réponse unique" facile à vérifier pour l'apprentissage par renforcement.
Limites des approches actuelles : Les modèles de pointe (ex: Qwen3 VL 235B) montrent que leurs capacités de raisonnement explicite ("Thinking") n'améliorent pas significativement la compréhension de documents par rapport à leurs versions "Instruct" classiques. De plus, les modèles actuels souffrent souvent de la "malédiction du contexte" (perte d'information au milieu du texte, contexte rot).

L'objectif est de créer un modèle capable de raisonner de manière structurée sur des documents de centaines de pages, tout en intégrant cette capacité de manière interne (internalisée) pour éviter la surcharge de tokens de sortie lors de l'inférence.

2. Méthodologie

L'auteur propose un pipeline de données synthétiques et une stratégie d'entraînement innovante pour internaliser le raisonnement.

A. Pipeline de Génération de Données Synthétiques

Le pipeline génère des traces de raisonnement structurées en deux étapes :

Extraction et Scoring de Preuve (Evidence Extraction & Scoring) :
- Un VLM (Qwen3 VL 32B) traite chaque page du document individuellement avec la question.
- Il extrait des extraits textuels pertinents et attribue un score de pertinence (0-10).
- Les pages sources de la question sont guidées pour recevoir un score élevé.
- Seules les Top-K pages (par défaut K=24) sont conservées, triées par pertinence décroissante. Cela élimine le bruit et évite les boucles infinies.
Génération de Réponse (Answer Generation) :
- Deux branches parallèles génèrent la réponse finale :
  - Branche Visuelle : Le modèle teacher (Qwen3 VL 235B) répond en regardant les images des pages pertinentes.
  - Branche Textuelle : Un LLM (Qwen3 235B) répond uniquement sur la base des extraits textuels extraits.
- Les données d'entraînement sont un mélange équilibré de ces deux branches.

B. Conception de la Trace (Trace Design)

Une distinction clé est faite entre deux versions de la trace :

v1 (Échec) : Balayage séquentiel de toutes les pages (pertinentes ou non). Cela a conduit à des boucles infinies lors de l'inférence.
v2 (Succès) : Approche de récupération bornée (bounded retrieval). Seules les pages pertinentes sont listées, triées par pertinence. Cela enseigne au modèle un algorithme d'agrégation d'informations fini et efficace.

C. Internalisation via Fusion de Modèles (Model Merging)

C'est l'apport méthodologique principal. Au lieu de laisser le modèle générer explicitement des tokens de pensée (<thought>) à chaque fois, les auteurs utilisent la fusion de modèles par arithmétique de tâches :
$\theta_{merged} = \theta_{base} + \alpha \cdot (\theta_{SFT} - \theta_{base})$

$\theta_{SFT}$ : Modèle fine-tuné avec les traces de raisonnement.
$\theta_{base}$ : Modèle de base.
$\alpha$ (Force de fusion) :
- À $\alpha = 0.5$ : Le modèle génère des raisonnements explicites (longueur de sortie élevée).
- À $\alpha = 0.25$ (Faible force) : Le modèle n'émet plus de tokens de pensée mais conserve la capacité de raisonnement internalisée. Il répond directement, mais avec la logique acquise.

D. Contrôle par Token

Un token de contrôle <cot> est utilisé pendant l'entraînement (présent dans 95% des exemples). Cela permet d'activer ou désactiver le mode "raisonnement" à l'inférence, prouvant que la capacité est active et contrôlable.

3. Contributions Clés

Pipeline de Raisonnement Synthétique : Création d'un pipeline générant des traces de raisonnement structurées (extraction, scoring, tri) qui atteint un état de l'art (SOTA) sur les benchmarks de documents longs.
Internalisation du Raisonnement : Démonstration qu'un modèle peut internaliser un processus de raisonnement complexe via une fusion de modèle à faible intensité, réduisant la longueur de sortie de 12,4x par rapport au raisonnement explicite, tout en conservant les performances.
Supériorité sur les Traces de Pensée Naturelles : Le raisonnement synthétique conçu (v2) surpasse l'apprentissage par distillation à partir des traces de pensée du modèle "Thinking" de Qwen3 VL 235B. Cela prouve que la conception de la trace (structure, pertinence) est plus importante que la simple présence de tokens de pensée.
Performance avec Moins de Paramètres : Le modèle Qwen3 VL 32B entraîné avec cette méthode surpasse le modèle Qwen3 VL 235B (7x plus grand) sur le benchmark MMLongBenchDoc.

4. Résultats Expérimentaux

Les expériences ont été menées sur Qwen3 VL 32B et Mistral Small 3.1 24B.

Performance SOTA :
- Sur MMLongBenchDoc, le modèle Qwen3 VL 32B atteint 58,3, surpassant le modèle Qwen3 VL 235B Instruct (57,0) et le modèle Thinking (56,2).
- Sur MMLBD-C, le modèle Mistral 24B gagne +7,9 points par rapport à sa version de base, surpassant la distillation simple.
Efficacité du Raisonnement Internalisé :
- Le modèle internalisé ( $\alpha=0.25$ ) produit des réponses de longueur similaire au modèle sans raisonnement (ex: 250 tokens pour Qwen vs 140 pour la base), mais avec une précision bien supérieure.
- Le modèle explicite ( $\alpha=0.5$ ) produit en moyenne 1637 tokens, soit 12,4 fois plus que le modèle internalisé.
Validation par Ablation :
- Retirer le token <cot> à l'inférence fait chuter les performances (ex: -3,8 points pour Qwen sur MMLBD), prouvant que le raisonnement est une capacité active et non un artefact d'entraînement.
- L'ajout du token <cot> sans entraînement au raisonnement (CoT-on + no-think) ne récupère pas les performances, confirmant que l'apprentissage vient bien des traces synthétiques.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

Démocratisation du Raisonnement Long : Il montre qu'il est possible d'obtenir des capacités de raisonnement de niveau "frontier" sur des documents longs avec des modèles de taille modeste (24B-32B), surpassant des modèles massifs (235B).
Efficacité Opérationnelle : La méthode d'internalisation permet d'avoir un modèle "intelligent" qui ne consomme pas de ressources de calcul supplémentaires (tokens de sortie) lors de la production de la réponse finale. C'est crucial pour les déploiements en production où la latence et le coût sont critiques.
Importance de la Structure des Données : Le papier démontre que la qualité et la structure des données d'entraînement (tri par pertinence, exclusion du bruit) sont plus déterminantes que la simple imitation de traces de pensée générées par des modèles plus grands.
Nouvelle Approche pour les Domaines à Faible Récompense : Il offre une voie pour introduire le raisonnement dans des domaines (juridique, scientifique) où les récompenses automatiques sont rares, en utilisant des données synthétiques structurées plutôt que le RL pur.

En conclusion, cette étude propose une méthode robuste pour "compresser" le raisonnement complexe dans des modèles de taille moyenne, rendant la compréhension de documents longs à la fois plus performante et plus efficace en termes de ressources.