From PDF to RAG-Ready: Evaluating Document Conversion Frameworks for Domain-Specific Question Answering

Cette étude démontre que la qualité de la préparation des données, en particulier l'enrichissement des métadonnées et le fractionnement hiérarchique, est le facteur déterminant pour la performance des systèmes RAG, surpassant le choix du framework de conversion PDF lui-même.

L'essentiel

🍎 Le Secret d'un Bon Chef : La Qualité des Ingrédients

Imaginez que vous voulez préparer un repas gastronomique (la réponse d'une intelligence artificielle) pour un client exigeant. Vous avez un chef génial (le modèle d'IA, comme GPT), mais il ne peut pas cuisiner avec n'importe quoi.

Si vous lui donnez des légumes pourris, des tomates écrasées ou des ingrédients mélangés dans un sac poubelle, même le meilleur chef du monde ne pourra rien faire de bon. Il va soit rater le plat, soit inventer des choses qui n'existent pas (ce qu'on appelle des "hallucinations").

C'est exactement le problème que cette équipe de chercheurs portugais a résolu.

Ils se sont demandé : "Quand on demande à une IA de répondre à des questions sur des documents PDF (comme des règlements militaires ou des contrats), est-ce que le problème vient du chef (l'IA) ou des ingrédients (la façon dont on prépare les PDF) ?"

Leur réponse est sans équivoque : C'est presque toujours les ingrédients.

---

📄 Le Défi : Transformer le "Béton" en "Lego"

Les documents PDF sont comme du béton coulé. Ils sont parfaits pour être imprimés et regardés par un humain (les lettres sont à la bonne place, les tableaux sont jolis), mais ils sont un cauchemar pour un ordinateur. Pour une IA, un PDF, c'est comme un puzzle dont on a collé toutes les pièces ensemble : elle ne voit pas où commence une phrase, où finit un tableau, ou quelle est la hiérarchie des titres.

Les chercheurs ont testé quatre "machines à démolir" (des logiciels différents) pour transformer ce béton en briques Lego propres et bien rangées (du texte structuré) avant de les donner à l'IA.

Les machines testées étaient :

1. Docling (Le nouveau champion).
2. MinerU (Un ancien qui a besoin d'aide).
3. DeepSeek OCR (Un peu trop zélé et qui fait des erreurs).
4. PDFLoader (La méthode "brute", sans préparation).

Ils ont aussi testé deux méthodes pour ranger les briques Lego :

• La méthode "Recyclage" : On coupe le texte au hasard, sans regarder la structure.
• La méthode "Architecte" : On respecte les titres, les sous-titres et on ajoute des étiquettes (métadonnées) pour dire "Attention, ce paragraphe parle de la section 3".

---

🏆 Les Résultats : Ce n'est pas la machine, c'est le rangement !

Voici ce qu'ils ont découvert, avec des analogies simples :

1. La qualité de la préparation bat tout

La différence entre le pire résultat (71 % de bonnes réponses) et le meilleur (94 %) était énorme.

• L'analogie : C'est comme si un chef cuisinier obtenait 71/100 avec des légumes pourris, mais 94/100 avec des légumes frais et épluchés. Le chef n'a pas changé, c'est l'ingrédient qui a tout changé.
• Le gagnant : La machine Docling, combinée à une méthode de découpage intelligente (qui respecte la structure du document), a été la meilleure. Elle a presque égalé le résultat d'un humain qui aurait tout réécrit à la main (97 %).

2. Le "Rangement" compte plus que la "Machine"

C'est la découverte la plus surprenante. Peu importe quelle machine vous utilisez pour extraire le texte, si vous ne le rangez pas correctement, l'IA va se perdre.

• L'analogie : Imaginez une bibliothèque. Si vous avez les meilleurs livres du monde (le texte extrait par Docling) mais que vous les jetez tous en vrac sur le sol (découpage aléatoire), personne ne trouvera l'information. Mais si vous les mettez sur des étagères bien étiquetées (découpage hiérarchique avec métadonnées), l'IA trouve la réponse instantanément.
• Le verdict : La façon dont on découpe et étiquette le texte (l'architecture) est plus importante que le logiciel utilisé pour le lire.

3. L'IA pour réorganiser les titres ? Pas toujours utile !

Les chercheurs ont essayé d'utiliser une autre IA pour deviner quels titres étaient importants dans le document. Résultat : ça a souvent fait des erreurs.

• L'analogie : C'est comme demander à un touriste de réorganiser les rayons d'une bibliothèque de droit militaire. Il va faire des suppositions. Mieux vaut utiliser une règle simple et stricte (comme la taille de la police d'écriture) qui ne se trompe jamais.

4. Le "Graphique de Connaissance" (GraphRAG) : Un échec coûteux

Ils ont essayé de créer un immense réseau de liens entre les idées (un "cerveau" artificiel) pour aider l'IA.

• L'analogie : C'est comme si, au lieu de donner un livre à un étudiant, on lui construisait une carte mentale géante avec 20 000 nœuds. Résultat ? L'étudiant s'est perdu dans la carte et a eu moins de bonnes réponses que s'il avait juste lu le livre bien rangé.
• La leçon : Pour l'instant, construire ce genre de réseau complexe sans un guide expert (une "ontologie") est une perte de temps et d'argent. Un bon nettoyage de texte suffit largement.

---

💡 La Conclusion en une phrase

Si vous voulez que votre intelligence artificielle soit intelligente, ne dépensez pas votre argent à acheter le meilleur cerveau (le modèle d'IA), dépensez-le à nettoyer et ranger vos documents.

Comme le dit l'adage informatique : "Garbage in, garbage out" (Si vous mettez des ordures dedans, vous aurez des ordures dehors). Mais cette étude ajoute : "Si vous mettez des ingrédients frais et bien préparés, même un bon cuisinier fera un plat de chef."

Pour les entreprises qui gèrent des documents sensibles (comme l'armée portugaise qui a fourni les documents), la clé n'est pas de changer d'IA, mais d'investir dans un bon pipeline de préparation de données.

Résumé technique

1. Problématique

L'article aborde un problème critique souvent négligé dans le développement des systèmes de Génération Augmentée par la Rétroaction (RAG) : la qualité de la prétraitement des documents, en particulier la conversion de fichiers PDF en texte structuré (Markdown).

• Le constat : La plupart des recherches sur le RAG se concentrent sur les mécanismes de récupération (embedding, ré-ranking) ou sur le modèle de langage (LLM), en supposant que l'entrée textuelle est idéale. Or, les PDF sont conçus pour la mise en page visuelle, pas pour l'extraction sémantique.
• Les défis : L'extraction de texte à partir de PDF introduit souvent des erreurs (tables mal lues, hiérarchie perdue, caractères spéciaux mal reconnus, comme le « ç » en portugais). Ces erreurs se propagent dans le pipeline, dégradant la précision de la récupération et générant des hallucinations.
• Le vide de la littérature : Aucune étude précédente n'avait systématiquement évalué les frameworks de conversion PDF en fonction de leur impact sur la précision finale des réponses d'un système RAG. Les benchmarks existants mesurent la fidélité du texte (distance d'édition), mais pas la performance de la tâche en aval (Q&A).

2. Méthodologie

Les auteurs ont conçu une architecture modulaire et reproductible pour comparer différents pipelines de traitement de documents.

• Corpus de données : 36 documents administratifs portugais (Commandement du Personnel de l'Armée portugaise), totalisant 1 706 pages et ~492 000 mots. Les documents sont hétérogènes (consolidations légales, manuels, procédures) et contiennent des tableaux complexes, des images, des champs de formulaire et des caractères spéciaux.
• Architecture du système : Inspirée de l'architecture « Medallion » (Bronze, Argent, Or) :
  • Bronze : PDF bruts.
  • Argent : Conversion et nettoyage intermédiaire.
  • Or : Markdown nettoyé, enrichi de métadonnées et prêt pour l'indexation.
• Frameworks évalués : Quatre outils open-source ont été testés (avec des variations de configuration) :
  1. Docling : Pipeline modulaire avec modèles spécialisés pour l'analyse de mise en page.
  2. MinerU : Outil basé sur l'OCR (version locale et client HTTP VLM).
  3. DeepSeek OCR : Approche basée sur un modèle Vision-Language (VLM).
  4. PDFLoader (LangChain) : Utilisé comme baseline inférieure (extraction brute).
     Note : Marker a été exclu car la version cloud pose des problèmes de confidentialité et la version locale était moins performante.
• Configuration expérimentale :
  • 19 configurations de pipeline testées, variant le framework de conversion, les transformations (nettoyage HTML/LaTeX, reconstruction de hiérarchie), la stratégie de découpage (chunking) et l'enrichissement des métadonnées.
  • Stratégies de découpage : Récursif simple, Récursif Markdown (respectant la structure), et Récursif Hiérarchique (ajout de contexte de navigation/breadcrumb).
  • Reconstruction de hiérarchie : Basée sur la police (Font-based) vs basée sur un LLM.
  • Évaluation : Un jeu de données de 50 questions manuellement créées (Q&A) a servi de vérité terrain. L'évaluation a été réalisée par un LLM (gpt-4o-mini) agissant comme juge, sur 10 runs pour chaque configuration.
• Exploration GraphRAG : Une tentative d'implémentation de RAG basé sur un graphe de connaissances (Neo4j) a été effectuée pour comparer avec le RAG vectoriel standard.

3. Contributions Clés

• Première évaluation orientée tâche : Cette étude est la première à mesurer l'efficacité des convertisseurs PDF non pas par la qualité du texte extrait, mais par la précision des réponses d'un système RAG.
• Architecture reproductible : Présentation d'un pipeline ETL (Extract, Transform, Load) configurable permettant de changer facilement de framework de conversion et de stratégies de traitement sans modifier le code.
• Analyse comparative approfondie : Comparaison systématique de 19 configurations couvrant l'ensemble de la chaîne de traitement (conversion, nettoyage, découpage, métadonnées).
• Étude de cas GraphRAG : Fourniture de résultats négatifs instructifs sur l'implémentation naïve de GraphRAG sans ontologie de domaine.

4. Résultats Principaux

• La qualité des données est le facteur dominant : L'écart de précision entre la pire configuration (DeepSeek OCR à 71,2 %) et la meilleure configuration automatisée (Docling à 94,1 %) est de 23 points de pourcentage. Cela démontre que la préparation des données influence plus la performance que le choix du LLM ou des paramètres de récupération.
• Performance des frameworks :
  • Docling s'est avéré le meilleur outil, atteignant 94,1 % de précision lorsqu'il est combiné à un découpage hiérarchique et à la description d'images. Ce résultat est très proche de la baseline supérieure (Markdown manuel à 97,1 %).
  • MinerU a montré des résultats variables, nécessitant un nettoyage spécifique (tables HTML) pour être compétitif.
  • PDFLoader (baseline inférieure) a obtenu 86,9 %, surprenant par sa robustesse sur ce corpus spécifique, mais restant inférieur aux pipelines optimisés.
• Importance du découpage et des métadonnées : Le choix de la stratégie de découpage et l'enrichissement des métadonnées ont eu un impact plus significatif que le choix du convertisseur lui-même.
  • L'utilisation d'un découpage Hiérarchique Récursif avec des métadonnées de type « breadcrumb » (chemin de navigation) a apporté un gain de +3,8 points par rapport à un découpage simple.
  • La reconstruction de hiérarchie basée sur la police (Font-based) a systématiquement surpassé l'approche basée sur un LLM (HR-F vs HR-LLM), car elle est plus déterministe et fiable pour les documents administratifs structurés.
• Échec du GraphRAG naïf : L'implémentation de GraphRAG (sans ontologie de domaine guidée) a obtenu 82 %, sous-performant le RAG vectoriel standard (94,1 %). La construction automatique de graphes par LLM a introduit du bruit et des redondances, et le coût computationnel (10+ heures) n'était pas justifié par le gain.
• Impact de la langue : L'étude souligne les défis spécifiques aux langues non anglaises (ex: le « ç » portugais mal reconnu par certains outils VLM), ce qui corrompt les tokens et nuit à la récupération.

5. Signification et Implications

• Priorité à la préparation des données : Pour les praticiens construisant des systèmes RAG sur des documents complexes, l'investissement dans le pipeline de prétraitement (choix du convertisseur, nettoyage, stratégie de chunking) est plus rentable que l'optimisation des algorithmes de récupération ou le changement de LLM.
• Approche « Garbage In, Garbage Out » : Même les LLM les plus avancés ne peuvent compenser une mauvaise extraction de structure ou des erreurs de caractères. La qualité du texte d'entrée est le goulot d'étranglement principal.
• Recommandations pratiques :
  • Privilégier les outils capables de préserver la structure hiérarchique (comme Docling).
  • Utiliser des stratégies de découpage conscientes de la structure du document (hiérarchique) plutôt que des découpages purement basés sur les caractères.
  • Éviter les approches GraphRAG complexes sans une ontologie de domaine rigoureuse, car un RAG vectoriel bien configuré sur des données de haute qualité est actuellement supérieur.
  • Être vigilant sur la gestion des caractères spéciaux dans les langues non anglaises.

En conclusion, cet article démontre que la maîtrise de la chaîne de transformation des documents (du PDF brut au Markdown enrichi) est la clé de la réussite des systèmes RAG dans des domaines spécialisés, surpassant l'importance des composants de génération et de récupération.