Empirical Evaluation of PDF Parsing and Chunking for Financial Question Answering with RAG

Cette étude propose une évaluation empirique des méthodes de parsing et de découpage de documents PDF pour les systèmes RAG appliqués au domaine financier, en introduisant le nouveau benchmark TableQuest afin d'établir des lignes directrices pratiques pour améliorer la précision des réponses.

L'essentiel

📚 Le Problème : Des livres fermés dans une bibliothèque géante

Imaginez que vous êtes un analyste financier. Vous avez besoin de réponses rapides à des questions précises (par exemple : "Quel était le bénéfice net de cette entreprise en 2022 ?").

Le problème, c'est que toutes les informations sont enfermées dans des fichiers PDF.

• Le PDF, c'est comme une photo d'un document. C'est parfait pour un humain qui veut le lire à l'écran, mais pour un ordinateur, c'est du charabia. L'ordinateur ne voit pas les tableaux, les titres ou les paragraphes séparés ; il voit juste une suite de pixels ou de caractères désordonnés.
• De plus, ces documents sont immenses. Demander à une intelligence artificielle (IA) de lire 100 pages d'un coup, c'est comme demander à un humain de retenir tout un livre d'un seul coup de mémoire. C'est impossible !

🤖 La Solution : Le système RAG (Le Bibliothécaire IA)

Pour résoudre ça, les chercheurs utilisent un système appelé RAG (Retrieval-Augmented Generation). Imaginez un bibliothécaire super-intelligent :

1. La préparation (Offline) : Avant que vous ne posiez votre question, le bibliothécaire prend tous les livres (les PDF), les découpe en petits morceaux logiques (des "chapitres" ou des "paragraphes"), et les range dans des étagères très organisées.
2. La recherche (Online) : Quand vous posez une question, le bibliothécaire fouille rapidement dans ses étagères pour trouver les 3 ou 4 pages les plus pertinentes.
3. La réponse : Il donne ces pages à l'IA (le "génie") qui lit uniquement ces extraits pour vous donner la réponse exacte, sans inventer de fausses informations.

🔍 Le Défi de la Recherche : Comment bien découper les livres ?

Le papier que vous avez lu pose une question cruciale : Comment le bibliothécaire doit-il découper les livres pour être le plus efficace possible ?

Si le bibliothécaire coupe mal :

• Il peut couper un tableau financier en deux (la moitié des chiffres est ici, l'autre là-bas). L'IA sera perdue.
• Il peut mélanger le texte d'une page avec celui de la suivante.
• Il peut faire des morceaux trop gros (l'IA s'embrouille) ou trop petits (l'IA perd le contexte).

Les chercheurs ont voulu tester toutes les combinaisons possibles pour voir ce qui fonctionne le mieux avec des documents financiers complexes.

🧪 L'Expérience : Le Grand Tournoi

Pour leur étude, ils ont organisé un "tournoi" avec deux types de défis :

1. Le défi "Texte" (FinanceBench) : Des questions sur des rapports écrits (des histoires, des descriptions).
2. Le défi "Tableaux" (TableQuest) : C'est leur nouvelle invention ! Des questions qui nécessitent de lire des tableaux de chiffres, de faire des calculs, de comparer des colonnes. C'est souvent là que les IA échouent le plus.

Ils ont testé :

• 6 outils de découpage (Parseurs) : Certains sont rapides mais bêtes, d'autres sont lents mais très précis (comme un chirurgien qui lit chaque ligne).
• 6 stratégies de découpage (Chunking) : Couper tous les 512 mots ? Couper à chaque phrase ? Couper selon le sens du texte ?
• Des IA de tailles différentes : Des petits modèles (rapides mais moins intelligents) vs des gros modèles (lents mais très brillants).

💡 Les Découvertes Clés (Ce qu'il faut retenir)

Voici les leçons principales, traduites en langage courant :

1. Le bon outil pour le bon travail 🛠️

• Pour les textes, un outil simple et rapide suffit souvent.
• Pour les tableaux, il faut un outil "chirurgien" capable de comprendre la structure (les lignes et les colonnes). Si vous utilisez un outil basique sur un tableau, l'IA ne comprendra jamais les chiffres.
• Analogie : N'essayez pas de couper un gâteau avec un couteau à pain si vous voulez des parts parfaites. Utilisez le bon couteau pour le bon gâteau.

2. La magie du "chevauchement" (Overlap) 🧩

• Quand on découpe un texte, il ne faut pas couper net. Il faut laisser un petit bout de la phrase précédente dans le morceau suivant (comme un puzzle qui se chevauche un peu).
• Les chercheurs ont trouvé que 25% de chevauchement est le point idéal. Trop peu, et l'IA perd le sens ; trop, et on gaspille de la place et du temps.

3. La taille compte, mais pas tout 🧠

• Utiliser une IA géante (très puissante) donne de meilleures réponses, surtout pour les tableaux complexes.
• Cependant, une IA de taille moyenne, bien nourrie avec les bons documents, fait déjà un travail excellent. Parfois, mieux vaut avoir un bon bibliothécaire (bon découpage) avec une IA moyenne, plutôt qu'un mauvais bibliothécaire avec une IA géniale.

4. Le nouveau champion : TableQuest 🏆

• Les chercheurs ont créé un nouveau jeu (TableQuest) pour tester spécifiquement la capacité des IA à lire des tableaux. Ils ont découvert que beaucoup d'IA actuelles sont excellentes pour lire du texte, mais se perdent dès qu'il y a un tableau financier. C'est un point faible majeur à corriger.

🚀 Conclusion pour le monde réel

Pour les banques et les entreprises qui veulent automatiser leur travail :

• Ne cherchez pas la solution la plus complexe ou la plus chère.
• Choisissez le bon outil de découpage (surtout pour les tableaux).
• Laissez un peu de "marge" entre vos morceaux de texte (25% de chevauchement).
• Avec ces réglages simples, vous pouvez construire un système très fiable pour répondre aux questions financières, sans avoir besoin de dépenser une fortune en super-ordinateurs.

En résumé : La qualité de la réponse dépend moins de la puissance de l'IA que de la qualité du découpage des documents !

Résumé technique

1. Problématique

Les fichiers PDF sont le format standard pour la diffusion de documents financiers (rapports annuels, déclarations réglementaires, contrats), mais ils sont conçus pour la lecture humaine et non pour le traitement automatisé. Leur contenu hétérogène (texte, tableaux complexes, images, mises en page multiples colonnes) pose des défis majeurs pour l'extraction d'information.

Bien que les systèmes RAG (Retrieval-Augmented Generation) soient de plus en plus utilisés pour répondre à des questions sur ces documents, il existe un manque d'études complètes évaluant comment les choix de parsing (analyse syntaxique du PDF) et de chunking (découpage du texte) interagissent pour affecter la performance globale du système. Une mauvaise extraction de structure (ex: tableaux mal alignés) ou un découpage inapproprié (ex: séparation d'un tableau de sa légende) peut entraîner des échecs de récupération d'information et des réponses incorrectes, ce qui est critique dans le domaine financier où la précision est impérative.

2. Méthodologie

Les auteurs ont mené une étude empirique rigoureuse sur un pipeline RAG complet, en faisant varier systématiquement les composants clés.

• Données et Benchmarks :
  • FinanceBench : Un ensemble de données existant contenant 150 questions basées sur du texte narratif extrait de rapports financiers.
  • TableQuest (Nouveau) : Un benchmark généré automatiquement par les auteurs, contenant 116 paires question-réponse spécifiquement conçues pour tester la capacité du système à récupérer et raisonner sur des tableaux financiers. Les questions sont classées en trois niveaux de difficulté : extraction simple, calcul numérique sur un tableau, et analyse synthétique sur plusieurs tableaux.
• Composants évalués :
  • Parseurs PDF (6 outils) : PyPDF2, PyMuPDF, pdfminer.six, pdfplumber, pypdfium2 et Unstructured (incluant OCR).
  • Stratégies de Chunking (6 méthodes) : Basées sur les tokens, les phrases, la sémantique, récursif, SDPM (Semantic Double-Pass Merging) et neuronal.
  • Modèles de Récupération (4 familles) : BM25 (mot-clé), SPLADE (sparse-hybrid), E5 (dense bi-encodeur), et ColBERT (late-interaction).
  • LLMs : Comparaison de modèles open-source (de 1.5B à 27B paramètres) et de modèles propriétaires (GPT-4/5).
• Protocole expérimental :
  • Le pipeline est exécuté en mode "full-factorial" pour tester les interactions entre parseurs et stratégies de découpage.
  • Les métriques d'évaluation incluent la précision de récupération de page (P@1, R@3, MRR) et la justesse des réponses (évaluée par un LLM-juge).

3. Contributions Clés

1. Évaluation comparative exhaustive : Une analyse systématique de l'impact combiné des parseurs et des stratégies de chunking sur la performance RAG, comblant un vide dans la littérature actuelle qui étudiait souvent ces composants isolément.
2. TableQuest : Introduction d'un nouveau benchmark public et vérifié automatiquement, spécifiquement axé sur la compréhension et le raisonnement sur les tableaux financiers, un domaine souvent négligé par les benchmarks textuels classiques.
3. Lignes directrices pratiques : Fourniture de recommandations concrètes pour les ingénieurs souhaitant construire des pipelines RAG robustes pour l'industrie financière, basées sur des données empiriques.

4. Résultats Principaux

Les résultats sont présentés à travers cinq questions de recherche (RQ) :

• RQ1 (Récupération) : Le choix du récupérateur dépend du type de contenu.
  • Pour le texte narratif, les encodeurs denses (E5) sont les plus performants.
  • Pour les tableaux, les modèles à interaction tardive (ColBERT) surpassent les autres grâce à leur capacité à matcher des tokens spécifiques.
  • Les modèles hybrides (SPLADE) offrent le meilleur compromis global.
• RQ2 (Parseurs) :
  • Texte narratif : pdfminer offre les meilleurs résultats.
  • Tableaux : pdfplumber est supérieur grâce à sa détection native de tableaux.
  • Stabilité : pdfminer et Unstructured sont les plus stables face aux changements de stratégie de chunking, mais Unstructured est extrêmement lent (problème de temps d'exécution).
  • Conclusion : pdfplumber est le choix le plus équilibré pour les documents financiers mixtes.
• RQ3 (Chunking) :
  • La stratégie Neural (basée sur un modèle fine-tuned) offre la meilleure précision de récupération, suivie de près par le découpage par phrases.
  • Un recouvrement (overlap) de 25 % est optimal. L'absence de recouvrement dégrade les performances, tandis qu'un recouvrement de 50 % augmente la taille de l'index sans gain significatif de précision.
• RQ4 (Synergie) :
  • Il existe des synergies importantes. Par exemple, combiner pdfplumber avec un découpage par phrases donne d'excellents résultats pour les tableaux. Les stratégies de découpage complexes (sémantique) ne surpassent pas les méthodes simples si le parseur ne préserve pas bien la structure.
• RQ5 (Taille du LLM) :
  • La taille du modèle impacte fortement la justesse des réponses. Les modèles moyens (12B-27B) surpassent nettement les petits modèles (<4B).
  • Les modèles propriétaires (GPT-5) maintiennent un avantage significatif, surtout pour les tâches complexes sur les tableaux (TableQuest), atteignant jusqu'à 73 % de précision.

5. Signification et Impact

Cette étude fournit des directives cruciales pour l'industrie financière et le développement de systèmes RAG :

• Optimisation Coût/Performance : Il n'est pas nécessaire d'utiliser les parseurs les plus lourds (OCR complet) pour tous les cas. Une combinaison légère comme pdfplumber + SPLADE + chunking par phrases avec 25% de recouvrement offre un excellent rapport performance/coût.
• Importance des Tableaux : Ignorer la structure des tableaux dans les PDF financiers conduit à des échecs majeurs. Des benchmarks comme TableQuest sont essentiels pour évaluer la véritable capacité d'un système.
• Scalabilité : Pour les applications critiques, l'utilisation de modèles de taille moyenne (12B-27B) ou propriétaires est recommandée pour garantir la fiabilité des réponses, car les petits modèles échouent souvent sur des tâches de raisonnement financier complexe.

En résumé, l'article démontre que la performance d'un système RAG financier ne dépend pas uniquement du modèle de langage, mais repose fondamentalement sur une chaîne de traitement (parsing, découpage, récupération) soigneusement calibrée pour la nature spécifique des documents PDF financiers.