💻 computer science

From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents

Cette étude présente un benchmark complet de dix stratégies de récupération pour des documents hybrides texte-tableaux dans le domaine financier, révélant qu'un pipeline à deux étapes combinant récupération hybride et reranking neuronal surpasse les méthodes uniques, tout en démontrant la supériorité de BM25 sur la recherche sémantique dense pour ce type de contenu.

Auteurs originaux : Meftun Akarsu, Recep Kaan Karaman, Christopher Mierbach

Publié 2026-04-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Meftun Akarsu, Recep Kaan Karaman, Christopher Mierbach

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Grand Défi : Trouver l'Aiguille dans la Botte de Foin Financière

Imaginez que vous êtes un détective privé (c'est l'Intelligence Artificielle) qui doit répondre à des questions très précises sur des entreprises. Mais au lieu de chercher dans un simple livre, vous devez fouiller dans des rapports annuels géants. Ces rapports sont bizarres : ils mélangent du texte (des histoires) et des tableaux Excel remplis de chiffres (les revenus, les pertes, les années).

Le problème ? Si votre détective ne trouve pas le bon document, il ne peut pas répondre. C'est là qu'intervient le système de recherche (le "RAG").

Les chercheurs de ce papier ont voulu savoir : "Quelle est la meilleure méthode pour trouver l'information exacte dans ces documents mixtes ?"

Ils ont testé 10 stratégies différentes sur plus de 23 000 questions financières. Voici ce qu'ils ont découvert, traduit en langage courant.

🏆 Les 3 Grandes Révélations

1. La "Super-Combinaison" gagne toujours (Le Duo Dynamique)

Imaginez que vous cherchez un livre dans une bibliothèque.

Méthode A (BM25) : Vous cherchez le titre exact mot pour mot. C'est rapide et précis si vous connaissez le nom exact.
Méthode B (Recherche Dense) : Vous cherchez par "vibe" ou par le sens général. C'est bien pour comprendre le contexte, mais vous pouvez rater un chiffre précis.

La découverte : Ni l'un ni l'autre ne suffit seul. Le vrai gagnant est un deuxième étage :

On lance les deux méthodes en même temps (comme deux chasseurs qui fouillent le terrain).
On prend les meilleurs résultats et on les fait passer devant un expert humain (un "reranker" neuronal) qui lit attentivement les 50 meilleurs documents pour choisir les 10 tout-puissants.

👉 Résultat : Cette combinaison (Hybride + Expert) a trouvé l'information correcte 81,6 % du temps, battant toutes les autres méthodes de loin. C'est comme avoir un détective qui utilise à la fois une loupe et un cerveau surdoué.

2. L'Intuition (Recherche Sémantique) échoue face aux Chiffres

On pensait souvent que les nouvelles IA "compréhensives" (qui cherchent le sens) allaient remplacer les vieilles méthodes de recherche de mots-clés.
Faux ! Dans le monde de la finance, les mots-clés rognent.

Si vous cherchez "Revenu 2023", une IA qui cherche le "sens" peut vous donner un document qui parle de "chiffre d'affaires" sans mentionner l'année exacte.
La vieille méthode (BM25) qui cherche le mot exact "2023" et "Revenu" est souvent plus efficace.

👉 Leçon : Pour les documents financiers précis, ne négligez pas la recherche par mots-clés. C'est comme chercher une pièce de monnaie spécifique : vous ne voulez pas qu'on vous donne une pièce "qui ressemble" à celle que vous cherchez, vous voulez la pièce exacte.

3. Les Astuces "Intelligentes" ne fonctionnent pas toujours

Les chercheurs ont testé des techniques de pointe :

HyDE (Le Rêveur) : L'IA invente une réponse fausse pour essayer de trouver le bon document.
- Résultat : Catastrophe. Comme les questions financières demandent des chiffres exacts, l'IA invente des chiffres faux (hallucinations). C'est comme si un guide touristique vous donnait un faux itinéraire pour essayer de vous faire trouver le bon chemin. Ça ne marche pas ici.
La Reformulation (Multi-Query) : Demander à l'IA de réécrire la question 3 fois de différentes façons.
- Résultat : Peu utile. Les questions financières sont déjà très précises ("Quel était le bénéfice net ?"). Changer les mots ne change pas grand-chose.

🛠️ La Recette Gagnante (Le Guide Pratique)

Si vous voulez construire un système de recherche pour des documents financiers (ou similaires), voici la recette recommandée par les auteurs, simplifiée :

La Base : Utilisez un mélange de recherche par mots-clés (BM25) et de recherche par sens (Dense). C'est votre filet de sécurité.
Le Boost : Ajoutez un réorganisateur intelligent (Reranker) qui lit les résultats en détail avant de vous les montrer. C'est le plus gros gain de performance.
L'Enrichissement : Avant de stocker les documents, faites résumer l'IA pour ajouter des étiquettes (ex: "Année 2023", "Secteur Tech") au début de chaque document. Ça aide beaucoup.
À éviter : Ne faites pas inventer de fausses réponses par l'IA pour chercher (HyDE) si vous avez besoin de chiffres précis.

🎯 En Résumé

Ce papier nous dit que pour les documents complexes (texte + tableaux de chiffres), la simplicité intelligente gagne.
Ne cherchez pas la méthode la plus "magique" ou la plus complexe. La meilleure approche est un travail d'équipe :

Un chercheur rapide (Mots-clés).
Un chercheur compréhensif (IA sémantique).
Un expert qui trie les résultats (Reranker).

C'est cette équipe qui trouve la réponse exacte, là où les autres méthodes se perdent dans les détails ou les approximations.

1. Problématique

Les systèmes de Génération Augmentée par Récupération (RAG) dépendent crucialement de la qualité de la phase de récupération (retrieval). Cependant, il n'existe aucune comparaison systématique des méthodes de récupération modernes pour des documents hétérogènes contenant à la fois du texte et des données tabulaires (tableaux).

Ce défi est particulièrement aigu dans le domaine financier (rapports annuels, déclarations réglementaires) où :

Le texte fournit le contexte.
Les tableaux contiennent des chiffres précis.
Une question comme « Quelle était la croissance des revenus d'une année sur l'autre ? » nécessite de localiser à la fois le bon document et la bonne cellule dans un tableau.

Les méthodes de récupération sémantique (denses) ont tendance à manquer les cibles numériques exactes, tandis que les méthodes lexicales (BM25) manquent le contexte paraphrasé. L'article vise à combler ce vide en évaluant rigoureusement dix stratégies de récupération sur un benchmark financier spécifique.

2. Méthodologie

A. Jeu de Données : T2-RAGBench

L'étude utilise le benchmark T2-RAGBench, composé de :

23 088 requêtes (questions-réponses).
7 318 documents financiers uniques (moyenne de 920 tokens chacun).
Sources : FinQA, ConvFinQA et TAT-DQA.
Spécificité clé : Contrairement aux jeux de données précédents où le contexte était fourni (oracle), ici les questions ont été reformulées par un LLM (Llama 3.3-70B) pour être indépendantes du contexte (incluant nom de l'entreprise, secteur, année), rendant la tâche de récupération réelle.
Toutes les réponses sont numériques.

B. Stratégies de Récupération Évaluées (10 méthodes)

Les auteurs ont testé une gamme de méthodes allant du classique à l'adaptatif :

Sparse : BM25 (Okapi).
Dense : Embeddings (OpenAI text-embedding-3-large) avec recherche FAISS.
Hybride : Fusion par Réciproque Rank Fusion (RRF) de BM25 et Dense.
Re-référencement (Reranking) : Pipeline à deux étapes (Hybride RRF + Cross-Encoder Cohere Rerank v4.0 Pro).
Expansion de requête : HyDE (Hypothetical Document Embeddings) et Multi-Query (RAG-Fusion).
Augmentation d'index : Contextual Retrieval (ajout de résumés générés par LLM avant l'indexation).
Adaptatif : CRAG (Corrective RAG) qui réécrit la requête si la confiance est faible.

C. Métriques d'Évaluation

Récupération : Recall@k (k=1,3,5,10,20), MRR@k, nDCG@k, MAP.
Génération : Number Match (NM) avec tolérance relative, F1, ROUGE-L, BERTScore.
Statistiques : Tests de bootstrap appariés avec correction de Bonferroni pour valider la significativité des différences.

3. Contributions Clés

Benchmark Systématique : La première évaluation comparative approfondie de 10 stratégies de récupération sur un corpus financier mixte (texte + tableaux).
Évaluation Multidimensionnelle : Combinaison de métriques de récupération et de génération, avec validation statistique rigoureuse.
Études d'Ablation : Analyse de l'impact des stratégies de fusion (RRF vs Combinaison Convexe) et de la profondeur des candidats pour le re-référencement.
Recommandations Actionnables : Guide pratique basé sur l'analyse coût-précision pour les praticiens construisant des systèmes RAG sur des documents hétérogènes.

4. Résultats Principaux

A. Performance de Récupération

Le pipeline à deux étapes domine : La combinaison Hybride (BM25 + Dense) + Re-référencement Neural obtient les meilleurs résultats :
- Recall@5 : 0,816 (contre 0,695 pour l'hybride seul).
- MRR@3 : 0,605.
- Cela surpasse toutes les méthodes en une seule étape avec une marge significative.
BM25 surpasse le Dense : Contrairement à l'hypothèse courante selon laquelle la recherche sémantique domine toujours, BM25 surpasse les modèles denses les plus avancés (text-embedding-3-large) sur presque toutes les métriques pour les documents financiers. La précision lexicale (noms d'entreprises, symboles boursiers, labels de métriques) est cruciale.
Limites de l'expansion de requête :
- HyDE : Sous-performe même le dense pur (Recall@5 : 0,544 vs 0,587). Les documents hypothétiques générés par LLM introduisent du bruit (chiffres financiers hallucinés) qui éloigne l'embedding du contexte réel.
- Multi-Query : Apporte un gain négligeable car les requêtes financières sont déjà spécifiques.
Contextual Retrieval : Apporte des gains constants (+2,2 à +2,8 points de rappel) en enrichissant les documents avec des résumés générés par LLM lors de l'indexation.
CRAG : Améliore légèrement BM25 via la correction adaptative, mais ne rattrape pas la fusion hybride simple.

B. Résultats de Génération (End-to-End)

Une meilleure récupération se traduit directement par une meilleure qualité de réponse (corrélation forte $r > 0,98$ ).
Le passage de BM25 à l'Hybride + Re-référencement améliore le Number Match de manière significative.
L'utilisation d'un LLM plus puissant (GPT-5.4 vs GPT-4.1-mini) améliore également les résultats, confirmant que la récupération et la génération sont deux facteurs indépendants mais critiques.

C. Analyse des Échecs

L'analyse des échecs de récupération (31,1% des cas) révèle que 73% des échecs sont dus à un décalage de structure de tableau : les modèles d'embeddings peinent à mapper des requêtes textuelles vers des cellules spécifiques dans des tableaux Markdown, surtout lorsque les informations sont dispersées dans différentes cellules.

5. Signification et Recommandations

Cette étude remet en question plusieurs dogmes du RAG généraliste et propose des directives spécifiques pour les documents financiers structurés :

Architecture Recommandée : Pour les documents mixtes, la configuration optimale est un pipeline à deux étapes :
- Étape 1 : Récupération hybride large (BM25 + Dense via RRF).
- Étape 2 : Re-référencement par Cross-Encoder (ex: Cohere Rerank).
BM25 est Indispensable : Ne pas négliger la recherche lexicale pour les domaines à terminologie précise. Elle est souvent supérieure aux embeddings denses seuls.
Éviter HyDE pour les Données Numériques : L'expansion de requête par génération de documents hypothétiques est contre-productive pour les questions nécessitant une précision factuelle stricte (chiffres financiers).
Enrichissement Contextuel : L'ajout de métadonnées générées par LLM (résumés, entités clés) avant l'indexation est une stratégie à faible coût et à haut rendement.
Spécificité du Domaine : Les classements généraux (comme BEIR ou MTEB) ne prédisent pas la performance sur des documents financiers. Une évaluation sur des données spécifiques au domaine est obligatoire.

En conclusion, l'article démontre que pour les documents financiers complexes, la combinaison de la précision lexicale, de la compréhension sémantique et d'un re-référencement neural est la clé pour surmonter les limitations actuelles des systèmes RAG.