Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing

Le papier présente BRTR, un cadre agentique multimodal qui améliore la compréhension et l'édition de feuilles de calcul d'entreprise complexes en remplaçant la récupération unique par une boucle itérative d'appels d'outils, atteignant ainsi des performances de pointe sur plusieurs benchmarks grâce à une approche auditable et optimisée.

L'essentiel

Imaginez que vous devez analyser un entrepôt géant rempli de millions de dossiers, de tableaux Excel complexes, de graphiques et de documents PDF. C'est un peu comme essayer de trouver une aiguille dans une botte de foin, mais l'aiguille est cachée dans une autre botte de foin, et les deux sont liées par des fils invisibles.

C'est le défi que les entreprises affrontent quotidiennement avec leurs classeurs géants. Jusqu'à présent, les intelligences artificielles (IA) essayaient de résoudre ce problème de deux façons, mais elles échouaient souvent :

1. L'approche "Compression" : Elles essayaient de résumer tout le classeur en un seul petit résumé. C'est comme essayer de lire un roman entier en ne regardant que la couverture et le résumé au dos. On perd les détails cruciaux.
2. L'approche "Une seule lecture" : Elles lisaient tout d'un coup, mais comme les IA ont une "mémoire à court terme" limitée (comme une assiette trop petite), elles ne pouvaient pas tout contenir. Elles oubliaient la moitié des informations avant même de commencer à réfléchir.

Voici comment le nouveau système, appelé BRTR (Beyond Rows to Reasoning), change la donne.

🕵️‍♂️ L'Analogie du Détective vs. Le Touriste

Imaginez deux personnes devant ce géant de classeurs :

• Le Touriste (Les anciennes méthodes) : Il entre dans l'entrepôt, jette un coup d'œil rapide à tout ce qu'il voit, essaie de tout mémoriser d'un coup, et sort pour répondre à votre question. S'il a oublié un détail, il se trompe. Il ne peut pas revenir en arrière.
• Le Détective (BRTR) : C'est un agent intelligent qui ne se contente pas de regarder. Il a un plan.
  1. Il pose des questions : "Où sont les ventes de mars ?"
  2. Il cherche : Il ouvre un tiroir spécifique (un outil de recherche).
  3. Il réfléchit : "Tiens, ces chiffres ne correspondent pas. Je dois vérifier le document PDF joint."
  4. Il ajuste : Il change de tiroir, cherche un autre document, compare les informations.
  5. Il conclut : Une fois qu'il a assemblé toutes les pièces du puzzle, il vous donne la réponse.

BRTR est ce détective. Au lieu de faire une seule lecture, il utilise une boucle de réflexion : Chercher -> Lire -> Réfléchir -> Chercher à nouveau.

🛠️ Comment ça marche ? (Les 3 Super-Pouvoirs)

Pour rendre ce détective efficace, les chercheurs ont créé trois outils magiques :

1. La Carte au Trésor Multimodale (L'Indexation)
   Avant même de commencer, le système lit tous les documents et crée une carte ultra-détaillée. Il ne se contente pas de lire le texte ; il comprend aussi les images, les graphiques et les tableaux. C'est comme si on avait un index qui dit : "Le graphique sur la page 42 montre une chute des ventes, et il est lié à la cellule B5 du tableau 3".
   Le résultat ? Le détective sait exactement où chercher, même si l'information est cachée dans une image ou un tableau complexe.

2. Le Chef d'Orchestre (Le Planificateur)
   Quand on lui demande quelque chose de compliqué (ex: "Préparez un rapport financier en comparant les données de 5 fichiers différents"), le système ne panique pas. Il décompose la tâche.

   • Chef d'orchestre : "Toi, va chercher les données de 2023. Toi, va chercher celles de 2024. Toi, compare-les. Toi, crée le graphique."
     Cela évite que le détective ne se perde dans une seule tâche trop longue.

3. La Mémoire Intelligente (La Gestion du Contexte)
   Le problème des IA, c'est qu'elles oublient vite si on leur donne trop d'informations d'un coup. BRTR utilise une astuce : il garde les faits importants (les chiffres, les noms) mais jette les images lourdes une fois qu'il les a analysées. C'est comme un détective qui prend des notes sur ce qu'il voit, mais ne garde pas les photos dans sa poche pour ne pas alourdir son sac. Cela lui permet de travailler sur des dossiers énormes sans "oublier" le début de la conversation.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Les chercheurs ont testé ce système sur des défis réels, comme des milliers de feuilles de calcul d'entreprises (avec des millions de cellules) et des tâches comptables complexes.

• Précision : Là où les anciennes méthodes avaient un taux de réussite de 70-75%, BRTR atteint 99% de réussite avec les meilleurs modèles d'IA. C'est comme passer de "je suis à peu près sûr" à "je suis certain".
• La différence de taille : Plus le dossier est gros et complexe, plus BRTR brille. Les anciennes méthodes s'effondrent quand le dossier devient trop grand, comme un parachute qui se déchire. BRTR, lui, continue de fonctionner parfaitement, peu importe la taille de l'entrepôt.
• Coût : Bien que le détective fasse plus de recherches (ce qui prend un peu plus de temps et d'énergie), il trouve la bonne réponse beaucoup plus souvent. C'est comme si, au lieu de courir partout au hasard, il savait exactement où aller, ce qui économise du temps et de l'argent à long terme.

En résumé

BRTR, c'est le passage d'un lecteur passif (qui lit une fois et espère comprendre) à un chercheur actif (qui enquête, vérifie, et recoupe les informations).

C'est comme la différence entre quelqu'un qui vous donne un résumé d'un film et quelqu'un qui a vu le film, a relu le scénario, a vérifié les critiques, et peut maintenant vous expliquer pourquoi la fin est logique, même si le film durait 10 heures.

Pour les entreprises, cela signifie pouvoir poser des questions complexes à leurs propres données ("Quel est l'impact de la hausse des prix sur nos marges dans la région Asie ?") et obtenir une réponse fiable, précise et vérifiable, sans avoir à passer des heures à fouiller manuellement dans des milliers de fichiers Excel.

Résumé technique

Voici un résumé technique détaillé du papier de recherche « Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing » (Au-delà des lignes vers le raisonnement : Récupération agentique pour la compréhension et l'édition multimodale de feuilles de calcul).

1. Problématique

Les feuilles de calcul d'entreprise modernes sont des artefacts complexes contenant des millions de cellules, des dépendances inter-feuilles, des données tabulaires et des éléments visuels intégrés (graphiques, images). Les approches actuelles basées sur les grands modèles de langage (LLM) et la génération augmentée par récupération (RAG) échouent à gérer cette complexité pour trois raisons principales :

• Récupération en un seul passage (Single-pass) : Les systèmes actuels récupèrent un contexte fixe avant de générer une réponse, sans mécanisme d'affinement itératif. Les analystes humains, eux, croisent les références et ajustent leurs recherches progressivement.
• Perte de résolution par compression : Les méthodes de compression réduisent la taille des données pour tenir dans la fenêtre de contexte du LLM, mais elles détruisent souvent les relations structurelles et les détails fins nécessaires au raisonnement.
• Dépassement des fenêtres de contexte : L'injection naïve du contexte complet dépasse rapidement les limites des LLMs pour les gros classeurs.

De plus, il existe un manque de guidance empirique sur les modèles d'encodage (embedding) multimodaux les plus adaptés aux données mixtes (texte et visuel) des feuilles de calcul.

2. Méthodologie : Le Framework BRTR

Les auteurs proposent BRTR (Beyond Rows to Reasoning), un framework agentique multimodal qui remplace la récupération statique par une boucle d'appel d'outils itérative.

Architecture Principale

Le pipeline se compose de trois volets :

1. Indexation et Récupération Multimodale :

   • Le classeur est découpé en « chunks » (morceaux) de quatre types : lignes, colonnes, fenêtres rectangulaires et images intégrées.
   • Chaque chunk conserve les métadonnées (nom de la feuille, coordonnées, en-têtes).
   • Une recherche hybride combine la similarité cosinus dense (sémantique) et la correspondance lexicale BM25 (pour les valeurs numériques exactes et les références de cellules).
   • Les résultats sont fusionnés via la Reciprocal Rank Fusion (RRF).

2. Boucle Agentique d'Appel d'Outils :

   • Au lieu d'une seule requête, le LLM agit comme un agent qui :
     • Analyse la requête utilisateur.
     • Choisit et invoque des outils de recherche spécialisés (ex: search_rows, search_columns, search_images).
     • Examine les résultats retournés.
     • Affine la requête ou change de stratégie si les preuves sont insuffisantes.
   • Ce processus se répète jusqu'à ce que des preuves suffisantes soient réunies (limité à 50 itérations pour éviter les boucles infinies).
   • Gestion du contexte : Pour éviter le débordement de tokens, le système applique une stratégie de « pruning » (élagage) : les images précédentes sont supprimées du contexte historique tout en conservant leurs métadonnées textuelles, ne gardant que les données visuelles les plus récentes.

3. Architecture Planificateur-Exécutant (Planner-Executor) :

   • Pour les flux de travail complexes, un Planificateur décompose la tâche en un graphe de dépendances de sous-tâches.
   • Six Exécutants spécialisés traitent ces sous-tâches en parallèle ou séquentiellement :
     • Excel (lecture/écriture, formules, graphiques).
     • IO (PDF, CSV, DOCX).
     • Web (recherche, données financières).
     • Validation (vérification des invariants comptables).
     • OCR (transcription d'images).
     • Recherche (les outils BRTR de base).

3. Contributions Clés

• Évaluation des modèles d'encodage : Une comparaison approfondie de cinq modèles d'embedding multimodaux sur le benchmark FRTR-Bench. Les auteurs identifient NVIDIA NeMo Retriever 1B comme le meilleur modèle pour les données tabulaires et visuelles mixtes.
• Framework Agentique BRTR : Introduction d'une architecture qui permet aux LLMs de raisonner de manière itérative sur des classeurs entiers, avec une traçabilité complète (auditabilité) via les traces d'appels d'outils.
• Performance SOTA : Démonstration d'une supériorité significative sur trois benchmarks de pointe, surpassant les méthodes de compression et de récupération en un seul passage.

4. Résultats Expérimentaux

Les évaluations ont été menées sur plus de 200 heures d'évaluation humaine par des experts.

• Benchmark FRTR-Bench (Recherche et raisonnement complexe) :

  • BRTR atteint 99 % de précision avec des modèles de pointe (GPT-5, Gemini 3 Pro), soit une amélioration de 25 points de pourcentage par rapport à la meilleure méthode de récupération en un seul passage (FRTR).
  • Les méthodes de compression (SpreadsheetLLM) échouent (6-34 % de précision) car elles perdent les relations inter-feuilles.
  • BRTR gère efficacement les requêtes dépendantes d'images intégrées, là où les méthodes statiques échouent.

• Benchmark SpreadsheetLLM (Compréhension de table unique) :

  • BRTR atteint 97-98 % de précision, surpassant la compression (89-91 %) et l'approche de contexte complet naïf (55-68 %).

• Benchmark FINCH (Flux de travail comptable et financier complexe) :

  • Sur 172 workflows réels (incluant Enron et institutions financières), BRTR atteint 95,3 % de précision (Claude Opus 4.6) contre 41,9 % pour les meilleurs résultats précédents.
  • L'architecture de décomposition (Planificateur) est cruciale pour éviter l'accumulation d'erreurs sur les tâches multi-étapes.

• Analyse d'ablation :

  • La suppression de la boucle agentique entraîne une chute à 0 % de précision.
  • La suppression du planificateur réduit la précision de 20 points et augmente la consommation de tokens de 40 %.
  • GPT-5.2 est identifié comme offrant le meilleur compromis efficacité/précision (coût en tokens et latence).

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'interaction avec les données structurées complexes :

• Du statique au dynamique : Il démontre que la compréhension des feuilles de calcul d'entreprise ne peut pas être résolue par une simple compression ou une récupération statique, mais nécessite un raisonnement actif et itératif similaire à celui d'un analyste humain.
• Auditabilité : Contrairement aux boîtes noires, BRTR fournit des traces complètes des outils utilisés, ce qui est essentiel pour la confiance en milieu professionnel (finance, audit).
• Généralisation : Le framework prouve sa capacité à gérer des workflows hétérogènes (PDF, images, web, Excel) au-delà de la simple lecture de données.

En conclusion, BRTR établit un nouvel état de l'art pour la compréhension et l'édition de feuilles de calcul multimodales, en prouvant que l'agenticité (la capacité d'agir et de réagir) est la clé pour débloquer le potentiel des LLMs sur des données d'entreprise massives et complexes.