Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes

Le papier présente A.DOT, un cadre orchestrateur basé sur des graphes acycliques dirigés (DAG) et des agents intelligents qui améliore significativement la précision et la complétude des systèmes de réponse aux questions en langage naturel sur des lacs de données hybrides en permettant un raisonnement multi-sauts structuré et sémantique entre sources structurées et non structurées.

L'essentiel

🌊 Le Problème : Chercher une aiguille dans une botte de foin... et dans un livre en même temps

Imaginez que vous travaillez dans une grande entreprise. Vous avez deux types d'informations :

1. Des tableaux Excel géants (les données structurées) : qui contiennent des chiffres, des dates, des noms de clients.
2. Des montagnes de documents (les données non structurées) : des contrats PDF, des emails, des rapports, des factures scannées.

Un jour, votre patron vous demande : "Quel est le montant moyen des factures pour les clients du Texas, et quelles sont leurs conditions de paiement générales ?"

Pour répondre, il faut :

• Regarder dans le tableau pour trouver les clients du Texas.
• Regarder dans les documents pour lire les conditions de paiement de ces clients précis.

Le problème actuel : Les systèmes intelligents actuels (comme les assistants IA classiques) sont un peu comme des étudiants qui paniquent. Ils lisent tout le tableau et tous les documents en même temps, espérant trouver la réponse au hasard. C'est lent, ça consomme beaucoup d'énergie, et souvent, ils inventent des réponses (hallucinations) parce qu'ils ne savent pas exactement où chercher.

---

💡 La Solution : A.DOT, le Chef d'Orchestre Intelligents

Les chercheurs d'IBM ont créé un nouveau système appelé A.DOT. Imaginez-le non pas comme un simple chercheur, mais comme un Chef d'Orchestre ou un Chef de Cuisine très organisé.

Voici comment A.DOT fonctionne, étape par étape, avec des analogies simples :

1. Le Plan de Cuisine (Le DAG) 📝

Au lieu de se lancer tête baissée, A.DOT prend d'abord le temps de dessiner un plan de bataille (appelé "DAG" dans le jargon, mais pensez-y comme un schéma de recette).

• Il décompose la question complexe en petites tâches simples.
• Il dessine des flèches pour montrer l'ordre : "D'abord, trouve les clients du Texas dans le tableau. Ensuite, utilise cette liste pour aller chercher les contrats dans les documents."
• L'avantage : Il sait exactement quoi faire et dans quel ordre, sans gaspiller de temps.

2. Le Contrôle Qualité (Le Validateur) 🛡️

Avant même de commencer à cuisiner, A.DOT vérifie son plan.

• "Est-ce que j'ai les bons ingrédients ?" (Est-ce que les colonnes du tableau existent ?)
• "Est-ce que la recette a du sens ?" (Est-ce que je demande des conditions de paiement dans un tableau de chiffres ? Non, il faut aller dans les documents).
• Si le plan est mauvais, il le corrige avant de commencer, évitant ainsi des erreurs coûteuses.

3. L'Équipe de Cuisine (L'Exécution Parallèle) 🏃‍♂️💨

Une fois le plan validé, A.DOT ne fait pas tout seul. Il envoie ses "sous-chefs" (des agents IA) travailler en même temps sur les tâches indépendantes.

• Tandis qu'un agent fouille dans les tableaux, un autre prépare la recherche dans les documents.
• Ils ne se gênent pas et travaillent plus vite que si tout était fait l'un après l'autre.

4. Le Système de "Rattrapage" (DataOps) 🚑

C'est la partie la plus intelligente. Si un agent se trompe (par exemple, il ne trouve pas un document), le système ne plante pas.

• Un médecin (le système DataOps) intervient immédiatement.
• Il diagnostique le problème : "Ah, tu as cherché le mauvais mot-clé !"
• Il propose une solution rapide ou réécrit le plan pour que l'agent puisse réessayer. C'est comme un GPS qui recalcule l'itinéraire si vous prenez un virage interdit.

5. La Mémoire et la Preuve 🧠📜

• La Mémoire : Si quelqu'un pose la même question (même avec des mots différents, comme "Quels sont les termes de paiement ?" au lieu de "Conditions de paiement"), A.DOT se souvient du plan qu'il a déjà créé. Il n'a pas besoin de tout redessiner, il réutilise le plan existant. C'est comme avoir un carnet de recettes préféré.
• La Preuve : À la fin, A.DOT ne donne pas juste la réponse. Il vous montre exactement où il l'a trouvée : "J'ai pris ce chiffre du tableau X, ligne 42, et ce texte du document Y, page 3." C'est crucial pour la confiance, surtout dans les entreprises où il faut pouvoir auditer les décisions.

---

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé A.DOT sur un défi difficile (le dataset HybridQA) où il faut sauter d'un tableau à un texte pour trouver la réponse.

• Les anciens systèmes (comme RAG ou ReAct) ont eu des scores corrects, mais souvent incomplets ou avec des erreurs.
• A.DOT a battu tout le monde :
  • +14,8% de réponses correctes.
  • +10,7% de réponses complètes.

En gros, A.DOT est plus précis, plus rapide, et surtout, il ne vous laisse pas dans le doute : il vous montre ses preuves.

🚀 L'Avenir

Ce système n'est pas juste une expérience de laboratoire. Il est en train d'être intégré dans IBM Watsonx.data, un produit commercial pour les grandes entreprises. L'objectif est de permettre aux employés de poser des questions en langage naturel à leurs données complexes et d'obtenir des réponses fiables, rapides et vérifiables, sans avoir besoin de savoir coder en SQL ou en Python.

En résumé : A.DOT transforme le chaos de la recherche d'information en un processus de cuisine bien rodé, où chaque ingrédient est mesuré, chaque étape est vérifiée, et le plat final est servi avec la recette exacte en main. 🍽️✨

Résumé technique

Titre : Cadre de Planification Orchestrée par DAG Agentique pour la Réponse aux Questions Multi-Modales et Multi-Sauts dans les Lacs de Données Hybrides

1. Problématique

Les entreprises sont de plus en plus confrontées à la nécessité de répondre à des questions en langage naturel (NL) sur des lacs de données hybrides, qui combinent des données structurées (tables relationnelles, SQL) et des données non structurées (documents, contrats, textes).

Les solutions actuelles, y compris les systèmes RAG (Retrieval-Augmented Generation), souffrent de plusieurs limitations majeures :

• Inefficacité et fuites de données : Elles reposent souvent sur une récupération "force brute" de toutes les sources, suivie d'une fusion a posteriori, ce qui génère un surcoût computationnel et expose des données non pertinentes.
• Absence de raisonnement multi-sauts explicite : Elles peinent à décomposer une requête complexe en étapes successives (sauts) qui doivent naviguer dynamiquement entre les sources structurées et non structurées.
• Manque de traçabilité : Les approches existantes ne fournissent pas toujours de preuves explicites (traces de données) pour vérifier l'origine des réponses, ce qui est crucial pour la conformité en entreprise.

2. Méthodologie : Le Framework A.DOT

Les auteurs proposent A.DOT (Agentic DAG-Orchestrated Transformer), un cadre agentique qui compile les requêtes en langage naturel en plans d'exécution sous forme de Graphes Acycliques Dirigés (DAG).

L'architecture repose sur les composants clés suivants :

• Générateur de Plan (Plan Generator) :

  • Transforme une requête NL en un DAG où chaque nœud représente une sous-requête atomique (SQL ou recherche vectorielle).
  • Les arêtes définissent les dépendances. Les nœuds indépendants sont exécutés en parallèle, tandis que les nœuds dépendants reçoivent les résultats intermédiaires.
  • Un seul passage de LLM (Large Language Model) suffit pour générer le plan initial.

• Validateur de Plan (Plan Validator) :

  • Effectue une double validation (structurelle et sémantique) avant l'exécution.
  • Vérifie la conformité au schéma (colonnes, types), l'hygiène des variables et la cohérence de l'intention de l'utilisateur.
  • Interrompt l'exécution si des incohérences sont détectées.

• Système DataOps (Diagnostic et Remédiation) :

  • Intervient en cas d'échec de validation ou d'erreur d'exécution.
  • Comprend quatre sous-modules : Diagnoser (identification de la cause racine), Recommender (suggestions d'actions), Fixer (corrections locales sans changer la structure du DAG) et Replanner (réécriture complète du plan si nécessaire).
  • Permet une récupération progressive sans régénération totale.

• Exécuteur de Plan (Plan Executor) :

  • Parcourt le DAG dans l'ordre topologique.
  • Optimisation des données : Au lieu de transmettre de gros volumes de données intermédiaires, il ne propage que les clés nécessaires (ex: IDs de documents) pour les jointures suivantes, réduisant ainsi la surcharge mémoire et les limites de contexte.
  • Gère l'exécution parallèle et le streaming des réponses partielles.

• Mise en Cache (Plan Caching) :

  • Utilise une correspondance de paraphrases et de modèles pour réutiliser des plans DAG validés pour des requêtes sémantiquement équivalentes, accélérant ainsi le traitement.

• Traçabilité des Données (Lineage) :

  • Chaque étape enregistre les opérateurs, les entrées/sorties et la provenance des données, créant une "piste de preuves" vérifiable.

3. Contributions Clés

1. Framework Unifié A.DOT : Combinaison de la génération de plans DAG, de la validation structurelle/sémantique, d'un système DataOps dual, de la mise en cache de plans et de l'exécution parallèle.
2. Mécanisme de Liaison de Variables : Permet de passer uniquement les éléments de données requis entre les sous-requêtes (structurées et non structurées), améliorant l'évolutivité et réduisant les fuites de données.
3. Stratégie d'Exécution Parallèle : Exploite l'indépendance des nœuds du DAG pour réduire la latence de bout en bout tout en exposant les résultats intermédiaires.
4. Modèle Piloté par le Plan : Enregistrement explicite des preuves et de la lignée des données pour l'audit et la vérification.
5. Validation Empirique : Démonstration de gains significatifs sur le jeu de données HybridQA.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur le jeu de données HybridQA (7 000 questions nécessitant un raisonnement multi-sauts sur des tables et des textes), avec une configuration adaptée aux lacs de données hybrides (SQL + Milvus).

• Comparaison avec les SOTA :
  • A.DOT a atteint 71,0 % de justesse (Correctness) et 73,0 % de complétude.
  • Standard RAG : 56,2 % (Justesse) / 62,3 % (Complétude).
  • ReAct : 40,2 % / 44,3 %.
  • LLM Compiler : 27,8 % / 30,8 %.
• Améliorations : A.DOT surpasse le meilleur baseline (RAG) de 14,8 % en justesse et de 10,7 % en complétude.
• Étude d'ablation : La suppression du système DataOps entraîne une chute drastique des performances (60,0 %), soulignant l'importance cruciale de la capacité de récupération et de réparation des plans. La validation et la réparation doivent fonctionner conjointement pour des résultats optimaux.

5. Signification et Déploiement

• Impact Enterprise : Ce travail comble le fossé entre la recherche académique et le déploiement industriel en offrant un système robuste, vérifiable et capable de gérer la complexité des données hybrides.
• Déploiement : Le système est actuellement en phase d'évaluation pour son intégration en tant que module de récupération principal dans IBM Watsonx.data Premium.
• Futur : Les auteurs prévoient d'étendre A.DOT aux conversations multi-tours et d'intégrer d'autres modalités (bases de données graphes, images).

En résumé, A.DOT représente une avancée majeure pour les systèmes de question-réponse d'entreprise, passant d'une approche de récupération brute à une orchestration intelligente, vérifiable et efficace des données hétérogènes.