Résumé Technique : ODTQA-FoRe et TimeFore

Définition du Problème

Malgré l'avancement rapide des grands modèles de langage (LLM) dans le domaine du Questionnement Tabulaire (TQA), les systèmes existants se concentrent principalement sur la récupération et le raisonnement sur des données historiques statiques. Ils manquent de la capacité d'effectuer une prédiction numérique orientée vers le futur et un raisonnement basé sur des prévisions. Les méthodes actuelles de TQA en domaine ouvert peinent face à deux limitations majeures : (1) les LLM sont entraînés sur du texte statique et manquent de mécanismes pour modéliser efficacement des données de séries temporelles dynamiques, et (2) dans les scénarios en domaine ouvert, les systèmes ne peuvent pas s'appuyer sur des données historiques continues fournies au préalable ; ils doivent extraire de manière autonome les données pertinentes à partir de bases de données massives pour soutenir les prévisions.

Pour combler cette lacune, les auteurs introduisent une nouvelle tâche : l'Open-Domain Tabular Question Answering for Future Data Forecasting and Reasoning (ODTQA-FoRe) (Réponse aux questions tabulaires en domaine ouvert pour la prévision et le raisonnement sur des données futures). Cette tâche exige qu'un système puisse :

1. Identifier et extraire de manière autonome les tableaux pertinents à partir d'un vaste corpus de tableaux candidats.
2. Effectuer des prévisions de séries temporelles sur les données historiques extraites.
3. Synthétiser les prévisions pour répondre à des requêtes complexes, incluant les prédictions directes futures et le raisonnement comparatif basé sur ces prévisions.

Méthodologie

1. Construction du Jeu de Données : ODTQA-FoRe

Les auteurs ont construit le premier jeu de données de référence pour cette tâche en utilisant des données de transactions immobilières de 10 villes chinouses couvrant la période 2022–2024.

• Échelle : Le jeu de données contient 28 507 paires QA dérivées de 11 149 projets immobiliers.
• Structure : Il comprend 288 tableaux (avec une moyenne de 845 lignes chacun) représentant des données historiques (2022–2023) et une base de données "future" distincte (2024) utilisée pour l'évaluation de la vérité de terrain (ground truth).
• Distribution des tâches : Le jeu de données inclut 8 042 questions de prévision de séries temporelles (ex: "Quel sera le prix le mois prochain ?") et 20 465 questions de raisonnement basées sur les prévisions (ex: "Quel projet aura une augmentation de prix plus importante ?").
• Génération : Les questions ont été générées à l'aide de 26 modèles de gabarits couvrant des scénarios à projet unique ou multi-projets. Pour améliorer la diversité linguistique et le réalisme, un LLM (Qwen2.5-72B) a été utilisé pour réécrire les requêtes générées par les gabarits, suivi d'une validation manuelle.
• Division : Les données sont partitionnées au niveau du projet (ratio 6:2:2) en ensembles d'entraînement, de validation et de test afin d'éviter toute fuite de données.

2. Cadre Proposé : TimeFore

Pour résoudre les défis de l'ODTQA-FoRe, les auteurs proposent TimeFore, un cadre basé sur des agents LLM qui décompose le problème en trois rôles collaboratifs :

• Le Récupérateur (Retriever) :

  • Fonction : Identifie les tableaux pertinents et génère des requêtes SQL pour extraire les données historiques.
  • Mécanisme : Il utilise un processus de récupération en deux étapes. D'abord, un LLM résume la requête de l'utilisateur en une légende de tableau canonique via du few-shot prompting. Si une correspondance directe échoue, l'algorithme BM25 extrait le tableau le plus sémantiquement pertinent.
  • Génération SQL : L'agent génère des requêtes SQL en utilisant l'apprentissage en contexte (in-context learning 5-shot) et emploie une boucle de rétroaction d'exécution. Il exécute la requête SQL via un sqlQueryTool ; en cas d'erreur, il affine la requête en fonction du message d'erreur, en répétant l'opération jusqu'à 25 fois.

• Le Prévisionniste (Forecaster) :

  • Fonction : Remédie à la faiblesse intrinsèque des LLM en matière de prédiction de séries temporelles en invoquant des modèles externes spécialisés.
  • Mécanisme : L'agent reçoit des données historiques sérialisées (nom du projet, mois, prix) et les formate en une liste numérique de 24 mois. Il appelle ensuite une fonction prédéfinie, imputationThenPredictionTool, qui orchestre un pipeline :
    1. Imputation : Utilise TimesNet pour gérer les valeurs manquantes dans la séquence historique.
    2. Prédiction : Utilise TimeXer pour prévoir les prix des 12 prochains mois.
  • Sortie : Retourne une liste structurée des prix prédits pour 2024.

• L'Analyseur (Analyzer) :

  • Fonction : Synthétise les données historiques et les prévisions pour générer la réponse standardisée finale.
  • Mécanisme : Il classifie d'abord le type de requête (prévision directe vs raisonnement basé sur la prévision) à l'aide d'un classificateur basé sur BERT.
  • Raisonnement : Selon la classification, il sélectionne un prompt spécifique (in-context learning avec 5 exemples) pour guider le LLM.
  • Normalisation : Un module d'extraction numérique dédié garantit que la sortie est concise et strictement formatée (ex: n'extraire que le nombre requis ou la liste de projets), évitant ainsi les explications verbeuses communes aux LLM.

Principales Contributions

1. Définition d'une tâche inédite : Le papier définit l'ODTQA-FoRe, élargissant le champ des questions-réponses basées sur les LLM pour inclure la prédiction et le raisonnement sur des données futures.
2. Jeu de données de référence : L'introduction d'ODTQA-FoRe, le premier jeu de données couvrant la prévision de séries temporelles et le raisonnement basé sur les prévisions dans un contexte tabulaire en domaine ouvert, comblant un manque de ressources critiques.
3. Proposition de cadre : Le développement de TimeFore, un cadre d'agents collaboratifs qui fait efficacement le pont entre les LLM et les modèles de séries temporelles spécialisés, répondant aux défis de la récupération, de la prévision et du raisonnement.
4. Validation empirique : Des expériences approfondies établissant des références de performance solides à travers cinq LLM principaux (Qwen3, GPT-OSS, GLM) et démontrant la nécessité d'approches hybrides.

Résultats Expérimentaux

Les auteurs ont évalué TimeFore par rapport à une ligne de base "Vanilla" (LLM seul avec récupération BM25 et apprentissage en contexte) et divers modèles autonomes.

• Performance de Prévision : Les modèles de séries temporelles spécialisés ont nettement surpassé les LLM généralistes. TimeXer a obtenu la meilleure performance (MRE : 0,1209) comparé aux LLM généralistes comme Qwen3 30B (MRE : 0,1706) et GLM 4.5 Air (MRE : 0,1869).
• Performance de bout en bout : TimeFore a significativement surpassé la ligne de base Vanilla sur tous les indicateurs. Par exemple, sur le modèle Qwen3 30B, TimeFore a amélioré le score F1 du raisonnement basé sur les prévisions de 24,87 % à 60,25 % et a réduit l'erreur quadratique moyenne (MSE) de la prévision d'environ 22 %.
• Études d'ablation :
  • La prévision comme goulot d'étranglement : L'étude a révélé que la précision de la composante de prévision de séries temporelles est le principal goulot d'étranglement. Remplacer les données futures prédites par la vérité de terrain (Golden Future) a généré les gains de performance les plus substantiels (ex : +46,80 % de précision pour Qwen3 30B), tandis que les améliorations provenant d'une récupération de table parfaite ou de la génération SQL étaient marginales.
  • Robustesse du Récupérateur : La méthode de récupération en deux étapes (Résumé + BM25) a atteint des scores F1 élevés (>97 %), confirmant que l'acquisition de données est robuste et n'est pas la source principale d'erreur.
  • Nécessité de l'Analyseur : Le module d'extraction numérique de l'Analyseur s'est avéré crucial ; sa suppression a provoqué une chute significative du taux de complétion valide (ex : une baisse de 33,08 % pour Qwen3 30B).

Signification et Revendications

Le papier affirme que l'ODTQA-FoRe et TimeFore représentent une étape fondamentale pour permettre aux LLM de gérer des tâches de prise de décision dynamiques et orientées vers le futur. Les auteurs soulignent que :

• L'architecture hybride est essentielle : Se fier uniquement aux LLM pour la prédiction de séries temporelles est insuffisant. Déléguer la prévision à des modèles spécialisés tout en exploitant les LLM pour l'orchestration, la récupération et le raisonnement permet d'obtenir un cadre plus robuste.
• Lacune de benchmarking : Ce travail fournit le premier benchmark standardisé pour la prévision tabulaire en domaine ouvert, permettant aux recherches futures d'évaluer et d'améliorer ces capacités.
• Applicabilité réelle : En se concentant sur le domaine de l'immobilier, l'étude démontre l'utilité pratique de tels systèmes pour l'investissement et la décision financière, bien que le cadre soit conçu pour être indépendant du domaine.

Les auteurs notent modestement des limitations, notamment la restriction actuelle au domaine de l'immobilier et l'absence d'intégration de variables exogènes (ex : politiques macroéconomiques), identifiant ces points comme des directions pour les travaux futurs.