Technische Samenvatting: ODTQA-FoRe en TimeFore

Probleemdefinitie

Ondanks de snelle vooruitgang van Large Language Models (LLMs) in Tabular Question Answering (TQA), richten bestaande systemen zich voornamelijk op het ophalen en redeneren over statische historische gegevens. Ze missen het vermogen om toekomstgerichte numerieke voorspellingen en voorspellingsgebaseerde redeneringen uit te voeren. Huidige open-domein TQA-methoden worstelen met twee primaire beperkingen: (1) LLM's zijn getraind op statische tekst en missen mechanismen om dynamische tijdreeksgegevens effectief te modelleren, en (2) in open-domein scenario's kunnen systemen niet vertrouwen op vooraf verstrekte continue historische gegevens; ze moeten autonoom relevante gegevens ophalen uit enorme databases om voorspellingen te ondersteunen.

Om dit gat te dichten, introduceren de auteurs een nieuwe taak: Open-Domain Tabular Question Answering for Future Data Forecasting and Reasoning (ODTQA-FoRe). Deze taak vereist dat een systeem:

1. Autonoom relevante tabellen identificeert en ophaalt uit een grote verzameling kandidaattabellen.
2. Tijdreeksvoorspellingen uitvoert op de opgehaalde historische gegevens.
3. Voorspellingen synthetiseert om complexe queries te beantwoorden, inclusief directe toekomstige voorspellingen en vergelijkende redeneringen gebaseerd op die voorspellingen.

Methodologie

1. Dataset Constructie: ODTQA-FoRe

De auteurs hebben de eerste benchmark-dataset voor deze taak geconstrueerd met behulp van vastgoedtransactiegegevens uit 10 Chinese steden over de periode 2022–2024.

• Schaal: De dataset bevat 28.507 QA-paren afgeleid van 11.149 vastgoedprojecten.
• Structuur: Het bestaat uit 288 tabellen (gemiddeld 845 rijen per tabel) die historische gegevens (2022–2023) vertegenwoordigen en een aparte "toekomstige" database (2024) die wordt gebruikt voor de evaluatie van de grondwaarheid (ground truth).
• Taakverdeling: De dataset bevat 8.042 tijdreeksvoorspellingsvragen (bijv. "Wat zal de prijs volgende maand zijn?") en 20.465 voorspellingsgebaseerde redeneervragen (bijv. "Welk project zal een grotere prijsstijging hebben?").
• Generatie: Vragen werden gegenereerd met behulp van 26 seed-templates die scenario's met één of meerdere projecten dekken. Om de linguïstische diversiteit en realisme te vergroten, werd een LLM (Qwen2.5-72B) gebruikt om de door templates gegenereerde queries te herschrijven, gevolgd door handmatige validatie.
• Splitsing: De data is op projectniveau verdeeld (ratio 6:2:2) in trainings-, validatie- en testsets om datalekken te voorkomen.

2. Voorgesteld Framework: TimeFore

Om de uitdagingen van ODTQA-FoRe op te lossen, stellen de auteurs TimeFore voor, een LLM-agent-gebaseerd framework dat het probleem deelt in drie samenwerkende rollen:

• Retriever (Ophaler):

  • Functie: Identificeert relevante tabellen en genereert SQL-queries om historische gegevens op te halen.
  • Mechanisme: Het hanteert een tweestaps-retentieproces. Eerst vat een LLM de gebruikersquery samen in een canonieke tabelbeschrijving via few-shot prompting. Als een directe match faalt, haalt het BM25-algoritme de meest semantisch relevante tabel op.
  • SQL-generatie: De agent genereert SQL-queries met behulp van in-context learning (5-shot) en maakt gebruik van een execution-feedback loop. Het voert de SQL uit via een sqlQueryTool; als er fouten optreden, verfijnt het de query op basis van de foutmelding, waarbij het proces tot 25 keer wordt herhaald.

• Forecaster (Voorspeller):

  • **Functie: ** Adressert de inherente zwakte van de LLM in tijdreeksvoorspelling door gespecialiseerde externe modellen aan te roepen.
  • Mechanisme: De agent ontvangt geserialiseerde historische gegevens (projectnaam, maand, prijs) en formatteert deze naar een lijst van 24 maanden met numerieke waarden. Vervolgens roept het een vooraf gedefinieerde functie aan, imputationThenPredictionTool, die een pipeline orkestreert:
    1. Imputatie: Gebruikt TimesNet om ontbrekende waarden in de historische sequentie af te handelen.
    2. Voorspelling: Gebruikt TimeXer om de prijzen van de volgende 12 maanden te voorspellen.
  • Output: Geeft een gestructureerde lijst terug van voorspelde prijzen voor 2024.

• Analyzer (Analist):

  • Functie: Synthetiseert historische gegevens en voorspellingen om het uiteindelijke gestandaardiseerde antwoord te genereren.
  • Mechanisme: Het classificeert eerst het type query (directe voorspelling versus voorspellingsgebaseerde redenering) met behulp van een BERT-gebaseerde classifier.
  • Redenering: Op basis van de classificatie selecteert het een specifieke prompt (in-context learning met 5 voorbeelden) om de LLM te begeleiden.
  • Normalisatie: Een speciale module voor numerieke extractie zorgt ervoor dat de output beknopt en strikt geformatteerd is (bijv. alleen de vereiste cijfers of de lijst met projecten extraheren), wat de vaak uitgebreide verklaringen van LLM's voorkomt.

Belangrijkste Bijdragen

1. Nieuwe Taakdefinitie: Het artikel definieert ODTQA-FoRe, waarmee de reikwijdte van LLM-gebaseerde QA wordt uitgebreid naar toekomstige datapredictie en redenering.
2. Benchmark Dataset: De introductie van ODTQA-FoRe, de eerste dataset die tijdreeksvoorspelling en voorspellingsgebaseerde redenering in een open-domein tabelsetting behandelt, waardoor een kritiek tekort aan middelen wordt opgevuld.
3. Framework Voorstel: De ontwikkeling van TimeFore, een collaboratief agent-framework dat effectief de kloof tussen LLM's en gespecialiseerde tijdreeksmodellen overbrugt door uitdagingen op het gebied van retrieval, forecasting en redenering aan te pakken.
4. Empirische Validatie: Uitgebreide experimenten die sterke prestatiebenchmarks vaststellen voor vijf mainstream LLM's (Qwen3, GPT-OSS, GLM) en de noodzaak van hybride benaderingen aantonen.

Experimentele Resultaten

De auteurs evalueerden TimeFore tegenover een "Vanilla" baseline (alleen LLM met BM25-retrieval en in-context learning) en diverse standalone modellen.

• Voorspellingsprestaties: Gespecialiseerde tijdreeksmodellen presteerden aanzienlijk beter dan algemene LLM's. TimeXer behaalde de beste prestaties (MRE: 0,1209) vergeleken met algemene LLM's zoals Qwen3 30B (MRE: 0,1706) en GLM 4.5 Air (MRE: 0,1869).
• End-to-End Prestaties: TimeFore presteerde aanzienlijk beter dan de Vanilla baseline op alle metrieken. Bijvoorbeeld, op het Qwen3 30B-model verbeterde TimeFore de Forecast-based Reasoning F1-score van 24,87% naar 60,25% en verminderde de Forecasting MSE met ongeveer 22%.
• Ablatiestudies:
  • Voorspelling als Bottleneck: De studie toonde aan dat de nauwkeurigheid van de tijdreeksvoorspellingscomponent de primaire bottleneck is. Het vervangen van de voorspelde toekomstige data door de grondwaarheid (Golden Future) leverde de meest substantiële prestatiewinsten op (bijv. +46,80% nauwkeurigheid voor Qwen3 30B), terwijl verbeteringen door perfecte tabelretrieval of SQL-generatie marginaal waren.
  • Robuustheid van de Retriever: De tweestaps-retentiemethode (Samenvatting + BM25) behaalde hoge F1-scores (>97%), wat bevestigt dat gegevensverwerving robuust is en niet de primaire bron van fouten is.
  • Noodzaak van de Analyzer: De module voor numerieke extractie in de Analyzer bleek cruciaal; het verwijderen ervan veroorzaakte een aanzienlijke daling in de Valid Completion Rate (bijv. een daling van 33,08% voor Qwen3 30B).

Betekenis en Claims

Het artikel claimt dat ODTQA-FoRe en TimeFore een fundamentele stap vormen naar het in staat stellen van LLM's om dynamische, toekomstgerichte besluitvormingstaken aan te gaan. De auteurs benadrukken dat:

• Hybride Architectuur Essentieel is: Alleen vertrouwen op LLM's voor tijdreeksvoorspelling is onvoldoende. Het delegeren van voorspellingen aan gespecialiseerde modellen, terwijl LLM's worden ingezet voor orchestratie, retrieval en redenering, levert een robuuster framework op.
• Benchmarking Gat: Het werk biedt de eerste gestandaardiseerde benchmark voor open-domein tabelvoorspelling, wat toekomstig onderzoek mogelijk maakt om deze capaciteiten te evalueren en te verbeteren.
• Praktische Toepasbaarheid: Door te focussen op de vastgoedsector, demonstreert de studie het praktische nut van dergelijke systemen voor investerings- en financiële besluitvorming, hoewel het framework domein-agnostisch is ontworpen.

De auteurs merken bescheiden kanttekeningen bij de beperkingen, waaronder de huidige beperking tot de vastgoedsector en het gebrek aan integratie met exogene variabelen (bijv. macro-economische beleid), en identificeren dit als richtingen voor toekomstig werk.