ODUTQA-MDC: A Task for Open-Domain Underspecified Tabular QA with Multi-turn Dialogue-based Clarification

Probleemstelling

Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt in het beantwoorden van vragen over tabellen (Tabular QA). Echter, in open-domein scenario's (waarbij het systeem eerst de juiste tabel moet vinden uit een grote database) worstelen deze modellen met onvoldoende gespecificeerde (underspecified) of onduidelijke gebruikersvragen.

In de echte wereld bevatten gebruikersvragen vaak:

• Spellingfouten.
• Onduidelijke uitdrukkingen.
• Ontbrekende informatie (bijv. geen specifieke regio of projectnaam).

Bestaande methoden falen vaak omdat ze:

1. Aannemen dat de query volledig is.
2. Beperkt zijn tot gesloten domeinen (waar de tabel al bekend is).
3. Geen dynamische interactie toestaan om onduidelijkheden op te helderen.
   Dit leidt tot het genereren van onjuiste SQL-query's en foutieve antwoorden.

Methodologie: ODUTQA-MDC en MAIC-TQA

De auteurs stellen een nieuwe taak voor: ODUTQA-MDC (Open-Domain Underspecified Tabular QA met Multi-turn Dialogue-based Clarification). Om deze taak te ondersteunen, introduceren ze een dataset, een evaluatieframework en een nieuw agent-gebaseerd systeem.

1. De ODUTQA Dataset

Dit is de eerste grote dataset die specifiek is ontworpen voor onvoldoende gespecificeerde vragen in open domeinen.

• Bron: Gebaseerd op vastgoed, vastgoedfinanciering en landveilingen (209 tabellen, 25.105 vraag-antwoordparen).
• Type Onderspecificatie: De dataset categoriseert onduidelijkheden op basis van SQL-clausules:
  • SELECT (Intent): Onduidelijk wat de gebruiker precies wil weten (bijv. "Hoe is de omgeving?" in plaats van "Wat is de groenheidsgraad?").
  • FROM (Scope): Ontbrekende of verkeerde informatie over de tabelscope (bijv. ontbrekende stad of district).
  • WHERE (Condition): Onvolledige of foutieve voorwaarden (bijv. een projectnaam die niet in de database bestaat).
  • Mixed: Een combinatie van bovenstaande.
• Labeling: Gebruikt een fijnmazig labelsysteem voor intentie, slots (BIO-notatie) en specifieke detectielabels voor de drie types onderspecificatie.
• Interface: Een gesimuleerde conversatie-interface die dynamisch feedback geeft op basis van gedetecteerde fouten, waardoor een "detectie-clarificatie-hervatting"-lus mogelijk is.

2. MAIC-TQA Framework

Het voorgestelde systeem is een Multi-Agent Interactive Clarification framework dat bestaat uit vier samenwerkende agents:

1. SLU Module (Spoken Language Understanding): Gebruikt een BERT-gebaseerde classifier om intenties en slots te extraheren en te detecteren of de intentie onduidelijk is.
2. Scope Validator Agent: Verifieert of de gespecificeerde scope (bijv. stad/district) bestaat in de database. Als een slot ontbreekt of niet klopt, wordt een verduidelijking gevraagd.
3. Table Retrieval Agent: Gebruikt de originele query en de verkregen verduidelijkingen om de juiste tabel te vinden (via exacte matching of BM25).
4. SQL Generation and Validation Agent: Genereert de SQL-query, voert deze uit en valideert het resultaat. Als het resultaat leeg is of onvolledig, wordt er opnieuw verduidelijking gevraagd aan de gebruiker.

Het systeem werkt in een iteratieve cyclus: het detecteert ambiguïteiten, vraagt om verduidelijking via een chat-interface, en herhaalt het proces tot een nauwkeurig antwoord kan worden gegenereerd.

Belangrijkste Bijdragen

1. Nieuwe Taak en Dataset: Introductie van ODUTQA-MDC als de eerste benchmark voor open-domein, onvoldoende gespecificeerde tabulaire QA met multi-turn verduidelijking.
2. Fijnmazig Labelsysteem: Een uniek annotatieschema dat onderscheid maakt tussen intentie, scope en conditie-onderspecificatie, wat cruciaal is voor gerichte verduidelijking.
3. Dynamische Evaluatie: Een gesimuleerde interface die realistische, multi-turn dialogen nabootst om systemen te testen op hun vermogen om ambiguïteiten actief op te lossen.
4. MAIC-TQA Framework: Een agent-based systeem dat LLMs combineert met externe SQL-tools en validatielussen om fouten te corrigeren en de nauwkeurigheid te verhogen.

Resultaten

De auteurs hebben MAIC-TQA geëvalueerd tegen bestaande baselines (zoals SLUTQA) en verschillende LLM-backbones (Qwen3, Kimi K2, GLM 4, Doubao).

• Detectie van Onderspecificatie: De modellen presteerden sterk in het detecteren van ontbrekende informatie. Bijvoorbeeld, Doubao Seed 1.6 behaalde de hoogste nauwkeurigheid bij gemengde onderspecificaties.
• Tabel Retrieval: MAIC-TQA verbeterde de F1-score voor tabelretrieval aanzienlijk (van ~60% bij baselines naar >90% met verduidelijking), omdat het systeem actief ontbrekende context (zoals regio's) opvraagt.
• SQL Generatie: De Execution Correctness Rate (ECR) en Pass@1 verbeterden drastisch.
  • Op de Doubao Seed 1.6 model steeg de ECR met ongeveer 12-19% ten opzichte van de baseline zonder verduidelijking.
  • De Pass@1 (nauwkeurigheid van het eindantwoord) steeg met meer dan 33% op sommige modellen.
• Ablatie-studie: Het verwijderen van de verduidelijkingsmechanismen leidde tot een sterke daling in prestaties, vooral bij het wegnemen van scope- (FROM) en conditie- (WHERE) verduidelijking, wat aantoont dat deze stappen essentieel zijn voor succes.

Betekenis en Impact

Dit paper is een mijlpaal voor het onderzoek naar Text-to-SQL en Tabular QA in open domeinen.

• Realisme: Het adresseert het probleem dat gebruikersvragen in de praktijk zelden perfect zijn, wat een grote kloof was tussen academische benchmarks en real-world toepassing.
• Interactieve AI: Het bewijst dat multi-turn dialogen en actieve verduidelijking essentieel zijn voor het oplossen van complexe, onvolledige queries.
• Benchmarks: Het biedt de gemeenschap een gestandaardiseerde manier om systemen te evalueren op hun vermogen om ambiguïteiten op te lossen, wat de ontwikkeling van robuustere conversatieve AI-systemen voor data-analyse zal versnellen.

Kortom, ODUTQA-MDC en MAIC-TQA tonen aan dat door systemen de mogelijkheid te geven om onduidelijkheden actief te verduidelijken via een dialoog, de nauwkeurigheid van data-gebaseerde vragen aanzienlijk kan worden verbeterd, zelfs in complexe open-domein scenario's.