ODUTQA-MDC: A Task for Open-Domain Underspecified Tabular QA with Multi-turn Dialogue-based Clarification

Título: ODUTQA-MDC: Uma Tarefa para QA Tabular de Domínio Aberto com Especificação Insuficiente e Esclarecimento Baseado em Diálogo Multi-turno

1. O Problema

O avanço dos Grandes Modelos de Linguagem (LLMs) melhorou significativamente a Resposta a Perguntas em Tabelas (Tabular QA). No entanto, esses modelos enfrentam dificuldades críticas em cenários de domínio aberto (onde a tabela alvo deve ser recuperada de um grande banco de dados) quando as consultas dos usuários são insuficientemente especificadas (underspecified).

As consultas reais frequentemente contêm:

• Erros de digitação.
• Expressões vagas ou ambíguas.
• Informações incompletas (ex: falta de cidade, distrito ou nome exato do projeto).

Essa ambiguidade impede a geração correta de consultas SQL, levando a respostas imprecisas. Trabalhos anteriores focam em cenários de domínio fechado ou em diálogos estáticos pré-definidos, falhando em capturar a natureza dinâmica e imprevisível das interações humanas reais, onde o esclarecimento iterativo é necessário para resolver ambiguidades.

2. Metodologia

Os autores propõem uma abordagem completa composta por três pilares principais:

A. A Tarefa ODUTQA-MDC
Definida como "Resposta a Perguntas em Tabelas de Domínio Aberto com Especificação Insuficiente e Esclarecimento Baseado em Diálogo Multi-turno". A tarefa envolve duas etapas principais:

1. Detecção de Insuficiência: Identificar o tipo de ambiguidade na consulta (focada nas cláusulas SQL: SELECT/intenção, FROM/escopo da tabela, WHERE/condição, ou mista).
2. QA Dinâmica Baseada em Esclarecimento: Interagir com um simulador de usuário para resolver as ambiguidades detectadas antes de gerar a resposta final.

B. O Dataset e Benchmark (ODUTQA)
Foi construído o primeiro dataset dedicado para este cenário:

• Escala: 209 tabelas estruturadas e 25.105 pares de Pergunta-Resposta (QA).
• Domínios: Mercado imobiliário, finanças imobiliárias e leilões de terras (China).
• Tipos de Insuficiência:
  • Intenção (SELECT): Coluna alvo vaga (ex: "como é o ambiente?" em vez de "taxa de verdejamento").
  • Escopo (FROM): Falta ou erro na identificação da tabela (ex: cidade ou distrito ausentes).
  • Condição (WHERE): Entidades inexistentes ou mal formatadas.
• Anotação Fina: Esquema de rotulagem detalhado que inclui detecção de intenção, escopo e condições, utilizando anotações de tripla [conteúdo, tipo, erro].
• Interface de Esclarecimento: Um simulador de usuário automatizado que gera respostas dinâmicas (paráfrases naturais) ou fixas, validando se a detecção do sistema está correta antes de fornecer a informação faltante.

C. O Framework MAIC-TQA
Propõe-se um sistema baseado em Agentes Multi-LLM para lidar com a tarefa:

1. Módulo SLU (Compreensão de Linguagem Falada): Usa um classificador BERT para detectar intenção e preencher slots (entidades), identificando se a intenção é "Desconhecida".
2. Agente Validador de Escopo (Scope Validator): Verifica se os slots de escopo (cidade, distrito) existem no banco de dados. Se faltar ou estiver errado, solicita esclarecimento.
3. Agente de Recuperação de Tabelas (Table Retrieval): Usa o histórico de diálogo (consulta original + esclarecimentos) para resumir e recuperar a tabela correta via algoritmo BM25.
4. Agente de Geração e Validação SQL: Gera a consulta SQL, executa e valida o resultado. Se o resultado estiver vazio ou incompleto, o sistema identifica a falta de condição e inicia um novo ciclo de esclarecimento.

O fluxo é iterativo: o sistema detecta ambiguidades, solicita esclarecimento, atualiza o contexto e regenera a consulta até obter uma resposta válida.

3. Principais Contribuições

1. Nova Tarefa e Dataset: Introdução do ODUTQA-MDC, o primeiro benchmark abrangente para QA tabular de domínio aberto com foco em ambiguidades e esclarecimento multi-turno.
2. Esquema de Avaliação Fina: Desenvolvimento de um sistema de anotação granular para detectar especificamente erros de escopo, intenção e condição, permitindo uma avaliação rigorosa da capacidade de resolução de ambiguidades.
3. Framework de Agentes (MAIC-TQA): Proposição de um sistema multi-agente que integra detecção de ambiguidade, validação de escopo e geração de SQL, demonstrando que a interação dinâmica supera abordagens estáticas.
4. Interface de Simulação Realista: Criação de um simulador de usuário que gera respostas naturalistas (paráfrases) mantendo a consistência factual, permitindo testes robustos de robustez linguística.

4. Resultados Experimentais

Os experimentos foram conduzidos comparando o MAIC-TQA com a linha de base SLUTQA (que não possui mecanismo de esclarecimento) utilizando diversos LLMs (Qwen3, Kimi K2, GLM 4, Doubao).

• Detecção de Insuficiência: Modelos como Doubao Seed 1.6 e Kimi K2 alcançaram os melhores resultados na detecção de ambiguidades de escopo e condição, tanto em modo fixo quanto dinâmico.
• Recuperação de Tabelas: O método proposto superou significativamente a linha de base.
  • Exemplo: No modelo Qwen3 32B, o F1 de recuperação de tabela saltou de 60.07% (SLUTQA) para 92.89% (MAIC-TQA Fixo).
• Geração de SQL: Houve melhoria drástica na taxa de execução correta (ECR) e no Pass@1.
  • No modelo Doubao Seed 1.6, a taxa de conformidade de execução (ECR) melhorou em 12.29% (modo fixo) e 19.04% (modo dinâmico) em relação à linha de base.
  • O Pass@1 (precisão da resposta final) aumentou em mais de 33% em alguns modelos.
• Estudo de Ablação: A remoção dos mecanismos de esclarecimento para escopo (FROM) e condição (WHERE) causou quedas severas no desempenho (até 28% de queda no Pass@1), provando que esses são os principais gargalos e que o esclarecimento é essencial.

5. Significância e Conclusão

Este trabalho estabelece um novo padrão para a pesquisa em QA tabular, reconhecendo que a precisão em cenários do mundo real depende da capacidade do sistema de detectar e resolver ambiguidades ativamente, em vez de apenas tentar adivinhar a intenção a partir de uma consulta incompleta.

• Impacto Acadêmico: Fornece o primeiro benchmark unificado para avaliar o fluxo completo: "detecção de informação -> esclarecimento multi-turno -> raciocínio QA".
• Aplicabilidade Prática: O framework MAIC-TQA demonstra que sistemas baseados em agentes podem lidar com a complexidade de consultas humanas reais, reduzindo drasticamente a taxa de erro em sistemas de Text-to-SQL.
• Generalização: Embora o dataset seja focado em imóveis, a metodologia é agnóstica ao esquema e pode ser aplicada a outros domínios verticais (saúde, e-commerce), desde que haja um banco de dados estruturado.

Em resumo, o artigo demonstra que a integração de diálogo de esclarecimento é não apenas benéfica, mas crítica para viabilizar sistemas de QA tabular de domínio aberto robustos e precisos.