AmbiSQL: Interactive Ambiguity Detection and Resolution for Text-to-SQL

Resumo Técnico: AmbiSQL

1. Problema Identificado

Os sistemas de Text-to-SQL (tradução de linguagem natural para SQL), impulsionados por Grandes Modelos de Linguagem (LLMs), têm mostrado resultados promissores, mas continuam propensos a erros. O principal obstáculo identificado é a ambiguidade nas consultas.

• Natureza do Problema: Em cenários do mundo real, as consultas dos usuários raramente são perfeitamente precisas. A ambiguidade pode surgir de referências não especificadas a elementos do banco de dados (esquema, valores) ou de requisitos de raciocínio que exigem conhecimento externo.
• Consequências: A ambiguidade leva a:
  • Mapeamento incorreto de elementos do banco de dados.
  • Erros de raciocínio por parte do LLM (ex: interpretação de datas ou conceitos temporais).
  • Geração de consultas SQL sintaticamente válidas, mas semanticamente imprecisas, que não atendem à intenção real do usuário.
  • Dificuldades na avaliação de benchmarks, onde uma única consulta pode ter múltiplas interpretações válidas.

2. Metodologia

O AmbiSQL é um sistema interativo projetado para detectar automaticamente ambiguidades e guiar o usuário através de um processo de clarificação para resolver essas incertezas antes da geração do SQL.

A. Taxonomia de Ambiguidade (O Núcleo da Detecção)
Os autores propõem uma taxonomia granular dividida em duas dimensões principais para classificar os erros:

1. Ambiguidade Originada no Banco de Dados (Database-sourced):

   • AmbiSchema: Falta de contexto para determinar qual tabela ou coluna usar (ex: "usuário mais velho" refere-se à idade ou data de registro?).
   • AmbiValue: Referências a valores que não correspondem exatamente aos dados armazenados (ex: "Nova York" vs. "NYC" no banco).
   • AmbiIntent: Ausência de termos que clarifiquem a operação SQL desejada (ex: ordenar vs. filtrar vs. agrupar).

2. Ambiguidade Originada no LLM (LLM-sourced):

   • AmbiSource: Incerteza sobre se os dados devem vir do banco ou ser inferidos pelo LLM (ex: altura de Michael Jordan).
   • AmbiContext: Falta de contexto para raciocínio (ex: taxa de câmbio sem especificar moedas ou data).
   • AmbiFallacy: Premissas de conhecimento que contradizem fatos reais ou o conteúdo do banco.
   • AmbiRef: Restrições espaciais ou temporais mal especificadas (ex: "após a Copa de 2018" pode significar o fim do torneio ou o ano inteiro).

B. Pipeline do Sistema (Duas Etapas)
O sistema opera em um fluxo de duas etapas:

1. Etapa 1: Identificação de Ambiguidade

   • Utiliza LLMs pré-treinados com in-context learning (aprendizado em contexto) para analisar a consulta do usuário e o esquema do banco de dados.
   • O LLM identifica frases ambíguas, classifica-as conforme a taxonomia e gera Perguntas de Clarificação (CQs).
   • As CQs são apresentadas ao usuário como opções de múltipla escolha intuitivas, baseadas em snippets do esquema ou conhecimento contextual. Incluem opções "Abster-se" (se irrelevante) e "Outros" (para entrada livre).

2. Etapa 2: Refinamento Iterativo

   • As respostas do usuário são processadas por um módulo de Atualização de Preferências, que armazena as preferências em uma estrutura de árvore baseada na taxonomia.
   • O módulo de Refinamento de Consulta reescreve a consulta original incorporando as restrições adicionais e as preferências do usuário.
   • O sistema verifica recursivamente se a nova consulta introduziu novas ambiguidades. O ciclo continua até que todas as ambiguidades sejam resolvidas.
   • A consulta final, agora desambiguada, é enviada ao sistema backend de Text-to-SQL (integrado ao XiYan-SQL da Alibaba) para geração do SQL.

3. Principais Contribuições

• Sistema Interativo AmbiSQL: Uma demonstração funcional que integra detecção automática de ambiguidade com feedback do usuário em tempo real.
• Taxonomia Abrangente: A primeira taxonomia detalhada que cobre não apenas erros de schema-linking (mapeamento de esquema), mas também erros de raciocínio do LLM e dependências de conhecimento externo.
• Abordagem Híbrida: Combina a eficiência da detecção automática por LLM com a precisão da intervenção humana (Human-in-the-loop), superando as limitações de sistemas puramente automáticos que podem divergir da intenção do usuário.
• Dataset de Benchmarks: Criação e disponibilização de 40 consultas ambíguas curadas a partir dos benchmarks BIRD e TAG, cobrindo todos os tipos da taxonomia proposta, para validação e demonstração.

4. Resultados e Demonstração

• Integração: O sistema foi integrado ao backend comercial XiYan-SQL.
• Interface de Usuário: A demonstração oferece um painel interativo onde os participantes podem:
  1. Inserir consultas personalizadas ou selecionar exemplos do dataset.
  2. Resolver ambiguidades através de menus suspensos e opções de múltipla escolha.
  3. Visualizar o SQL gerado com e sem a desambiguação, comparando estruturas e entidades referenciadas.
• Eficácia: O sistema demonstra capacidade de corrigir erros críticos, como mapear "ranked 2" para a coluna correta (position vs. rank) e ajustar filtros temporais com base em feedback histórico (ex: datas específicas do fim da Guerra do Vietnã), resultando em SQLs que refletem fielmente a intenção do usuário.

5. Significado e Impacto

O trabalho do AmbiSQL é significativo porque:

• Melhora a Robustez: Aborda uma das principais causas de falha em sistemas Text-to-SQL do mundo real, onde a precisão semântica é tão importante quanto a sintaxe.
• Avança a Avaliação: Oferece uma nova perspectiva para a avaliação de benchmarks, reconhecendo que consultas ambíguas podem ter múltiplas respostas "corretas" dependendo da intenção do usuário, e não apenas uma "verdade fundamental" única.
• Usabilidade: Permite que usuários sem conhecimento em SQL ou bancos de dados interajam com sistemas complexos de forma intuitiva, reduzindo a barreira de entrada e aumentando a confiança nos resultados gerados por IA.
• Futuro: Abre caminho para o desenvolvimento de sistemas mais resilientes que podem lidar proativamente com a imprecisão inerente à linguagem natural humana.

O código e o vídeo da demonstração estão disponíveis publicamente, permitindo que a comunidade de pesquisa explore e expanda essas técnicas.