SpotIt+: Verification-based Text-to-SQL Evaluation with Database Constraints

O artigo apresenta o SpotIt+, uma ferramenta de código aberto que avalia sistemas Text-to-SQL verificando a equivalência de consultas através da geração de instâncias de banco de dados diferenciadas, utilizando um pipeline inovador que combina mineração de regras e validação por LLMs para garantir que as discrepâncias encontradas reflitam restrições práticas e relevantes.

Rocky Klopfenstein, Yang He, Andrew Tremante + 3 more2026-03-05🤖 cs.AI