SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks

1. Problema

Os Grandes Modelos de Linguagem (LLMs) têm alcançado desempenho impressionante em benchmarks de Natural Language to SQL (NL2SQL), como Spider, SParC, CoSQL e BIRD. No entanto, há uma preocupação crescente de que essas métricas de precisão possam estar infladas artificialmente devido à contaminação de dados. Isso ocorre quando os modelos são expostos às consultas de teste ou a padrões estruturalmente similares durante o treinamento, levando à memorização em vez de uma generalização composicional genuína.

O problema central abordado é a dificuldade em distinguir se um modelo está realmente entendendo a lógica de conversão de linguagem natural para SQL ou apenas "lembrando" de exemplos específicos do conjunto de testes. Métodos existentes de detecção de contaminação muitas vezes focam em sobreposição de strings ou em testes de múltipla escolha, mas podem não capturar a sensibilidade do modelo a variações sintáticas sutis que preservam o significado semântico.

2. Metodologia: O Framework SPENCE

Os autores introduzem o SPENCE (Syntactic Probing and Evaluation of NL2SQL Contamination Effects), um framework controlado para detectar e quantificar a contaminação através de perturbações sintáticas. O pipeline funciona da seguinte maneira:

• Geração de Paráfrases Controladas: Para cada consulta de linguagem natural (NL) nos conjuntos de dados de desenvolvimento (Spider, SParC, CoSQL, BIRD), o sistema gera 10 paráfrases sintaticamente variadas usando um LLM (GPT-5). As paráfrases são geradas com o contexto do esquema do banco de dados e a consulta SQL dourada (gold SQL) para garantir fidelidade semântica.
• Métrica de Distância Sintática (TED): As paráfrases são analisadas e ordenadas com base na Distância de Edição de Árvore (Tree Edit Distance - TED) entre as árvores de dependência sintática da consulta original e da paráfrase.
  • Rank 1: Paráfrases sintaticamente mais próximas da original.
  • Rank 10: Paráfrases sintaticamente mais distantes (reestruturações mais profundas).
• Filtragem Semântica: As paráfrases são filtradas usando similaridade de cosseno baseada em embeddings e verificação humana para garantir que, embora a sintaxe mude, o significado permaneça equivalente.
• Avaliação Emparelhada: Os modelos NL2SQL são avaliados tanto na consulta original quanto nas paráfrases filtradas. A métrica principal é a diferença na precisão de execução ($\Delta$Accuracy) entre a paráfrase e a original.
• Análise de Sensibilidade: Calcula-se o coeficiente de correlação de Kendall's $\tau$ entre o rank da paráfrase (distância sintática) e a mudança na precisão. Um $\tau$ fortemente negativo indica que a precisão cai à medida que a distância sintática aumenta, sugerindo dependência de memorização.

3. Principais Contribuições

• Framework SPENCE: Uma metodologia nova e reproduzível para avaliar a robustez de modelos NL2SQL contra variações sintáticas, servindo como um "probe" para contaminação.
• Evidência de Contaminação Temporal: O estudo correlaciona a sensibilidade à paráfrase com a data de lançamento dos benchmarks, demonstrando que benchmarks mais antigos são mais vulneráveis à contaminação.
• Distinção entre Generalização e Memorização: O trabalho fornece uma visão granular de como os modelos falham ao lidar com reescritas estruturais, diferenciando falhas de composição geral de falhas específicas de memorização de dados de teste.
• Validação de Robustez: O framework foi testado em múltiplos modelos (incluindo GPT-4o-mini, LLaMA-3, e modelos de raciocínio como o3-mini) e demonstrou ser robusto a variações no gerador de paráfrases e na temperatura do modelo.

4. Resultados Principais

Os experimentos revelaram um gradiente temporal claro na sensibilidade dos modelos:

• Benchmarks Antigos (Spider, SParC, CoSQL):
  • Exibiram uma queda acentuada na precisão de execução à medida que a distância sintática aumentava (Rank 1 a 10).
  • O coeficiente de Kendall's $\tau$ foi fortemente negativo (entre -0.6 e -0.95), indicando que os modelos performam bem em consultas próximas às originais (possivelmente memorizadas) mas degradam rapidamente com reescritas.
  • No Spider (lançado em 2018), a queda de precisão foi de 10-15 pontos percentuais nos ranks mais altos.
• Benchmarks Recentes (BIRD):
  • O dataset BIRD (lançado em 2023) mostrou-se notavelmente estável. A precisão dos modelos manteve-se quase constante ou com variações mínimas independentemente da distância sintática.
  • Os valores de $\tau$ foram próximos de zero e estatisticamente insignificantes, sugerindo que o modelo não está memorizando o BIRD da mesma forma que os benchmarks antigos.
• Controles e Validações:
  • A queda de desempenho não foi atribuída ao aumento no comprimento das consultas ou à perda de links de esquema (schema linking).
  • A análise de sobreposição léxica (Jaccard) confirmou que a degradação é impulsionada pela divergência estrutural, não apenas lexical.
  • A substituição do gerador de paráfrases (de GPT-5 para LLaMA-4) não alterou a tendência, confirmando que o sinal é intrínseco aos benchmarks e aos modelos avaliados.

5. Significado e Conclusão

O artigo conclui que a sensibilidade sintática é um indicador forte de contaminação ou memorização em benchmarks NL2SQL.

• Implicações para Avaliação: Os rankings atuais de líderes (leaderboards) podem estar superestimando a capacidade de generalização dos modelos em benchmarks mais antigos (como Spider). A avaliação deve incluir testes de robustez a paráfrases para garantir que o modelo está aprendendo a tarefa e não apenas memorizando exemplos.
• Futuro dos Benchmarks: Benchmarks mais recentes e complexos, como o BIRD, parecem ser mais resistentes a esses efeitos de contaminação, sugerindo que a comunidade deve migrar para conjuntos de dados mais novos e dinâmicos.
• Recomendação: O SPENCE deve ser adotado como uma ferramenta complementar padrão para auditoria de robustez, ajudando a distinguir entre modelos que generalizam verdadeiramente e aqueles que sofrem de "overfitting" de benchmark.

Em resumo, o SPENCE oferece uma lente crítica para reavaliar o progresso real em NL2SQL, sugerindo que parte do sucesso reportado nos últimos anos pode ser atribuído à exposição prévia aos dados de teste, e não apenas a avanços na arquitetura dos modelos.