Resumo Técnico: CAPER – Supervisão de Processo Alinhada a Cláusulas para Text-to-SQL

Declaração do Problema

Sistemas de Text-to-SQL visam traduzir perguntas em linguagem natural em consultas SQL executáveis. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado neste campo por meio de vinculação de esquema e recuperação, a tarefa permanece um problema de geração estruturada de alta precisidade, onde um único erro semântico (por exemplo, uma chave de junção incorreta ou uma agregação) pode invalidar toda a consulta.

Os paradigmas de treinamento atuais enfrentam duas limitações primárias em relação à supervisão:

1. Corretude de Execução ao Nível da Consulta: A avaliação padrão baseia-se em sinais de execução terminais (Acurácia de Execução, EX). Embora escalável, isso fornece uma recompensa binária esparsa (sucesso/falha) que não oferece orientação sobre qual decisão intermediária causou a falha. Isso cria um problema de atribuição de crédito onde consultas de "quase acerto" (majoritariamente corretas, mas falhando em uma única cláusula) são tratadas identicamente a consultas completamente erradas.
2. Supervisão Densa ao Nível do Token: A transição para o feedback ao nível do token é inadequada para a semântica do SQL. Tokens individuais (aliases, vírgulas, operadores) raramente constituem decisões semânticas completas, enquanto decisões cruciais de SQL são expressas via estruturas de múltiplos tokens (ex: caminhos de junção, predicados). A supervisão ao nível do token pode difundir o crédito por símbolos de baixo nível e requer rotulagem detalhada pouco confiável.

O desafio central é derivar uma supervisão de processo alinhada a cláusulas a partir de resultados grosseiros ao nível da consulta sem a necessidade de anotação manual custosa, preservando a corretude da execução como o objetivo final, ao mesmo tempo em que permite a localização da causa raiz do erro.

Metodologia: O Framework CAPER

Os autores propõem o CAPER (Clause-Aligned Process Supervision), um framework automatizado que constrói dados de preferência ao nível de cláusula e treina um Modelo de Recompensa de Processo de Nível de Cláusula (Clause-PRM) leve. O framework opera em três estágios:

1. Anotação Automática de Recompensa

O CAPER converte resultados de trajetórias grosseiras em recompensas finas ao nível de cláusula usando duas estratégias complementares em uma representação de Árvore de Sintaxe Abstrata (AST) do SQL:

• Injeção de Falhas (para Trajetórias Bem-sucedidas): Para trajetórias que executam corretamente, o sistema amostra nós editáveis chave na AST e aplica mutações de preservação de tipo (ex: trocar colunas, alterar operadores). Uma mutação é retida apenas se ela alterar o resultado da execução, induzindo assim um erro semântico genuíno. Isso cria exemplos "negativos" onde a causa raiz é conhecida.
• Intervenção Contrafactual (para Trajetórias Falhas): Para trajetórias que falham, o sistema compara o SQL previsto com o padrão ouro. Ele identifica a cláusula divergente mais precoce e constrói uma consulta contrafactual corrigida reparando a AST sob o mesmo prefixo. O sistema então computa o script de edição de custo mínimo para transformar a cláusula prevista na corrigida, identificando o nó da causa raiz ($v^*$).

Propagação de Recompensa:
Uma vez identificado o nó da causa raiz, uma penalidade contínua é atribuída aos nós da AST com base em sua distância estrutural até $v^*$.

• O nó da causa raiz recebe a penalidade mais forte ($-\alpha$).
• Nós ancestrais no mesmo caminho de dependência recebem recompensas negativas com decaimento Gaussiano.
• Ramos não relacionados são mascarados (recompensa zero).
  Essas penalidades de nível de nó são agregadas ao nível de cláusula (ex: SELECT, FROM-JOIN, WHERE) usando um operador de mínimo, garantindo que uma cláusula contendo o erro decisivo herde um rótulo fortemente não positivo. Isso resulta em tuplas de preferência $(u^+, u^-)$ com uma margem contínua $\delta_k$ que reflete a severidade do erro estrutural.

2. Modelo de Recompensa de Processo de Nível de Cláusula (Clause-PRM)

Usando o conjunto de dados anotado $\mathcal{D}$, os autores ajustam um modelo leve (CAPER-9B, baseado em Qwen3.5-9B) para atuar como um Clause-PRM.

• Objetivo: O modelo aprende a pontuar a preferência entre uma unidade de cláusula correta e uma unidade de cláusula despreferida (contendo erro) dado o contexto de entrada e precedente.
• Treinamento: Ele otimiza um objetivo de preferência ponderado pela margem, onde pares com margens estruturais maiores (erros mais decisivos) contribuem com sinais de supervisão mais fortes.

3. Otimização de Política

O Clause-PRM treinado é implantado dentro de um loop de Aprendizado por Reforço (RL) (especificamente GRPO) para otimização da política de Text-to-SQL.

• Recompensa Multigranular: O sinal de recompensa em cada fronteira de cláusula combina:
  1. Recompensa de Cláusula: A pontuação do Clause-PRM para a cláusula atual.
  2. Recompensa de Execução: Um sinal terminal adicionado apenas na fronteira da cláusula final.
• Atribuição de Crédito: Em vez de colapsar as recompensas em uma vantagem única de trajetória, o método computa um retorno de ida ao nível de cláusula (clause-level return-to-go). Os tokens dentro de uma cláusula são otimizados com base na vantagem da trajetória restante após aquela fronteira de cláusula, preservando a atribuição de crédito temporal.

Principais Contribuições

1. Pipeline Automatizado: Um pipeline de SQL-AST contrafactual que localiza erros de causa raiz e constrói supervisão de preferência ao nível de cláusula sem anotação manual. Este pipeline gerou mais de 90.000 tuplas de preferência anotadas por cláusula em três conjuntos de dados (BIRD, Spider, SYNSQL).
2. Clause-PRM (CAPER-9B): Um modelo leve treinado para fornecer feedback denso nas fronteiras de cláusula. Ele preenche a lacuna entre resultados de execução esparsos e a supervisão frágil ao nível de token.
3. Validação Empírica: Demonstrou que a supervisão alinhada a cláusulas melhora significativamente tanto a acurácia de execução de ponta a ponta quanto a capacidade do modelo de localizar falhas.

Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks BIRD e Spider usando Qwen3.5-9B como backbone.

• Acurácia de Execução (EX):
  • A política GRPO treinada com CAPER-9B (recompensa ao nível de cláusula) alcançou uma melhoria relativa de 15,3% na Acurácia de Execução sobre o GPT-5.4 no conjunto de dados BIRD.
  • Superou tanto o GRPO de recompensa esparsa quanto os baselines de GRPO de recompensa ao nível de token, particularmente sob configurações de Majority Vote@8, indicando maior confiabilidade semântica nos candidatos amostrados.
• Localização de Falhas:
  • Em trajetórias falhas retidas, o CAPER-9B alcançou 84,53% de acurácia de localização Top-1 e 90,60% de Mean Reciprocal Rank (MRR).
  • Superou significativamente seletores heurísticos, prompts de autodebugging e modelos de recompensa baseados apenas em execução. Estudos de ablação confirmaram que a propagação consciente da topologia e a construção de erro contrafactual foram críticos para este desempenho.
• Verificação de Candidatos:
  • Quando usado como um verificador plug-and-play para reclassificar candidatos de LLMs de código fechado, o CAPER-9B consistentemente melhorou a acurácia de execução sobre o Majority Vote@8 em +0,7 a +1,6 pontos, demonstrando sua capacidade de identificar candidatos com decisões estruturais intermediárias confiáveis, mesmo quando o gerador é fixo.

Significância e Alegações

O artigo afirma que a supervisão de processo alinhada a cláusulas é uma direção escalável e eficaz para tarefas de geração estruturada como Text-to-SQL. Ao atribuir o sucesso e a falha de execução a decisões específicas de cláusulas SQL, o CAPER fornece um mecanismo prático de atribuição de crédito que evita a esparsidade dos rótios terminais e o desalinhamento semântico do feedback ao nível de token.

Os autores enfatizam que sua abordagem não requer novas arquiteturas de parser ou pipelines de prompting complexos, mas sim aproveita perturbações de AST contrafactuais para derivar supervisão semanticamente fundamentada. Os resultados sugerem que o feedback de processo intermediário, quando alinhado com as unidades semânticas do domínio (cláusulas SQL), pode melhorar significativamente tanto a otimização das políticas de geração quanto a capacidade diagnóstica dos modelos de recompensa.

Limitações Reconhecidas:
Os autores observam que a implementação atual decompõe o SQL apenas na granularidade de nível de cláusula superior, o que pode ser grosseiro para erros dentro de predicados complexos ou subconsultas. Além disso, o pipeline de anotação automatizada introduz sobrecarga computacional em comparação com recompensas esparsas, embora os dados resultantes sejam reutilizáveis para o treinamento do PRM. O método foca atualmente na geração de SQL, não em raciocínio de Cadeia de Pensamento (Chain-of-Thought).