FD-NL2SQL: Feedback-Driven Clinical NL2SQL that Improves with Use

Título: FD-NL2SQL: NL2SQL Clínico Orientado por Feedback que Melhora com o Uso

1. Problema

O acesso a repositórios de ensaios clínicos oncológicos (como o ClinicalTrials.gov e repositórios institucionais) é fundamental para a pesquisa e desenvolvimento de medicamentos. No entanto, esses bancos de dados contêm informações estruturadas complexas (fases do estudo, biomarcadores, critérios de elegibilidade, desfechos, etc.) que exigem consultas ad-hoc com múltiplas restrições.

• Barreira Técnica: A consulta eficaz requer expertise em SQL e conhecimento profundo do esquema do banco de dados, algo que oncologistas e pesquisadores translacionais geralmente não possuem.
• Limitações das Ferramentas Atuais: Interfaces de registro baseadas em palavras-chave não conseguem filtrar múltiplas restrições estruturadas de forma confiável. Painéis de BI são rígidos. Sistemas NL2SQL (Natural Language para SQL) genéricos falham em domínios especializados devido à falta de alinhamento com o esquema clínico, gerando consultas frágeis ou clinicamente implausíveis.
• Necessidade: É necessário um sistema que reduza a dependência de habilidades técnicas, permita exploração interativa e melhore continuamente com o uso, sem exigir anotação manual constante.

2. Metodologia

O FD-NL2SQL é um assistente interativo projetado especificamente para bancos de dados SQLite de ensaios clínicos oncológicos. Sua arquitetura segue um pipeline modular que combina raciocínio de Grandes Modelos de Linguagem (LLMs), recuperação de exemplos e verificações programáticas.

Componentes Principais:

1. Ancoragem no Esquema (Schema Grounding):

   • O sistema inspeciona o banco de dados para construir um dicionário de esquema (tabelas, colunas, tipos, chaves de junção).
   • Esse contexto é injetado nos prompts e usado para validação pós-geração (ex: verificar se a coluna existe).

2. Decomposição e Recuperação (Decomposition-Retrieval):

   • Decomposição: Dada uma pergunta em linguagem natural ($x$), um LLM a decompõe em sub-perguntas atômicas alinhadas ao esquema ($X(x)$), onde cada sub-pergunta corresponde a um predicado filtrável (coluna, operador, valor).
   • Recuperação: Para cada sub-pergunta, o sistema recupera os $k$ exemplos mais semelhantes de um banco de exemplos (Exemplar Bank) de pares (Pergunta, SQL) verificados por especialistas, utilizando embeddings de sentenças (Sentence-BERT).
   • Isso fornece "templates" estruturados validados por humanos para guiar a geração.

3. Síntese de SQL Guiada por Recuperação:

   • Um segundo LLM sintetiza a consulta SQL final ($\hat{y}$) condicionada à pergunta original, à decomposição e aos exemplos recuperados.
   • O modelo é instruído a usar os exemplos como templates estruturais, satisfazendo todas as restrições e evitando cópia literal irrelevante.
   • Validação: O SQL gerado passa por filtros leves (política de leitura apenas, verificação de esquema, tempo limite) antes de ser executado no SQLite.

4. Ciclo de Feedback e Expansão do Banco de Exemplos (Self-Evolving):

   • Aprovação do Especialista: O usuário (clínico) pode editar o SQL gerado. Se aprovado, o par (Pergunta, SQL corrigido) é adicionado ao banco de exemplos.
   • Aumento de SQL Baseado em Lógica (Augmentation): Para expandir a cobertura sem anotação manual adicional:
     • O sistema aplica uma mutação atômica única em um SQL aprovado (ex: mudar operador = para >=, substituir coluna compatível, alterar valor numérico).
     • A variante é mantida apenas se executar com sucesso e retornar resultados não vazios.
     • Um LLM separado realiza a retrotradução, gerando a nova pergunta em linguagem natural e a decomposição correspondente para essa variante.
     • O novo par é adicionado ao banco, expandindo automaticamente o conhecimento do sistema.

3. Contribuições Principais

1. Estratégia de Decomposição Consciente do Esquema: Uma abordagem que decompõe perguntas complexas em predicados atômicos alinhados ao esquema, aumentando a robustez em bancos de dados oncológicos complexos.
2. Pipeline de Síntese Guiado por Recuperação: Um mecanismo que fundamenta a geração do LLM em exemplos verificados por especialistas, garantindo a construção de consultas confiáveis e estruturalmente corretas.
3. Assistente de Consulta Autoevolutivo: Um sistema que melhora continuamente através da interação com o clínico, incorporando feedback humano e expandindo seu banco de exemplos via mutações lógicas validadas, sem necessidade de anotação massiva adicional.

4. Resultados e Avaliação

• Dataset: Construído a partir de 500 perguntas semente escritas por um cientista do Mayo Clinic, expandidas programaticamente para 1500 amostras (NL2SQL) através de edições atômicas controladas (projeção, predicados, valores).
• Baselines: Comparado com estratégias de Zero-shot, Few-shot, Chain-of-Thought (CoT) e modelos ajustados (SQL-R1), utilizando diversos LLMs (Gemma3, Qwen3, GPT-5).
• Métricas: Foco em correção baseada em execução (execution-based correctness), incluindo:
  • eEM (Exact Match dos resultados).
  • eF1 (Sobreposição de linhas).
  • AST Score (Fidelidade estrutural).
  • Confidence (Confiança do LLM).
• Desempenho: O FD-NL2SQL superou consistentemente todas as baselines em todas as métricas, especialmente em modelos menores ou mais baratos.
  • Reduziu a fragilidade de prompts diretos (que frequentemente omitiam predicados ou selecionavam colunas incompatíveis).
  • O uso de decomposição e exemplos recuperados estabilizou a geração, permitindo que modelos menores (como Gemma3) alcançassem confiabilidade próxima à de modelos maiores quando guiados pelo sistema.
• Qualidade: O sistema demonstrou maior precisão na execução exata e na estrutura do SQL, evitando "alucinações" de colunas ou junções inexistentes.

5. Significado e Impacto

• Aplicabilidade Clínica: O sistema transforma repositórios estáticos em ferramentas analíticas interativas, permitindo que oncologistas testem hipóteses e explorem critérios de ensaios clínicos em tempo real sem depender de analistas de dados.
• Segurança e Transparência: Diferente de sistemas que geram apenas texto, o FD-NL2SQL produz SQL executável e auditável. A interface expõe o rastro de raciocínio (decomposição, exemplos recuperados, SQL final), permitindo que o especialista valide e refine a consulta.
• Aprendizado Contínuo: A capacidade de o sistema "aprender com o uso" através de feedback humano e expansão automática segura (mutações validadas) resolve o problema de manutenção de modelos em domínios dinâmicos como a medicina.
• Viabilidade Operacional: Ao permitir que modelos menores e mais baratos funcionem com alta precisão quando combinados com essa arquitetura, o sistema reduz custos e latência para implantação em ambientes clínicos reais.

Em resumo, o FD-NL2SQL preenche a lacuna entre a expertise oncológica e o acesso a dados estruturados, oferecendo uma solução robusta, segura e adaptável para a pesquisa de ensaios clínicos.