BiomedSQL: Text-to-SQL for Scientific Reasoning on Biomedical Knowledge Bases

1. O Problema

A pesquisa biomédica moderna depende cada vez mais de bancos de dados estruturados em grande escala (como registros de saúde eletrônicos e estudos de associação genômica). Embora sistemas de Text-to-SQL (conversão de linguagem natural para SQL) prometam democratizar o acesso a esses dados, os sistemas atuais falham em contextos científicos complexos.

O principal gargalo identificado não é a tradução sintática (mapear palavras para comandos SQL), mas a raciocínio científico implícito. Perguntas de pesquisadores frequentemente exigem:

• Inferir critérios de domínio específicos (ex.: limiares de significância estatística como $p < 5 \times 10^{-8}$ para estudos GWAS).
• Interpretar direcionalidade de efeitos (ex.: coeficientes beta positivos vs. negativos).
• Filtrar dados por fases de ensaios clínicos ou status de aprovação de drogas.
• Realizar raciocínio de múltiplos passos (multi-hop) através de ontologias e tabelas relacionadas.

Benchmarks existentes (como SPIDER ou BIRD) focam em tradução de esquema ou lógica temporal, mas não avaliam a capacidade de inferir convenções científicas rigorosas necessárias para a descoberta biomédica.

2. Metodologia e Construção do Dataset (BiomedSQL)

Os autores introduzem o BiomedSQL, o primeiro benchmark projetado especificamente para avaliar o raciocínio científico na geração de Text-to-SQL.

• Base de Dados: O dataset é fundamentado em um banco de dados harmonizado no Google BigQuery, integrando:
  • Associações gene-doença-droga (OpenTargets, ChEMBL).
  • Estatísticas de estudos GWAS de Alzheimer e Parkinson (milhões de linhas).
  • Inferências causais de dados ômicos (SMR - Summary-data-based Mendelian Randomization).
  • Registros de aprovação de drogas e ensaios clínicos.
• Estrutura do Dataset:
  • Contém 68.227 tripletas (pergunta/consulta SQL/resposta).
  • Gerado a partir de 40 perguntas "semente" criadas e validadas por especialistas biomédicos, expandidas programaticamente via substituição de entidades (genes, doenças, SNPs).
  • Cada pergunta exige que o modelo infira limiares estatísticos e lógicas de filtragem que não estão explícitas no esquema do banco de dados.
• Avaliação:
  • Métricas de Execução: Precisão de Execução (EX), Índice de Jaccard (JAC) e Taxa de Erro de Sintaxe (SER).
  • Métricas de Resposta: BioScore (avaliado por LLM como juiz, calibrado com especialistas humanos) medindo Qualidade da Resposta (RQR) e Taxa de Segurança (SR - capacidade de não responder quando incerto).
  • Linha de Base Humana: Analistas biomédicos especialistas servem como referência (atingindo ~90% de precisão).

3. Contribuições Principais

1. Novo Benchmark (BiomedSQL): Um conjunto de dados massivo e realista focado em raciocínio científico, superando benchmarks anteriores em complexidade e profundidade de domínio.
2. Infraestrutura Aberta: Disponibilização pública do banco de dados BigQuery, consultas "gold" (douradas) geradas por especialistas, resultados de execução e um kit de ferramentas para avaliação e orquestração de agentes.
3. Análise de Estado da Arte: Avaliação extensiva de modelos de linguagem (LLMs) abertos e proprietários, revelando uma lacuna significativa entre a performance atual de IA e a expertise humana.
4. Agente Personalizado (BMSQL): Desenvolvimento de um agente multi-etapa que supera os modelos de geração única, demonstrando a eficácia de pipelines iterativos para tarefas complexas.

4. Resultados Experimentais

Os experimentos avaliaram diversos modelos (GPT-4o, o3-mini, Gemini-3-Pro, Claude, Qwen, Llama) sob diferentes paradigmas (prompting único, few-shot, ReAct, DAIL-SQL e o agente BMSQL).

• Desempenho Geral: Existe uma lacuna substancial entre LLMs e especialistas humanos.
  • O melhor modelo isolado, Gemini-3-Pro, alcançou 58,1% de precisão de execução (EX).
  • O agente personalizado BMSQL (usando GPT-o3-mini) alcançou 62,6% de EX.
  • A linha de base de especialistas é de 90,0%.
• Impacto de Paradigmas de Interação:
  • Few-Shot: O uso de 10 exemplos (10-shot) trouxe os maiores ganhos para modelos de geração única.
  • ReAct e Indexação: Melhoraram marginalmente a precisão, mas não fecharam a lacuna.
  • BMSQL (Agente Multi-etapa): Foi o melhor performer geral. Ao refinar consultas com base em feedback de execução e aplicar regras de domínio (limiares estatísticos), o BMSQL alcançou 62,6% de EX e 83,1% de Qualidade de Resposta (RQR), rivalizando com especialistas na qualidade da resposta em linguagem natural, embora ainda tenha dificuldade na precisão exata da consulta SQL.
• Erros Comuns: Os modelos falham predominantemente em:
  1. Seleção incorreta de tabelas.
  2. Falha em aplicar limiares estatísticos corretos (ex.: esquecer $p < 5e-8$).
  3. Erros de agregação.
• Escalabilidade: Ao aumentar o esquema de 10 para 20 tabelas, a performance dos modelos caiu significativamente (7-10%), enquanto o BMSQL foi mais robusto (queda de 2-4%), indicando que agentes iterativos lidam melhor com a complexidade do esquema.

5. Significado e Conclusão

O BiomedSQL demonstra que os sistemas atuais de Text-to-SQL, embora avançados em tradução sintática, ainda carecem do raciocínio de domínio profundo necessário para a descoberta científica. A simples tradução de linguagem natural para SQL não é suficiente; os modelos precisam "entender" convenções estatísticas e lógicas biológicas implícitas.

O trabalho sugere que o futuro desses sistemas reside em agentes multi-etapa que podem iterar, validar e refinar consultas com base em feedback de execução e regras de domínio, em vez de depender apenas de prompts estáticos. O BiomedSQL estabelece um novo padrão rigoroso para avaliar e impulsionar sistemas de IA capazes de apoiar a descoberta científica em bancos de dados biomédicos estruturados.

Recursos:

• Dataset: HuggingFace
• Código: GitHub