SANE Schema-aware Natural-language Evaluation of Biological Data

Resumo Técnico: SANE – Avaliação de Dados Biológicos via Linguagem Natural Consciente de Esquema

Declaração do Problema
A microscopia de alto rendimento gera vastos conjuntos de dados estruturados que capturam respostas celulares a perturbações farmacológicas. Embora plataformas como o Cell-Profiler facilitem o processamento e armazenamento de dados, o acesso eficaz aos dados permanece um gargalo. Consultas tradicionais exigem conhecimento em SQL e familiaridade com esquemas hierárquicos complexos (ex: linhagens celulares, drogas, concentrações e réplicas de imagem). Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma alternativa em linguagem natural via Text-to-SQL, sua tendência a alucinar e gerar consultas incorretas levanta preocupações quanto à confiabilidade em contextos científicos. Além disso, os benchmarks existentes (ex: Spider, BIRD) focam em consultas gerais elaboradas por humanos e carecem das estruturas experimentais específicas encontradas em bancos de dados biomédicos de domínio específico.

Metodologia: O Framework SANE
Os autores apresentam o SANE (Schema-Aware Natural-language Evaluation), um novo paradigma para avaliar sistemas de Text-to-SQL especificamente adaptado para dados biológicos. Diferente de benchmarks estáticos, o SANE gera automaticamente consultas de avaliação diretamente do esquema subjacente do banco de dados e de designs experimentais reais.

• Arquitetura do Sistema: A avaliação utiliza um LLM de poucos disparos (few-shot) (LlaMA 3.1 quantizado em 4 bits) integrado a uma aplicação web para consultar um banco de dados PostgreSQL. O sistema opera sem qualquer treinamento ou ajuste fino (fine-tuning) do modelo.
• Pipeline de Três Estágios:
  1. Avaliação de Contexto: O LLM primeiro determina se a consulta em linguagem natural contém contexto suficiente para ser respondida, emitindo um rótulo binário (suficiente/ausente). Se o contexto estiver ausente, o sistema aciona um pedido de esclarecimento.
  2. Geração de SQL: Se o contexto for suficiente, o LLM gera uma instrução SQL usando prompting consciente do esquema. Este prompt injeta a estrutura do banco de dados, terminologia de domínio, regras de filtragem (ex: excluir artefatos de borda) e exemplos específicos.
  3. Interpretação de Resultados: O banco de dados executa o SQL, e uma segunda passagem de LLM interpreta o resultado estruturado em uma resposta de linguagem natural (texto, tópicos ou tabelas).
• Geração de Benchmark: O SANE deriva sistematicamente 572 casos de teste não triviais a partir de experimentos reais de resposta a drogas de alto rendimento. Essas consultas são categorizadas em seis grupos: Simples, Complexas, Erros (erros de digitação/abreviações), Sem Contexto (subespecificadas), Multi-etapas e Consultas de Esquema. O framework introduz perturbações controladas (ex: erros de digitação, contexto ausente) para simular interações realistas de usuários.
• Métricas de Avaliação: A precisão é determinada comparando o rótulo de contexto previsto pelo LLM contra a verdade fundamental (ground truth) e, para consultas suficientes, verificando se os resultados da execução do SQL gerado correspondem aos resultados de referência (equivalência de conjunto de resultados).

Principais Contribuições

1. Benchmarking de Domínio Específico Escalável: Um framework para gerar consultas de teste realistas e fundamentadas no esquema a partir de dados biológicos de alto rendimento, indo além dos benchmarks de propósito geral.
2. Avaliação de Grande Escala: Um benchmark abrangente composto por 572 consultas geradas automaticamente derivadas de estruturas experimentais reais.
3. Análise de Robustez: Uma análise detalhada de modos de falha identificando a ambiguidade na linguagem natural como a principal fonte de erros, em vez de falhas inerentes de geração de SQL.

Resultos
O sistema de LLM few-shot alcançou uma precisão geral de 97,2% nas 572 consultas sem qualquer treinamento ou ajuste fino.

• Categorias de Alto Desempenho: As consultas Simples (100%), Complexas (98,4%) e de Esquema (96,9%) demonstraram alta confiabilidade.
• Categorias de Menor Desempenho: As consultas Sem Contexto (81,8%), com Erros (86,1%) e Multi-etapas (85,7%) mostraram precisão ligeiramente inferior.
• Análise de Falhas: Das 16 falhas, 10 foram devidas à previsão incorreta do rótulo de "contexto ausente" (frequentemente devido a sinônimos desconhecidos ou consultas subespecificadas interpretadas incorretamente). Apenas 5 falhas envolveram geração de SQL levemente incorreta (ex: omissão de identificadores), e uma foi um descarte genérico devido a má classificação.
• Linha de Base Zero-Shot: Sem os exemplos de few-shot, dependendo apenas da injeção de esquema, a precisão caiu significativamente para 29,9%, destacando o papel crítico do prompting de domínio específico.

Significância e Alegações
O artigo afirma que o SANE demonstra que LLMs few-shot podem fornecer acesso a bancos de dados de forma confiável em domínios bem definidos e restritos quando combinados com prompting consciente do esquema e salvaguardas (guardrails). A principal significância reside em:

• Eliminação de Barreiras: A abordagem remove a necessidade de perícia em SQL e treinamento de modelos, permitindo que pesquisadores interroguem diretamente os resultados experimentais.
• Confiabilidade em Domínios Restritos: Os resultados sugerem que, para aplicações científicas específicas, o risco de alucinação pode ser mitigado através de prompting estruturado e validação de contexto, tornando os LLMs viáveis como assistentes de pesquisa.
• Direção Futura: Os autores argumentam que melhorias futuras devem priorizar mecanismos de desambiguação interativa para lidar com entradas de usuários ambíguas, em vez de focar no ajuste fino do modelo, uma vez que a capacidade central de geração de SQL do modelo já é robusta quando a entrada é clara.