📄 other

A Biomedical Benchmark and Modular RAG Framework for Text2Cypher

Este artigo apresenta o bio2C, um benchmark compatível com FAIR composto por 2.500 pares curados de linguagem natural-Cypher, e uma estrutura modular de Geração Aumentada por Recuperação que melhora significamente a precisão de Text2Cypher para grafos de conhecimento biomédicos ao alavancar exemplos recuperados em vez de prompting baseado em esquema.

Autores originais: Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

Publicado 2026-07-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma biblioteca imensa e movimentada onde cada livro, autor e personagem está conectado por fios invisíveis. Esta não é apenas uma biblioteca qualquer; é a biblioteca da própria vida, guardando os segredos de nossos genes, doenças e medicamentos. Cientistas chamam isso de "Grafo de Conhecimento Biomédico". É como um mapa gigante e vivo onde um nó "Gene" pode estar ligado a um nó "Doença", que está ligado a um nó "Medicamento". O problema é que esta biblioteca não tem um bibliotecário amigável que fale a sua língua. Para fazer uma pergunta como "Quais medicamentos podem ajudar esta doença específica?", você precisa falar uma linguagem secreta e codificada chamada "Cypher". É como tentar pedir uma pizza escrevendo um programa de computador em vez de apenas dizer: "Eu quero uma de pepperoni". A maioria dos médicos e pesquisadores não fala esse código, portanto, não conseguem explorar facilmente os tesouros da biblioteca.

Entram em cena os heróis desta história: Modelos de Linguagem de Grande Escala (LLMs). Você pode conhecê-los como os superinteligentes chatbots de IA que podem escrever histórias ou responder curiosidades. Cientistas têm tentado ensinar essas IAs a agir como tradutoras, transformando nossas perguntas em linguagem natural em o código secreto Cypher que a biblioteca entende. Isso é chamado de "Text2Cypher". Mas aqui está o detalhe: ensinar uma IA a fazer isso no mundo médico tem sido como tentar ensinar um cachorro a jogar xadrez usando um manual de instruções quebrado. Não tínhamos exemplos bons o suficiente, e os testes que usávamos para verificar o trabalho da IA eram frequentemente simples demais ou criados por computadores, perdendo a realidade complexa e desordenada das perguntas médicas reais. Sem um bom mapa e um teste justo, não podíamos ter certeza se a IA estava realmente aprendendo ou apenas adivinhando.

Este artigo apresenta um mapa novinho em folha, de alta qualidade, e um campo de testes rigoroso para corrigir isso. Os pesquisadores criaram o bio2C, um benchmark consistindo de 2.500 pares cuidadosamente elaborados à mão de perguntas em linguagem natural e suas respostas corretas em Cypher. Ao contrário de tentativas anteriores que dependiam de modelos gerados por computador, estas perguntas foram escritas para refletir como os cientistas reais realmente pensam, abrangendo desde buscas simples até investigações complexas de múltiplas etapas envolvendo genes, doenças e processos biológicos. Eles organizaram essas perguntas em cinco níveis de dificuldade, variando desde encontrar um único item até navegar em um caminho de três etapas através do grafo e realizar cálculos avançados.

Para ver como diferentes estratégias de IA funcionam, a equipe construiu uma estrutura modular para testar várias técnicas de "prompting" (instrução). Eles compararam três abordagens principais:

Apenas esquema (Schema-only): Dar à IA um projeto da estrutura da biblioteca, mas sem exemplos.
Geração Aumentada por Recuperação (RAG): Dar à IA alguns exemplos semelhantes de perguntas e respostas da coleção bio2C para aprender com eles.
Híbrida: Combinar o projeto com os exemplos e, às vezes, até mostrar à IA os resultados dessas consultas de exemplo.

Eles testaram esses métodos usando tanto modelos de IA proprietários poderosos (como o GPT-4) quanto modelos de código aberto (como o LLaMA), com e sem treinamento adicional (ajuste fino ou fine-tuning) em seu novo benchmark.

Os resultados foram claros e surpreendentes. O artigo descobriu que simplesmente mostrar à IA um projeto da estrutura do banco de dados não era suficiente. Em vez disso, a estratégia mais eficaz foi recuperar exemplos representativos. Quando a IA era apresentada a exemplos semelhantes do mundo real de perguntas e respostas (RAG), ela desempenhava significativamente melhor do que quando tinha apenas o projeto estrutural. De fato, para a configuração de melhor desempenho, essa abordagem melhorou a precisão das consultas geradas em 31,6 pontos percentuais em comparação com os métodos padrão baseados em esquema.

Curiosamente, o artigo sugere que, para modelos que haviam sido ajustados (fine-tuned) especificamente nos dados do bio2C, ver exemplos semelhantes era tão útil que eles nem precisavam do projeto estrutural para atingir seu pico de desempenho. No entanto, para modelos que não haviam sido ajustados, combinar o projeto com os exemplos (S+RAG) funcionava melhor. O estudo também revelou que este método funciona particularmente bem para perguntas complexas de múltiplas etapas (como consultas de 3 saltos/hops), onde os exemplos ajudam a IA a entender o "formato" do problema melhor do que uma descrição estática do banco de dados poderia fazer.

Os pesquisadores também testaram seu sistema em um conjunto de dados diferente e menor, e com perguntas escritas por um biólogo independente que nunca tinha visto seus dados de treinamento. O sistema manteve-se sólido, sugerindo que essas melhorias não são apenas um truque para memorizar as perguntas de teste, mas que realmente ajudam a IA a entender como navegar em dados biomédicos complexos no mundo real. O artigo conclui que ter um benchmark de alta qualidade, diverso e curado por humanos é mais importante do que ter apenas um grande número de exemplos, e que mostrar à IA o tipo certo de exemplos é a chave para desbloquear sua capacidade de traduzir a curiosidade humana em respostas legíveis por máquinas.

Resumo Técnico: Um Benchmark Biomédico e um Framework RAG Modular para Text2Cypher

Declaração do Problema

Os Grafos de Conhecimento Biomédico (bioKGs) são essenciais para integrar dados heterogêneos, como interações genômicas e relações entre fármacos e alvos. Embora bancos de dados de grafos de propriedades como o Neo4j ofereçam armazenamento e consulta eficientes por meio da linguagem Cypher, a exigência de expertise técnica para escrever consultas Cypher limita a acessibilidade para especialistas do domínio. Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa na tradução de perguntas em Linguagem Natural (NL) para Cypher (Text2Cypher), o progresso no domínio biomédico é dificultado pela falta de benchmarks representativos e frameworks de avaliação reprodutíveis. Os benchmarks existentes são frequentemente gerados por templates, carecem de diversidade na complexidade das consultas ou contêm dados curados insuficientes para suportar treinamento e avaliação robustos. Além disso, as abordagens atuais de Text2Cypher lutam com os desafios específicos de grafos de propriedades, que exigem a inferência de travessias de grafos, direções de relacionamento e construtos complexos (ex: caminhos de comprimento variável, agregação) que diferem significativamente das tarefas de Text2SQL ou Text2SPARQL.

Metodologia

O Benchmark bio2C

Os autores introduzem o bio2C, um benchmark biomédico em conformidade com os princípios FAIR, composto por 2.500 pares NL-Cypher curados manualmente. Diferente de recursos anteriores que priorizam quantidade, o bio2C foca em representatividade e qualidade de anotação.

Dados de Origem: O benchmark é fundamentado em uma visão do RNA-KG, um grande bioKG contendo aproximadamente 99.000 nós e 1,6 milhão de relacionamentos envolvendo miRNAs, genes, doenças, fenótipos e anotações de Ontologia Gênica.
Estrutura: Os 2.500 pares são organizados em cinco níveis de complexidade (500 pares cada):
1. Nó: Recuperação de nó único com condições lógicas.
2. 1-hop: Consultas sobre relacionamentos entre pares de nós.
3. 2-hop: Travessias envolvendo três nós e dois relacionamentos.
4. 3-hop: Travessias mais profundas envolvendo quatro nós e três relacionamentos.
5. Avançado: Consultas utilizando construtos Cypher complexos (WITH, REDUCE, CASE, agregação, ranking).
Processo de Curadoria: Cada instância foi desenvolvida identificando padrões de grafos, implementando consultas Cypher sintaticamente corretas e biologicamente relevantes, e formulando perguntas em NL que refletem necessidades reais de informação biomédica, em vez de expressões geradas por templates. Todas as consultas foram validadas contra a visão do RNA-KG para garantir correção semântica.

Framework RAG Modular

Para avaliar sistematicamente estratégias de aumento de recuperação, os autores projetaram um framework modular composto por seis configurações de prompt. Esses pipelines combinam incrementalmente três fontes de informação contextual:

Esquema do Grafo ( $G_S$ ): Descrições do esquema de grafo de propriedades (usando o paradigma de Esquema Aprimorado).
Exemplos Recuperados: Pares NL-Cypher semanticamente similares recuperados do banco de dados vetorial bio2C (RAG).
Saídas de Execução: Os resultados da execução das consultas Cypher recuperadas ( $R(Q_C)$ ).

Os seis pipelines avaliados são:

Vanilla: Apenas a pergunta em NL.
Schema: Pergunta em NL + Esquema.
RAG: Pergunta em NL + Exemplos recuperados.
RAG+O: Pergunta em NL + Exemplos recuperados + Saídas de execução.
S+RAG: Esquema + Exemplos recuperados.
S+RAG+O: Esquema + Exemplos recuperados + Saídas de execução.

Configuração Experimental

O framework foi avaliado utilizando modelos proprietários (GPT-4o, GPT-4o-mini) e um modelo de código aberto (LLaMA-3.1-8B), juntamente com seus equivalentes ajustados (FT) treinados no bio2C. O desempenho foi medido usando:

Jaro-Winkler (JW): Similaridade sintática.
Jaccard (Jac): Similaridade semântica das saídas de execução.
Cobertura (Cov): A fração dos resultados da verdade fundamental (ground truth) retornados pela consulta gerada (Precisão de Execução).
Pass: A função indicadora onde a Cobertura é igual a 1 (cobertura semântica completa).

Principais Resultados

Desempenho dos Pipelines RAG

Recuperação vs. Esquema: Recuperar exemplos NL-Cypher representativos (RAG) superou consistentemente o prompting baseado apenas em esquema em todos os modelos e métricas.
Ajuste Fino (Fine-Tuning) vs. Engenharia de Prompt: Embora os modelos ajustados tenham alcançado, em geral, maior precisão, configurações ricas de engenharia de prompt (especificamente S+RAG+O) reduziram significativamente a lacuna de desempenho com os modelos ajustados para os modelos base. Por exemplo, o GPT-4o com S+RAG+O alcançou uma Cobertura de 76,9% e Pass de 83,1%, superando o GPT-4oFT sob prompting vanilla (76,1% e 80,0%).
Melhor Configuração: A configuração de melhor desempenho global foi o GPT-4oFT com RAG, que alcançou um score de Pass de 89,3%. Notavelmente, para modelos ajustados, o pipeline RAG sozinho frequentemente superou a combinação de esquema e exemplos, sugerindo que modelos ajustados podem inferir restrições de esquema diretamente dos exemplos.
Impacto das Saídas de Execução: Incluir saídas de execução (RAG+O, S+RAG+O) proporcionou ganhos adicionais, particularmente para modelos base, ao oferecer orientação semântica sobre os resultados esperados.

Generalização e Robustez

Validação Cega: Ao ser testado em 50 perguntas formuladas independentemente por um biólogo molecular, o pipeline GPT-4oFT com RAG alcançou uma Cobertura de 73,4% e Pass de 70%, demonstrando generalização para consultas de usuários do mundo real.
Avaliação Cross-Dataset: O framework foi testado no MedT2C (um dataset baseado em Hetionet). Apesar de o MedT2C possuir um esquema menos complexo e menos exemplos, a tendência se manteve: pipelines com exemplos recuperados superaram as abordagens vanilla e apenas de esquema. A melhor configuração (GPT-4oFT com S+RAG) alcançou 88,8% de Cobertura.
Impacto da Categoria de Consulta: O desempenho variou conforme a complexidade da consulta. Consultas de Nó e 3-hop renderam os maiores scores de Pass (92%), enquanto as de 1-hop e Avançadas foram menores (78%). A análise revelou que o RAG é particularmente eficaz para consultas multi-hop estruturalmente ricas porque os exemplos recuperados frequentemente compartilham subestruturas com a consulta alvo, enquanto consultas de 1-hop frequentemente recuperam exemplos não conformes, levando a quedas de desempenho.

Análise de Erros

A configuração de melhor desempenho (GPT-4oFT com RAG) eliminou todos os Erros de Compilação (CE) e reduziu os Erros de Lógica (LE) em 91,4% comparado ao prompting vanilla. Os erros restantes concentraram-se principalmente nas categorias Avançada e 1-hop, frequentemente devido a alucinações ou má interpretação de agregações complexas.

Significância e Contribuições

O artigo reivindica duas contribuições primárias para o campo do Text2Cypher biomédico:

Benchmark bio2C: O primeiro benchmark biomédico FAIR especificamente desenhado para Text2Cypher, oferecendo cobertura sistemática de esquemas reais de bioKG e construtos Cypher progressivamente complexos. Os autores argumentam que a qualidade e a diversidade do benchmark são mais críticas do que o volume bruto, pois a curadoria manual melhorou significamente a cobertura e o desempenho dos modelos em comparação com datasets gerados automaticamente.
Framework RAG Modular: Um framework de avaliação reprodutível que isola as contribuições da informação de esquema, dos exemplos recuperados e das saídas de execução. Este framework estabelece bases sólidas para pesquisas futuras e demonstra que exemplos de recuperação cuidadosamente curados melhoram substancialmente a geração de Cypher sobre bioKGs, muitas vezes superando as estratégias de prompting baseadas em esquema.

O trabalho conclui que benchmarks de alta qualidade e curados, bem como exemplos de recuperação representativos, são essenciais para o desenvolvimento de sistemas de Text2Cypher confiáveis, permitindo que especialistas do domínio consultem complexos grafos de conhecimento biomédico sem necessidade de profunda expertise técnica. O benchmark, o código-fonte e os pipelines avaliados estão publicamente disponíveis.