📄 other

A Biomedical Benchmark and Modular RAG Framework for Text2Cypher

Este artículo presenta bio2C, un referente compatible con FAIR de 2.500 pares curados de lenguaje natural-Cypher, y un marco de Generación Aumentada por Recuperación modular que mejora significativamente la precisión de Text2Cypher para grafos de conocimiento biomédico mediante el aprovechamiento de ejemplos recuperados sobre el uso de prompts basados en esquemas.

Autores originales: Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

Publicado 2026-07-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una biblioteca masiva y bulliciosa donde cada libro, autor y personaje está conectado por hilos invisibles. Esta no es una biblioteca cualquiera; es la biblioteca de la vida misma, que contiene los secretos de nuestros genes, enfermedades y medicinas. Los científicos la llaman un "Grafo de Conocimiento Biomédico". Es como un mapa gigante y vivo donde un nodo de "Gen" podría estar unido a un nodo de "Enfermedad", que a su vez está unido a un nodo de "Fármaco". El problema es que esta biblioteca no tiene un bibliotecario amable que hable tu idioma. Para hacer una pregunta como: "¿Qué fármacos podrían ayudar a esta enfermedad específica?", tienes que hablar un lenguaje secreto y codificado llamado "Cypher". Es como intentar pedir una pizza escribiendo un programa de computadora en lugar de simplemente decir: "Quiero una de pepperoni". La mayoría de los médicos e investigadores no hablan este código, por lo que no pueden explorar fácilmente los tesoros de la biblioteca.

Aquí entran los héroes de esta historia: los Modelos de Lenguaje Extensos (LLM). Tal vez los conozcas como los superinteligentes chatbots de IA que pueden escribir historias o responder preguntas de cultura general. Los científicos han estado tratando de enseñar a estas IA a actuar como traductores, convirtiendo nuestras preguntas en lenguaje natural en el código secreto Cypher que la biblioteca entiende. Esto se llama "Text2Cypher". Pero aquí está el truco: enseñar a una IA a hacer esto en el mundo médico ha sido como intentar enseñarle a un perro a jugar al ajedrez usando un manual de instrucciones roto. No teníamos suficientes ejemplos buenos, y las pruebas que usábamos para verificar el trabajo de la IA eran a menudo demasiado simples o creadas por computadoras, perdiendo la realidad desordenada y compleja de las preguntas médicas reales. Sin un buen mapa y una prueba justa, no podíamos estar seguros de si la IA realmente estaba aprendiendo o simplemente adivinando.

Este artículo presenta un mapa completamente nuevo y de alta calidad y un campo de pruebas riguroso para solucionar eso. Los investigadores crearon bio2C, un benchmark que consiste en 2,500 pares cuidadosamente elaborados a mano de preguntas en lenguaje natural y sus respuestas correctas en Cypher. A diferencia de los intentos previos que dependían de plantillas generadas por computadora, estas preguntas fueron escritas para reflejar cómo piensan realmente los científicos, cubriendo desde búsquedas simples hasta investigaciones complejas de múltiples pasos que involucran genes, enfermedades y procesos biológicos. Organizaron estas preguntas en cinco niveles de dificultad, que van desde encontrar un solo elemento hasta navegar por un camino de tres pasos a través del grafo y realizar cálculos avanzados.

Para ver cómo funcionan las diferentes estrategias de IA, el equipo construyó un marco modular para probar diversas técnicas de "prompting" (instrucciones). Compararon tres enfoques principales:

Solo esquema (Schema-only): Darle a la IA un plano de la estructura de la biblioteca pero sin ejemplos.
Generación Aumentada por Recuperación (RAG): Darle a la IA algunos ejemplos similares de preguntas y respuestas de la colección bio2C para que aprenda de ellos.
Híbrido: Combinar el plano con los ejemplos y, a veces, incluso mostrarle a la IA los resultados de esas consultas de ejemplo.

Probaron estos métodos utilizando tanto modelos de IA potentes y propietarios (como GPT-4) como de código abierto (como LLaMA), con y sin entrenamiento adicional (ajuste fino o fine-tuning) sobre su nuevo benchmark.

Los resultados fueron claros y sorprendentes. El artículo encontró que simplemente mostrarle a la IA un plano de la estructura de la base de datos no era suficiente. En cambio, la estrategia más efectiva fue recuperar ejemplos representativos. Cuando la IA veía ejemplos similares del mundo real de preguntas y respuestas (RAG), su rendimiento era significativamente mejor que cuando solo tenía el plano estructural. De hecho, para la configuración con mejor desempeño, este enfoque mejoró la precisión de las consultas generadas en 31.6 puntos porcentuales en comparación con los métodos estándar basados en esquemas.

Curiosamente, el artículo sugiere que para los modelos que habían sido ajustados (entrenados específicamente con los datos de bio2C), ver ejemplos similares era tan útil que ni siquiera necesitaban el plano estructural para alcanzar su máximo nivel de desempeño. Sin embargo, para los modelos que no habían sido ajustados, combinar el plano con los ejemplos (S+RAG) funcionaba mejor. El estudio también reveló que este método funciona particularmente bien para preguntas complejas de múltiples pasos (como consultas de 3 saltos o "3-hop"), donde los ejemplos ayudan a la IA a entender mejor la "forma" del problema que una descripción estática de la base de datos.

Los investigadores también probaron su sistema en un conjunto de datos diferente y más pequeño, y con preguntas escritas por un biólogo independiente que nunca había visto sus datos de entrenamiento. El sistema se mantuvo sólido, lo que sugiere que estas mejoras no son solo un truco para memorizar las preguntas de la prueba, sino que realmente ayudan a la IA a entender cómo navegar por datos biomédicos complejos en el mundo real. El artículo concluye que tener un benchmark de alta calidad, diverso y curado por humanos es más importante que tener simplemente una gran cantidad de ejemplos, y que mostrarle a una IA el tipo de ejemplos adecuados es la clave para desbloquear su capacidad de traducir la curiosidad humana en respuestas legibles por máquinas.

Resumen Técnico: Un Benchmark Biomédico y un Marco de RAG Modular para Text2Cypher

Declaración del Problema

Los Grafos de Conocimiento Biomédico (bioKGs) son esenciales para integrar datos heterogéneos, como interacciones genómicas y relaciones fármaco-objetivo. Aunque las bases de datos de grafos de propiedades como Neo4j ofrecen un almacenamiento y consulta eficientes mediante el lenguaje Cypher, el requisito de experiencia técnica para escribir consultas Cypher limita la accesibilidad para los expertos en el dominio. Aunque los Modelos de Lenguaje Extensos (LLMs) muestran potencial para traducir Lenguaje Natural (NL) a Cypher (Text2Cypher), el progreso en el dominio biomédico se ve obstaculizado por la falta de benchmarks representativos y marcos de evaluación reproducibles. Los benchmarks existentes suelen ser generados por plantillas, carecen de diversidad en la complejidad de las consultas o contienen datos insuficientes y curados para soportar un entrenamiento y evaluación robustos. Además, los enfoques actuales de Text2Cypher luchan con los desafíos específicos de los grafos de propiedades, que requieren inferir traversales de grafos, direcciones de relaciones y constructos complejos (p. ej., rutas de longitud variable, agregación) que difieren significativamente de las tareas de Text2SQL o Text2SPARQL.

Metodología

El Benchmark bio2C

Los autores presentan bio2C, un benchmark biomédico conforme a los principios FAIR que comprende 2,500 pares NL-Cypher curados manualmente. A diferencia de otros recursos que priorizan la cantidad, bio2C se enfoca en la representatividad y la calidad de la anotación.

Datos de Origen: El benchmark se fundamenta en una vista de RNA-KG, un bioKG de gran escala que contiene aproximadamente 99,000 nodos y 1.6 millones de relaciones que involucran miRNAs, genes, enfermedades, fenotipos y anotaciones de la Ontología Génica (Gene Ontology).
Estructura: Los 2,500 pares están organizados en cinco niveles de complejidad (500 pares cada uno):
1. Nodo: Recuperación de un solo nodo con condiciones lógicas.
2. 1-hop: Consultas sobre relaciones entre pares de nodos.
3. 2-hop: Traversales que involucran tres nodos y dos relaciones.
4. 3-hop: Traversales más profundos que involucran cuatro nodos y tres relaciones.
5. Avanzado: Consultas que utilizan constructos complejos de Cypher (WITH, REDUCE, CASE, agregación, ranking).
Proceso de Curación: Cada instancia fue desarrollada identificando patrones de grafos, implementando consultas Cypher sintácticamente correctas y biológicamente relevantes, y formulando preguntas en NL que reflejan necesidades de información biomédica realistas en lugar de expresiones generadas por plantillas. Todas las consultas fueron validadas contra la vista de RNA-KG para asegurar la corrección semántica.

Marco de RAG Modular

Para evaluar sistemáticamente las estrategias de recuperación aumentada, los autores diseñaron un marco modular que comprende seis configuraciones de prompts. Estos pipelines combinan incrementalmente tres fuentes de información contextual:

Esquema de Grafo ( $G_S$ ): Descripciones del esquema de grafo de propiedades (usando el paradigma de Esquema Mejorado).
Ejemplos Recuperados: Pares NL-Cypher semánticamente similares recuperados de la base de datos vectorial de bio2C (RAG).
Resultados de Ejecución: Los resultados de ejecutar las consultas Cypher recuperadas ( $R(Q_C)$ ).

Los seis pipelines evaluados son:

Vanilla: Solo pregunta en NL.
Schema: Pregunta en NL + Esquema.
RAG: Pregunta en NL + Ejemplos recuperados.
RAG+O: Pregunta en NL + Ejemplos recuperados + Resultados de ejecución.
S+RAG: Esquema + Ejemplos recuperados.
S+RAG+O: Esquema + Ejemplos recuperados + Resultados de ejecución.

Configuración Experimental

El marco fue evaluado utilizando modelos propietarios (GPT-4o, GPT-4o-mini) y un modelo de código abierto (LLaMA-3.1-8B), junto con sus contrapartes de ajuste fino (FT) entrenadas en bio2C. El rendimiento se midió mediante:

Jaro-Winkler (JW): Similitud sintáctica.
Jaccard (Jac): Similitud semántica de los resultados de ejecución.
Cobertura (Cov): La fracción de resultados de la verdad de campo (ground truth) devueltos por la consulta generada (Precisión de Ejecución).
Pass: La función indicadora donde la Cobertura es igual a 1 (cobertura semántica completa).

Resultados Clave

Rendimiento de los Pipelines de RAG

Recuperación vs. Esquema: La recuperación de ejemplos representativos de NL-Cypher (RAG) superó consistentemente al prompting basado solo en esquemas en todos los modelos y métricas.
Ajuste Fino vs. Ingeniería de Prompts: Aunque los modelos ajustados finamente generalmente alcanzaron una mayor precisión, las configuraciones ricas de ingeniería de prompts (específicamente S+RAG+O) redujeron significativamente la brecha de rendimiento con los modelos ajustados finamente para los modelos base. Por ejemplo, GPT-4o con S+RAG+O alcanzó una Cobertura de 76.9% y un Pass de 83.1%, superando al GPT-4oFT bajo prompting vanilla (76.1% y 80.0%).
Mejor Configuración: La mejor configuración de rendimiento general fue GPT-4oFT con RAG, que alcanzó un puntaje de Pass de 89.3%. Notablemente, para los modelos ajustados finamente, el pipeline de RAG a menudo superó la combinación de esquema y ejemplos, lo que sugiere que los modelos ajustados finamente pueden inferir las restricciones del esquema directamente de los ejemplos.
Impacto de los Resultados de Ejecución: La inclusión de resultados de ejecución (RAG+O, S+RAG+O) proporcionó ganancias adicionales, particularmente para los modelos base, al ofrecer guía semántica sobre los resultados esperados.

Generalización y Robustez

Validación Ciega: Al ser probado en 50 preguntas formuladas independientemente por un biólogo molecular, el pipeline GPT-4oFT con RAG logró una Cobertura de 73.4% y un Pass de 70%, demostrando la generalización a consultas de usuarios reales.
Evaluación de Cruzamiento de Datasets: El marco fue probado en MedT2C (un dataset basado en Hetionet). A pesar de que MedT2C tiene un esquema menos complejo y menos ejemplos, la tendencia se mantuvo: los pipelines con ejemplos recuperados superaron a los enfoques vanilla y de solo esquema. La mejor configuración (GPT-4oFT con S+RAG) alcanzó un 88.8% de Cobertura.
Impacto de la Categoría de Consulta: El rendimiento varió según la complejidad de la consulta. Las consultas de Nodo y 3-hop arrojaron los puntajes de Pass más altos (92%), mientras que las de 1-hop y Avanzadas fueron menores (78%). El análisis reveló que RAG es particularmente efectivo para consultas multi-hop estructuralmente ricas porque los ejemplos recuperados suelen compartir subestructuras con la consulta objetivo, mientras que las consultas de 1-hop frecuentemente recuperan ejemplos no conformes, provocando caídas en el rendimiento.

Análisis de Errores

El entorno de mejor desempeño (GPT-4oFT con RAG) eliminó todos los Errores de Compilación (CE) y redujo los Errores de Lógica (LE) en un 91.4% en comparación con el prompting vanilla. Los errores restantes se concentraron principalmente en las categorías Avanzada y 1-hop, debido a menudo a alucinaciones o malinterpretación de agregaciones complejas.

Significancia y Contribuciones

El artículo reclama dos contribuciones primarias al campo de Text2Cypher biomédico:

Benchmark bio2C: El primer benchmark biomédico FAIR diseñado específicamente para Text2Cyper, que ofrece cobertura sistemática de esquemas reales de bioKG y constructos de Cypher progresivamente complejos. Los autores argumentan que la calidad y diversidad del benchmark son más críticas que el volumen bruto, ya que la curación manual mejoró significativamente la cobertura y el rendimiento de los modelos en comparación con los datasets generados automáticamente.
Marco de RAG Modular: Un marco de evaluación reproducible que aísla las contribuciones de la información del esquema, los ejemplos recuperados y los resultados de ejecución. Este marco establece líneas base sólidas para investigaciones futuras y demuestra que los ejemplos de recuperación cuidadosamente curados mejoran sustancialmente la generación de Cypher sobre los bioKGs, superando a menudo las estrategias de prompting basadas en esquemas.

El trabajo concluye que los benchmarks de alta calidad y curados, junto con ejemplos de recuperación representativos, son esenciales para desarrollar sistemas de Text2Cypher confiables, permitiendo a los expertos en el dominio consultar complejos grafos de conocimiento biomédico sin una profunda experiencia técnica. El benchmark, el código fuente y los pipelines evaluados están disponibles públicamente.