FD-NL2SQL: Feedback-Driven Clinical NL2SQL that Improves with Use

Resumen Técnico: FD-NL2SQL

1. El Problema

La investigación oncológica y el desarrollo de fármacos dependen críticamente de la exploración de repositorios de ensayos clínicos estructurados (como ClinicalTrials.gov o repositorios institucionales). Estos datos contienen información compleja sobre fases de ensayos, biomarcadores, criterios de elegibilidad y resultados.

Sin embargo, existen barreras significativas para acceder a esta información:

• Fricción técnica: La consulta de estas bases de datos requiere conocimientos avanzados de SQL y un profundo entendimiento del esquema de la base de datos (tablas, claves foráneas, ontologías de enfermedades), habilidades que los clínicos e investigadores traslacionales generalmente no poseen.
• Limitaciones de herramientas existentes: Las interfaces de registro actuales se basan en búsquedas por palabras clave, que no pueden manejar filtros estructurados multi-constraint (ej. biomarcador + fase + criterio de reclutamiento). Los dashboards de inteligencia de negocios son rígidos y no cubren el espacio combinatorio de consultas exploratorias.
• Fragilidad del NL2SQL general: Los sistemas actuales de "Natural Language to SQL" (NL2SQL) están diseñados para benchmarks generales. En dominios especializados como la oncología, la generación "naive" sin anclaje al esquema específico ni recuperación de ejemplos del dominio conduce a consultas frágiles, sintácticamente inválidas o clínicamente implausibles.

2. Metodología

El sistema FD-NL2SQL es un asistente de NL2SQL impulsado por retroalimentación, diseñado específicamente para bases de datos de ensayos clínicos oncológicos (SQLite). Su arquitectura se basa en un pipeline modular de tres etapas principales, seguido de un mecanismo de auto-evolución:

A. Arquitectura del Pipeline:

1. Anclaje al Esquema (Schema Grounding): Antes de la generación, el sistema inspecciona la base de datos para construir un diccionario de esquema (tablas, columnas, tipos, claves de unión). Este contexto se inyecta en los prompts del LLM y se utiliza para validación posterior.
2. Descomposición y Recuperación (Decomposition-Retrieval):
   • Dada una pregunta en lenguaje natural ($x$), un LLM la descompone en sub-preguntas atómicas alineadas con el esquema ($X(x)$), donde cada sub-pregunta corresponde a un predicado filtrable (columna, operador, valor).
   • Para cada sub-pregunta, el sistema recupera los $k$ ejemplos más similares de un banco de ejemplos (parejas de pregunta-SQL validadas por expertos) utilizando embeddings de oraciones (Sentence-BERT).
   • Se extraen patrones de cláusulas WHERE compactos de estos ejemplos para reducir el ruido en el prompt.
3. Síntesis Guiada por Recuperación: Un segundo LLM sintetiza el SQL final ($\hat{y}$) condicionado a: (i) la pregunta original, (ii) la descomposición de predicados y (iii) los paquetes de ejemplos recuperados. El modelo usa los ejemplos como plantillas estructurales.
4. Ejecución y Validación: El SQL generado se analiza, se aplican guardias ligeras (política de solo lectura, verificación de esquema, tiempo de espera) y se ejecuta contra la base de datos SQLite para mostrar resultados.

B. Mecanismo de Retroalimentación y Auto-Evolución (Feedback Loop):
El sistema mejora continuamente mediante dos señales de actualización:

1. Aprobación de Expertos: Si un clínico edita y aprueba el SQL generado, el par (Pregunta, SQL corregido) se añade al banco de ejemplos para futuras recuperaciones.
2. Augmentación Lógica de SQL (Sin anotación manual adicional):
   • Mutación Atómica: Se aplica una única transformación lógica a un SQL aprobado (ej. cambiar un operador = a >=, sustituir una columna compatible, o modificar un umbral de valor).
   • Filtro de Ejecución: La variante mutada solo se retiene si se ejecuta con éxito y devuelve resultados no vacíos.
   • Traducción Inversa: Un LLM genera una nueva pregunta en lenguaje natural y la descomposición de predicados correspondiente para el SQL mutado.
   • Este nuevo par se añade al banco, expandiendo automáticamente la cobertura del sistema sin necesidad de nueva anotación humana.

3. Contribuciones Clave

• Estrategia de Descomposición a Nivel de Predicado: Una estrategia consciente del esquema que divide las preguntas complejas en sub-preguntas atómicas, mejorando la robustez en bases de datos oncológicas complejas.
• Pipeline de Síntesis Guiado por Recuperación: Un enfoque que ancla la generación de LLMs en ejemplos verificados por expertos, asegurando la construcción de consultas fiables y alineadas con el dominio.
• Asistente Auto-Evolucionario: Un sistema de retroalimentación que mejora continuamente a través de la interacción clínica, incorporando correcciones de expertos y expandiendo su conocimiento mediante mutaciones lógicas validadas por la base de datos.
• Interfaz Transparente: Un demo que expone el proceso completo (descomposición, ejemplos recuperados, SQL sintetizado y resultados) para permitir el refinamiento interactivo y la auditoría.

4. Resultados

El sistema se evaluó en un conjunto de datos derivado de 500 preguntas semilla de un oncólogo del Mayo Clinic, expandido programáticamente a 1500 muestras. Se comparó FD-NL2SQL contra baselines de zero-shot, few-shot, Chain-of-Thought (CoT) y modelos ajustados (SQL-R1), utilizando varios LLMs (Qwen3, Gemma3, GPT-5).

• Mejora en Precisión de Ejecución: FD-NL2SQL superó consistentemente a las estrategias de prompting estándar en métricas basadas en ejecución (eEM - Exact Match y eF1). Por ejemplo, con el modelo Qwen3, el eEM mejoró de ~26% (Zero-shot) a 40.93%.
• Fidelidad Estructural: Se observó una mejora significativa en las puntuaciones AST (similitud del árbol de sintaxis), indicando que el SQL generado sigue más de cerca la estructura correcta y reduce la deriva lógica.
• Reducción de la Brecha entre Modelos: El sistema permitió que modelos más pequeños y económicos (como Gemma3 o GPT-5-nano) alcanzaran niveles de fiabilidad comparables a modelos más grandes cuando se combinaban con descomposición y guía de ejemplos.
• Robustez: Los baselines de prompting puro mostraron fragilidad en preguntas multi-constraint (omisión de predicados o selección de columnas incompatibles), mientras que FD-NL2SQL mitigó estos fallos mediante el anclaje al esquema y la recuperación de patrones validados.

5. Significancia e Impacto

• Democratización del Acceso a Datos: Reduce la barrera de entrada para clínicos, permitiéndoles realizar exploraciones de múltiples restricciones en tiempo real sin depender de analistas de datos o conocimientos de SQL.
• Seguridad y Reproducibilidad: A diferencia de los sistemas que generan texto libre, FD-NL2SQL produce SQL ejecutable y auditable. Incluye mecanismos de seguridad (solo lectura, validación de esquema) y registra banderas diagnósticas para consultas inseguras.
• Adaptabilidad Dinámica: El enfoque de "asistente vivo" permite que el sistema evolucione junto con los repositorios de ensayos clínicos, adaptándose a cambios en el esquema o nuevas terminologías sin necesidad de reentrenamiento costoso.
• Aplicabilidad Clínica: Facilita la generación de hipótesis, la planificación regulatoria y la investigación traslacional al transformar registros estáticos en herramientas analíticas interactivas, acelerando la velocidad de investigación en el desarrollo de fármacos oncológicos.

En conclusión, FD-NL2SQL representa un avance significativo al integrar la descomposición de dominios, la recuperación de ejemplos y la retroalimentación humana en un ciclo de mejora continua, resolviendo la brecha entre la experiencia clínica y el acceso a datos estructurados complejos.