Resumen Técnico: Generación de Texto a SPARQL con Aprendizaje por Refuerzo

Declaración del Problema

La Respuesta a Preguntas sobre Grafos de Conocimiento (KGQA) tiene como objetivo traducir preguntas en lenguaje natural a consultas SPARQL ejecutables. Si bien los enfoques existentes a menudo dependen de modelos de lenguaje grandes (LLM) o de una supervisión completa mediante anotaciones de consultas de referencia, es necesario determinar si modelos más pequeños, ajustados mediante instrucciones, pueden lograr un rendimiento competitivo en el ámbito académico utilizando aprendizaje por refuerzo (RL) basado en resultados. Específicamente, este trabajo investiga si un modelo pequeño de pesos abiertos puede ser entrenado mediante GRPO (Optimización de Política Relativa por Grupos) para realizar la generación de Texto a SPARQL en cero disparos en el benchmark DBLP-QuAD, y cómo esto se compara con el ajuste fino supervisado cuando las consultas de referencia no están disponibles para la supervisión a nivel de token.

Metodología

Formulación de la Tarea y Entrada

El estudio trata la generación de Texto a SPARQL como un problema de decisión de un solo paso en el conjunto de datos DBLP-QuAD (10,000 pares de pregunta-consulta). Una suposición central es el enlazado perfecto de entidades y relaciones: los prompts incluyen URIs de entidades y relaciones pre-resueltas junto con metadatos enriquecidos con el esquema (etiquetas, dominios, rangos). Esto aísla la tarea de generación de los desafíos de desambiguación y enlazado típicos de la KGQA de extremo a extremo.

La entrada es un prompt conversacional de dos partes:

1. Mensaje del Sistema: Imponer un protocolo de salida estricto que requiera SPARQL sintácticamente correcto, URIs completas y tipos de consulta específicos (SELECT DISTINCT o ASK). Exige un razonamiento paso a paso dentro de etiquetas <thought> seguido de la consulta final.
2. Mensaje del Usuario: Contiene la pregunta en lenguaje natural, las URIs de entidades enlazadas con sus etiquetas, y las URIs de relaciones enlazadas con el contexto del esquema.

Enfoque de Entrenamiento: GRPO

Los autores aplican Optimización de Política Relativa por Grupos (GRPO) al modelo Qwen3-1.7B. A diferencia de PPO, GRPO estima las ventajas a partir de grupos de trayectorias muestreadas sin una función de valor explícita, reduciendo la sobrecarga de memoria.

• Muestreo: Para cada prompt, la política muestrea un grupo de $G=4$ consultas candidatas.
• Objetivo: La política se actualiza para aumentar la probabilidad de consultas con mayor recompensa dentro del grupo, manteniéndose cerca de una política de referencia fija mediante regularización KL.

Diseño de la Recompensa

La función de recompensa es una combinación lineal ponderada heurísticamente de seis componentes, priorizando la retroalimentación de ejecución:
$$R = 3R_{exec} + 2R_{sim} + 1R_{struct} + 0.5R_{format} + 1R_{len} + 1R_{len-ratio}$$

1. Retroalimentación de Ejecución ($R_{exec}$): La señal principal. Ejecuta la consulta generada contra un endpoint DBLP fijo y calcula la puntuación F1 contra el conjunto de respuestas de referencia. Los fallos de ejecución incurren en una penalización fija.
2. Cobertura Estructural ($R_{struct}$): Recompensa la inclusión de todas las URIs de entidades y relaciones requeridas proporcionadas en el prompt.
3. Formato ($R_{format}$): Asegura que la salida se adhiera al protocolo (por ejemplo, presencia de etiquetas de cierre).
4. Longitud ($R_{len}$): Penaliza las salidas que se acercan a la longitud máxima de generación para reducir la truncación.
5. Moldeado de Consulta de Referencia (Opcional): Se probaron dos variantes:
   • Similitud ($R_{sim}$): BLEU a nivel de oración entre la consulta generada y la de referencia.
   • Relación de Longitud ($R_{len-ratio}$): Regulariza la complejidad de la consulta basándose en las diferencias de longitud de tokens.
   • Nota: La variante "sin moldeado de consulta de referencia" refleja un escenario débilmente supervisado donde solo están disponibles las preguntas y las respuestas de referencia, no las consultas de referencia en sí mismas.

Líneas Base

Las variantes de GRPO se comparan contra:

1. Base en Cero Disparos: El Qwen3-1.7B sin modificar, con y sin prompts de Cadena de Pensamiento (CoT).
2. Ajuste Fino Supervisado (DoRA): Un modelo ajustado finamente de manera eficiente en parámetros, entrenado sobre objetivos SPARQL de referencia utilizando adaptadores DoRA y pérdida de entropía cruzada.

Resultados Clave

Rendimiento General

• Línea Base en Cero Disparos: Rendimiento pobre (EMAcc 0.07, F1 0.14). El prompt CoT mejoró ligeramente la precisión (0.11) pero redujo drásticamente la ejecutabilidad (ExAcc 0.23) debido a violaciones del protocolo.
• DoRA Supervisado: Logró el mejor rendimiento general (EMAcc 0.69, ExAcc 0.91, F1 0.78), confirmando la fortaleza de la supervisión a nivel de token.
• GRPO (Sin Consultas de Referencia): Mejoró sustancialmente sobre cero disparos (EMAcc 0.47, ExAcc 0.83, F1 0.48) pero se mantuvo por debajo de la línea base supervisada.
• GRPO (Con Consultas de Referencia): Mejoró ligeramente la ejecutabilidad (0.85) pero redujo la precisión a nivel de respuesta (0.44) y F1 (0.45) en comparación con la variante sin referencia.

Generalización y Categorías

• Plantillas Retenidas: GRPO demostró una superior generalización a plantillas de consulta no vistas (GenAcc 0.53) en comparación con la línea base DoRA (GenAcc 0.40). El modelo supervisado mostró una caída mayor en el rendimiento en datos retenidos, sugiriendo una dependencia de plantillas de entrenamiento específicas.
• Categorías de Preguntas: Tanto GRPO como DoRA funcionaron bien en patrones locales (Hecho Único, Desambiguación). Sin embargo, ambos lucharon con patrones composicionales complejos, particularmente en preguntas de Unión (Disyunción), Superlativo/Comparativo y Multi-intención.
• Preguntas Temporales: GRPO mejoró significativamente sobre cero disparos (TempAcc 0.52 vs 0.09) pero no cerró la brecha con DoRA (0.69).

Ablaciones de Recompensa

• Retroalimentación de Ejecución: Representó la mayoría de las ganancias de rendimiento.
• Cobertura Estructural: Proporcionó la mejora adicional más significativa en la corrección de respuestas y el rendimiento de subconjuntos.
• Moldeado de Consulta de Referencia: Añadir recompensas de similitud y relación de longitud aumentó ligeramente la ejecutabilidad pero degradó la precisión a nivel de respuesta y la generalización, sugiriendo un conflicto entre reproducir formas superficiales y lograr corrección semántica.

Significado y Afirmaciones

El artículo afirma que el aprendizaje por refuerzo basado en resultados es una estrategia de entrenamiento viable para modelos pequeños cuando las consultas de referencia no están disponibles para la supervisión a nivel de token.

• Viabilidad de Modelos Pequeños: El estudio demuestra que un modelo de 1.7 mil millones de parámetros, cuando se combina con GRPO y recompensas basadas en ejecución, puede cerrar una parte considerable de la brecha entre el prompting en cero disparos y el ajuste fino supervisado.
• Generalización vs. Supervisión: Si bien el ajuste fino supervisado (DoRA) produce una precisión agregada más alta, GRPO exhibe una mejor generalización a plantillas retenidas. Esto sugiere que la optimización basada en resultados recompensa la corrección semántica independientemente de la forma superficial exacta de la consulta, mientras que la supervisión a nivel de token puede sobreajustarse a estructuras de plantillas específicas.
• Limitaciones del Moldeado: La inclusión de términos de moldeado basados en consultas de referencia no mejoró el rendimiento a nivel de respuesta y puede introducir objetivos competitivos. Los autores concluyen que la retroalimentación de ejecución y las restricciones estructurales son los impulsores dominantes del éxito en este escenario.
• Análisis de Errores: Los fallos en GRPO tienden a ser estructurales (sintaxis, violaciones de esquema, manejo de UNION), mientras que los fallos de DoRA a menudo son desajustes semánticos sutiles dentro de consultas bien formadas.

Los autores mantienen una postura modesta, señalando que el estudio asume un enlazado perfecto (eliminando una fuente importante de error en la KGQA del mundo real) y se limita a un único benchmark y familia de modelos. Concluyen que, si bien GRPO es una alternativa sólida para escenarios débilmente supervisados, aún no sustituye al ajuste fino supervisado cuando los objetivos de referencia están disponibles.