Resumen Técnico: PIPE-Cypher

Planteamiento del Problema

Los grafos de propiedades empresariales difieren significativamente de los benchmarks públicos en cuanto a estructura de esquema, terminología interna, supuestos de dominio, restricciones de gobernanza y patrones de interacción del usuario. En consecuencia, los conjuntos de datos públicos de Text-to-Cypher no logran evaluar si un modelo puede manejar los etiquetas, direcciones de relación, valores y preguntas operativas específicos de una organización. Además, los conjuntos de datos públicos estáticos no pueden adaptarse cuando los esquemas de producción evolucionan.

La creación de un benchmark relevante es difícil debido a:

1. Unicidad: Los esquemas y valores son únicos para cada organización.
2. Dinamismo: Las estructuras de grafos cambian con el tiempo a medida que se lanzan productos y se añaden integraciones.
3. Requisitos: Cada par de Lenguaje Natural (NL) a Cypher debe ser ejecutable, utilizar entidades de grafos reales, preservar la diversidad y mantenerse equilibrado en cuanto a tipos de consulta y niveles de dificultad.
4. Privacidad: Las organizaciones no pueden enviar esquemas o valores sensibles a APIs de generación de pago.
5. Fiabilidad: Aunque los modelos locales pueden escribir consultas individuales, a menudo fallan en el ciclo completo de fundamentación de valores reales, preservación de direcciones de relación, evitación de cláusulas inseguras y equilibrio de categorías.

Metodología: Pipeline PIPE-Cypher

PIPE-Cypher es un pipeline de generación de benchmarks local que transforma un grafo de propiedades en vivo y consultas semilla opcionales (de preguntas de clientes, logs o llamadas de agentes) en benchmarks de NL-a-Cypher equilibrados y ejecutables. Opera como un pipeline restringido donde el modelo gestiona el lenguaje y la generación, mientras que las verificaciones deterministas de grafos aseguran la repetibilidad, escalabilidad y auditabilidad.

El pipeline consta de siete etapas:

1. Perfilado de Esquema y Valores: Registra etiquetas, tipos de relación, propiedades, direcciones observadas y valores categóricos de baja cardinalidad acotados.
2. Planificación de Carga de Trabajo: Apunta a ocho categorías operativas: recuperación simple/compleja, agregación simple/compleja, existencia booleana, negación/diferencia, transacción temporal/de ruta y ranking/top-k.
3. Fundamentación Inversa de Cypher (Reverse Cypher Grounding): Ejecuta consultas Cypher de solo lectura para encontrar valores de ranura (slot values) que realmente produzcan filas. Esto evita la generación de preguntas que parecen plausibles pero que no tienen respuesta en el grafo.
4. Generación Restringida: Utiliza un LLM local (Qwen3.5-9B) para generar candidatos basados en plantillas de carga de trabajo llenas con valores vinculados inversamente. Emplea ejemplos de recuperación con marcadores de posición (placeholders) para evitar que el modelo memorice valores específicos de un cliente.
5. Gobernanza de Cypher (Puertas Deterministas): Impone reglas estrictas antes de la aceptación:
   • Seguridad de solo lectura: Bloquea tokens de escritura/administración.
   • Validez de esquema: Asegura que las etiquetas, propiedades y valores categóricos existan.
   • Validez de dirección: Verifica las direcciones de trayectoria de las relaciones.
   • Normalización: Impone RETURN DISTINCT y rechaza constructos riesgosos (ej. UNION, CALL, UNWIND).
6. Validación de Ejecución: Ejecuta el Cypher generado con credenciales de solo lectura. Verifica errores de sintaxis/tiempo de ejecución y asegura resultados no vacíos donde sea requerido.
7. Revisión por Juez LLM: Un LLM local revisa solo los candidatos que han pasado la ejecución. Evalúa la ambigüedad, la alineación semántica y el uso del esquema, calibrándose contra un pequeño conjunto de etiquetas humanas.

Privacidad y Redacción: El sistema incluye políticas de muestreo de valores y reglas de redacción configurables. Los valores sensibles en los prompts y resultados se reemplazan con marcadores de posición estables para una revisión interna más amplia, asegurando que el benchmark pueda compartirse sin filtrar PII (Información de Identificación Personal).

Contribuciones Clave

El artículo realiza cuatro contribuciones principales:

1. Flujo de Trabajo de Modelo Local: Un método para generar benchmarks privados de NL-a-Cypher a partir del propio grafo de una organización sin depender de APIs de pago.
2. Fundamentación y Validación Consciente del Resultado: Un sistema de fundamentación inversa y validadores específicos de Cypher para seguridad de solo lectura, dirección de relación, literales exactos, valores categóricos y reescrituras conservadoras.
3. Evaluación de Proxy Público Escalada: Una evaluación exhaustiva sobre FinBench, SNB e ICIJ Offshore Leaks, incluyendo estudios de ablación, calibración de juez, auditorías de redacción y un estudio de transferencia local de 11 modelos.
4. Artefactos de Reproducibilidad: Herramientas para la incorporación (onboarding), muestreo de valores, actualización de benchmarks, empaquetado de evidencia y pistas de auditoría.

Resultados

Utilizando Qwen3.5-9B local para la generación y el juicio, PIPE-Cypher produjo 3,000 ejemplos aceptados (2,000 de FinBench, 1,000 de SNB) a partir de 4,925 candidatos.

• Tasa de Aceptación: Aproximadamente 61% en total.
• Cobertura: Logró un equilibrio perfecto en las 8 categorías de carga de trabajo para ambos grafos.
• Fiabilidad: En los estudios de ablación, el pipeline gobernado alcanzó el 100% de la cobertura objetivo para cada celda no restringida, mientras que la generación no restringida falló en producir una cobertura ejecutable y equilibrada.
• Diversidad: Aunque la diversidad de la firma de la consulta se mantuvo baja debido al sembrado de plantillas, un selector gobernado por la diversidad mejoró la cobertura estructural, ajustó el Distinct-2 y la cobertura de propiedades.
• Calibración del Juez: Una auditoría humana post-hoc de 80 filas mostró un 80% de acuerdo con el juez LLM local (Cohen's $\kappa$ = 0.60). El juez fue conservador, sin que se observaran falsas aceptaciones en la muestra.

Evaluación Downstream:

• Desempeño Zero-Shot: La transferencia zero-shot en el conjunto de división (held-out split) fue débil, con una precisión de ejecución media que osciló entre 0.000 y 0.203 (media de 0.036).
• Utilidad Few-Shot: Los bancos de ejemplos específicos del esquema mejoraron el desempeño. Un control de "no-firma" (excluyendo coincidencias exactas de firma de consulta) elevó la precisión media a 0.200, mientras que los bancos ordenados de la misma categoría alcanzaron 0.269.
• Modos de Fallo: El benchmark expuso con éxito fallos semánticos; muchos modelos produjeron Cypher sintácticamente válido que se ejecutaba pero respondía la pregunta incorrecta (ej. el 52.1% de los errores fueron desajustes de respuesta).

Significado y Reivindicaciones

El artículo posiciona a PIPE-Cypher no como un conjunto de datos estático, sino como un flujo de trabajo empresarial repetible. Su importancia radica en:

• Cambio de lo Estático a lo Dinámico: Permite a las organizaciones refrescar sus benchmarks a medida que sus grafos y cargas de trabajo evolucionan, en lugar de depender de corpora públicos obsoletos.
• Preservación de la Privacidad: Permite realizar benchmarks sobre datos privados sin exponer valores sensibles a APIs externas.
• Verdad Ejecutable: Al tratar la corrección como algo que debe verificarse mediante la ejecución y puertas deterministas en lugar de simplemente esperarlo mediante el prompting, filtra consultas "alucinadas" que parecen correctas pero fallan semánticamente.
• Valor Diagnóstico: El pipeline proporciona diagnósticos claros (registros de rechazo, métricas de diversidad, taxonomías de fallos) para ayudar a las organizaciones a entender dónde fallan sus modelos (ej. errores de dirección, resultados vacíos o desalineación semántica).

Los autores reivindican modestamente que, si bien el benchmark revela fallos de modelos downstream que la evaluación de solo sintaxis ocultaría, no garantiza la corrección semántica (la validez de ejecución $\neq$ la corrección semántica). También señalan que los resultados se basan en proxies públicos (FinBench, SNB, ICIJ) y que el ajuste fino (fine-tuning) específico del cliente sigue siendo un camino de ingeniería habilitado por los artefactos, no una afirmación completada de este estudio.