🤖 machine learning

PIPE-Cypher: Automatic Enterprise Benchmark Generation for Text-to-Cypher Systems

L'article présente PIPE-Cypher, un pipeline automatisé qui transforme les graphes de propriétés d'entreprise en direct et les requêtes d'utilisateurs réels en benchmarks Text-to-Cypher exécutables, diversifiés et équilibrés afin de permettre une évaluation répétable et pertinente pour le déploiement des systèmes de requêtes de graphes.

Auteurs originaux : Suraj Ranganath, Anish Raghavendra

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Suraj Ranganath, Anish Raghavendra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous travailliez pour une banque massive ou une entreprise de logistique complexe. Votre entreprise possède une carte de données géante et vivante (un « graphe de propriétés ») montrant comment l'argent circule, qui connaît qui, et où les marchandises voyagent. Cette carte est unique à votre entreprise ; elle utilise ses propres noms, ses propres règles et ses propres codes secrets que personne d'autre n'utilise.

Maintenant, imaginez que vous vouliez construire un assistant intelligent (une IA) qui permette à vos employés de poser des questions en langage naturel, comme : « Montrez-moi tous les comptes qui ont transféré de l'argent à un utilisateur bloqué la semaine dernière », et que l'IA puisse automatiquement écrire le code informatique complexe (appelé Cypher) nécessaire pour obtenir cette réponse.

Le problème ? Vous ne pouvez pas simplement tester cette IA sur des cartes publiques et génériques. Elle doit être testée sur votre carte spécifique, avec vos règles spécifiques. Mais construire un test pour cela est un cauchemar :

La carte change chaque jour.
L'IA peut écrire un code qui semble correct mais qui pose la mauvaise question.
Vous ne pouvez pas envoyer vos données secrètes vers un service d'IA public pour générer le test.

PIPE-Cypher est la solution construite par les auteurs. Voyez cela comme une « cuisine de test » automatisée qui vit entièrement à l'intérieur de l'ordinateur sécurisé de votre entreprise.

Comment fonctionne la « Cuisine de Test »

Au lieu qu'un humain écrive des milliers de questions de test, PIPE-Cypher est un pipeline (une ligne de production) qui fait le gros du travail :

L'Inspecteur de la Carte (Profilage du Schéma) :
D'abord, le système examine discrètement la carte de données de votre entreprise. Il apprend les noms des nœuds (comme « Compte » ou « Personne »), les routes entre eux (comme « Transfère à ») et les valeurs spécifiques utilisées (comme « Carte de Crédit » ou « Bloqué »). Il crée un « menu » de ce qui est possible.
L'Ingénieur Inverse (Reverse Grounding) :
C'est la partie ingénieuse. Au lieu de deviner une question en espérant que la réponse existe, le système commence par la réponse. Il exécute des requêtes de lecture seule sécurisées pour trouver des points de données réels qui existent réellement.
Analogie : Imaginez que vous vouliez tester un chef. Au lieu de lui demander de « faire une soupe » en espérant qu'il ait des ingrédients, vous vérifiez d'abord dans le garde-manger si vous avez des carottes et des oignons. Ensuite, vous lui demandez : « Faites une soupe avec des carottes et des oignons ». Cela garantit que la question est répondable.
L'Éditeur Strict (Génération Contrainte) :
Une IA locale (tournant sur vos propres serveurs, pas dans le cloud) écrit la question en anglais et le code Cypher en se basant sur ces vrais ingrédients. Mais elle n'est pas autorisée à être créative de manière dangereuse. Elle doit suivre des règles strictes : « Ne lire que les données, ne jamais les supprimer », « Utiliser les noms exacts », et « Ne pas inventer de routes qui n'existent pas ».
Le Gardien de Sécurité (Validation Déterministe) :
Avant que le test ne soit accepté, un programme informatique non-IA vérifie le code. Il agit comme un videur à l'entrée d'un club :

Le code est-il sûr ? (Pas de suppression de données).
Utilise-t-il des noms réels ? (Pas de termes hallucinés).
Est-ce qu'il s'exécute réellement ? (Si le code ne renvoie aucun résultat, il est rejeté).
Va-t-il dans la bonne direction ? (Dans les graphes, « de A vers B » est différent de « de B vers A »).

Le Juge (Réviseur LLM) :
Enfin, une seconde IA locale agit comme un juge. Elle examine la question, le code et les résultats réels. Elle demande : « Est-ce que ce code répond vraiment à la question ? Est-il clair ? ». Si le code s'exécute mais donne une mauvaise réponse, le juge le rejette.

Les Résultats : Un Benchmark « Vivant »

Les auteurs ont utilisé ce pipeline pour créer un ensemble de tests massif de 3 000 questions utilisant des données réelles de réseaux financiers et sociaux.

Il est Discriminant : Lorsqu'ils ont testé des modèles d'IA standards sur ce nouveau benchmark, la plupart ont échoué lamentablement (obtenant moins de 4 % de bonnes réponses). Cela prouve que le simple fait qu'une IA puisse écrire un code qui semble correct ne signifie pas qu'elle comprend votre carte de données spécifique.
Il est Rafraîchissable : Parce que le pipeline est automatisé, si votre entreprise ajoute un nouveau type de donnée (comme des « Portefeuilles Crypto ») le mois prochain, vous pouvez simplement relancer le pipeline pour générer de nouveaux tests instantanément. Vous n'avez pas à attendre qu'un jeu de données public soit mis à jour.
Il est Privé : Tout se passe sur vos propres ordinateurs. Aucune donnée sensible ne quitte jamais votre bâtiment.

La Grande Conclusion

L'article soutient que pour l'IA d'entreprise, les jeux de tests statiques sont morts. Vous ne pouvez pas évaluer un système conçu pour votre entreprise unique et changeante avec un jeu de données générique et figé.

PIPE-Cypher change la donne en transformant la création de benchmarks en un processus de fabrication répétable et automatisé. Il garantit que les tests sont :

Réels : Basés sur des données réelles qui existent.
Sûrs : Garantis de ne pas casser votre base de données.
Honnêtes : Vérifiant strictement si l'IA résout réellement le problème, et non si elle écrit simplement un joli code.

En résumé, PIPE-Cypher est un outil qui permet aux entreprises de construire leurs propres « examens de conduite » de haute qualité pour leurs assistants IA, garantissant qu'ils peuvent réellement naviguer sur les routes complexes et uniques des données de l'entreprise sans provoquer d'accident.

Résumé Technique : PIPE-Cypher

Problématique

Les graphes de propriétés en entreprise diffèrent considérablement des benchmarks publics en termes de structure de schéma, de terminologie interne, d'hypothèses métier, de contraintes de gouvernance et de modèles d'interaction utilisateur. Par conséquent, les jeux de données publics de Text-to-Cypher ne permettent pas d'évaluer si un modèle peut gérer les labels, les directions de relations, les valeurs et les questions opérationnelles spécifiques à une organisation. De plus, les jeux de données publics statiques ne peuvent pas s'adapter lorsque les schémas de production évoluent.

La création d'un benchmark pertinent est difficile car :

Unicité : Les schémas et les valeurs sont uniques à chaque organisation.
Dynamisme : Les structures de graphes changent au fil du temps à mesure que les produits sont livrés et que les intégrations sont ajoutées.
Exigences : Chaque paire Langage Naturel (LN)-to-Cypher doit être exécutable, utiliser des entités de graphe réelles, préserver la diversité et rester équilibrée entre les types de requêtes et les niveaux de difficulté.
Confidentialité : Les organisations ne peuvent pas envoyer de schémas ou de valeurs sensibles à des API de génération payantes.
Fiabilité : Bien que les modèles locaux puissent écrire des requêtes individuelles, ils échouent souvent lors de la boucle complète de l'ancrage (grounding) de valeurs réelles, de la préservation des directions de relations, de l'évitement de clauses non sécurisées et de l'équilibre des catégories.

Méthodologie : Pipeline PIPE-Cypher

PIPE-Cypher est un pipeline local de génération de benchmarks qui transforme un graphe de propriétés en direct et des requêtes germes optionnelles (provenant de questions clients, de journaux ou d'appels d'agents) en benchmarks NL-to-Cypher équilibrés et exécutables. Il fonctionne comme un pipeline contraint où le modèle gère le langage et la génération, tandis que des vérifications déterministes du graphe assurent la répétabilité, l'évolutivité et l'auditabilité.

Le pipeline se compose de sept étapes :

Profilage du Schéma et des Valeurs : Enregistre les labels, les types de relations, les propriétés, les directions observées et les valeurs catégorielles à faible cardinalité bornées.
Planification de la Charge de Travail : Cible huit catégories opérationnelles : récupération simple/complexe, agrégation simple/complexe, existence booléenne, négation/différence, transaction chemin/temporelle, et classement/top-k.
Ancrage Cypher Inversé (Reverse Cypher Grounding) : Exécute des requêtes Cypher en lecture seule pour trouver des valeurs de créneaux (slots) qui produisent réellement des lignes. Cela empêche la génération de questions plausibles qui n'ont aucune réponse dans le graphe.
Génération Contrainte : Utilise un LLM local (Qwen3.5-9B) pour générer des candidats basés sur des modèles de charge de travail remplis par des valeurs liées en sens inverse. Il emploie des exemples de récupération pseudonymisés pour empêcher le modèle de mémoriser des valeurs spécifiques au locataire (tenant).
Gouvernance Cypher (Portes Déterministes) : Applique des règles strictes avant l'acceptation :
- Sécurité en lecture seule : Bloque les jetons d'écriture/administration.
- Validité du Schéma : Garantit l'existence des labels, des propriétés et des valeurs catégorielles.
- Validité de la Direction : Vérifie les directions de traversée des relations.
- Normalisation : Impose RETURN DISTINCT et rejette les constructions risquées (ex: UNION, CALL, UNWIND).
Validation d'Exécution : Exécute le Cypher généré avec des identifiants en lecture seule. Il vérifie les erreurs de syntaxe/exécution et s'assure de résultats non vides lorsque requis.
Révision par un Juge LLM : Un juge LLM local examine uniquement les candidats ayant passé l'étape d'exécution. Il évalue l'ambiguïté, l'alignement sémantique et l'utilisation du schéma, calibré par rapport à un petit ensemble d'étiquettes humaines.

Confidentialité et Redaction : Le système inclut des politiques d'échantillonnage de valeurs et des règles de rédaction configurables. Les valeurs sensibles dans les prompts et les résultats sont remplacées par des espaces réservés stables pour une revue interne plus large, garantissant que le benchmark peut être partagé sans fuite de PII (informations personnelles identifiables).

Principales Contributions

Le papier présente quatre contributions principales :

Flux de Travail de Modèle Local : Une méthode pour générer des benchmarks NL-to-Cypher privés à partir du propre graphe d'une organisation sans dépendre d'API payantes.
Ancrage et Validation Orientés Résultat : Un système d'ancrage inverse et de validateurs spécifiques à Cypher pour la sécurité en lecture seule, la direction des relations, les littéraux exacts, les valeurs catégorielles et les réécritures conservatrices.
Évaluation par Proxy Public à Grande Échelle : Une évaluation complète sur FinBench, SNB et ICIJ Offshore Leaks, incluant des études d'ablation, le calibrage du juge, les audits de rédaction et une étude de transfert locale sur 11 modèles.
Artefacts de Reproductibilité : Des outils pour l'onboarding, l'échantillonnage de valeurs, le rafraîchissement du benchmark, l'emballage de preuves et les pistes d'audit.

Résultats

En utilisant Qwen3.5-9B local pour la génération et le jugement, PIPE-Cypher a produit 3 000 exemples acceptés (2 000 de FinBench, 1 000 de SNB) à partir de 4 925 candidats.

Taux d'Acceptation : Environ 61 % au total.
Couverture : A atteint un équilibre parfait entre les 8 catégories de charge de travail pour les deux graphes.
Fiabilité : Dans les études d'ablation, le pipeline gouverné a atteint 100 % de la couverture cible pour chaque cellule non contrainte, tandis que la génération non contrainte a échoué à produire une couverture exécutable équilibrée.
Diversité : Bien que la diversité de la signature de requête soit restée faible en raison de l'amorçage par modèles (templates), un sélecteur régi par la diversité a amélioré la couverture structurelle, ajusté le Distinct-2 et la couverture des propriétés.
Calibrage du Juge : Un audit humain post-hoc de 80 lignes a montré 80 % d'accord avec le juge LLM local (Cohen's $\kappa$ = 0,60). Le juge était conservateur, aucun faux accept observé dans l'échantillon.

Évaluation Aval (Downstream) :

Performance Zero-Shot : Le transfert zero-shot sur l'ensemble de test (held-out split) était faible, avec une précision d'exécution moyenne allant de 0,000 à 0,203 (moyenne de 0,036).
Utilité Few-Shot : Les banques d'exemples spécifiques au schéma ont amélioré les performances. Un contrôle "sans signature" (excluant les correspondances exactes de signature de requête) a porté la précision moyenne à 0,200, tandis que les banques ordonnées de même catégorie ont atteint 0,269.
Modes d'Échec : Le benchmark a exposé avec succès les échements sémantiques ; de nombreux modèles ont produit un Cypher syntaxiquement valide qui s'exécute mais répond à la mauvaise question (ex: 52,1 % des erreurs étaient des discordances de réponse).

Signification et Revendications

Le papier positionne PIPE-Cypher non pas comme un jeu de données statique, mais comme un flux de travail d'entreprise reproductible. Sa signification réside dans :

Passage du Statique au Dynamique : Il permet aux organisations de rafraîchir leurs benchmarks à mesure que leurs graphes et leurs charges de travail évoluent, plutôt que de dépendre de corpus publics obsolètes.
Préservation de la Confidentialité : Il permet de tester des benchmarks sur des données privées sans exposer de valeurs sensibles à des API externes.
Vérité Exécutable : En traitant la correction comme quelque chose à vérifier via l'exécution et des portes déterministes plutôt qu'en espérant la obtenir via le prompting, il filtre les requêtes "hallucinées" qui semblent correctes mais échouent sémantiquement.
Valeur Diagnostique : Le pipeline fournit des diagnostics clairs (registres de rejet, métriques de diversité, taxonomies d'échec) pour aider les organisations à comprendre où leurs modèles échouent (ex: erreurs de direction, résultats vides ou désalignement sémantique).

Les auteurs affirment modestement que, bien que le benchmark révèle les échements de modèles en aval que l'évaluation de la seule syntaxe masquerait, il ne garantit pas la correction sémantique (la validité d'exécution $\neq$ la correction sémantique). Ils notent également que les résultats sont basés sur des proxys publics (FinBench, SNB, ICIJ) et que le fine-tuning spécifique au locataire reste une voie d'ingénierie rendue possible par les artefacts, et non une revendication achevée de cette étude.