Résumé technique : Agents neuro-symboliques pour la réutilisation de exigences sans hallucination

1. Énoncé du problème

L'ingénierie des exigences (IE) est intrinsèquement coûteuse et sujette aux erreurs. Bien que la réutilisation d'exigences validées issues de lignes de produits logiciels (par exemple, via la Méthode Orientée Objet pour l'Auteur et la Gestion des Exigences, ou OOMRAM) offre une stratégie pour réduire l'effort, les cadres existants se heurtent à un goulot d'étranglement critique : la correspondance exacte des identifiants. La récupération OOMRAM traditionnelle exige que les utilisateurs spécifient des identifiants d'exigence précis, empêchant la génération automatique de spécifications à partir de descriptions de projets en langage naturel.

Les modèles de langage de grande taille (LLM) offrent la flexibilité linguistique nécessaire pour interpréter des visions d'intervenants vagues et les mapper vers des exigences. Cependant, les LLM sont sujets aux hallucinations, telles que l'invention d'identifiants inexistants, l'ignorance de contraintes obligatoires ou la combinaison d'options mutuellement exclusives. Les outils d'IE actuels exploitant les LLM manquent souvent de garanties formelles de correction, laissant les spécifications générées vulnérables aux incohérences logiques et à l'invalidité structurelle, ce qui est particulièrement dangereux dans les domaines critiques pour la sécurité ou fortement réglementés.

2. Méthodologie : Un système multi-agents neuro-symbolique

Les auteurs proposent une architecture neuro-symbolique multi-agents qui reconceptualise la réutilisation des exigences comme un processus d'élicitation pilotée par modèle. Le système opérationnalise le treillis formel OOMRAM comme un modèle de domaine déterministe, utilisant un LLM uniquement comme heuristique non déterministe pour parcourir ce modèle.

Architecture de base

Construit sur LangGraph, le système emploie quatre agents spécialisés partageant un état typé (AgentState) :

1. Navigateur : Simule un parcours en profondeur du treillis d'exigences, sélectionnant le nœud discriminant suivant à étendre en fonction de la vision du projet et de l'état actuel.
2. Interprète (LLM) : Un agent non déterministe (utilisant llama3.1:8b avec une température de 0) qui interprète la vision en langage naturel et propose un ensemble d'identifiants d'exigences enfants pour le nœud courant. Il produit une sortie JSON structurée.
3. Vérificateur (Symbolique) : Un composant déterministe et algorithmique (Python pur, sans LLM) agissant comme garde-fou d'exécution. Il vérifie chaque sélection proposée contre les contraintes de satisfaisabilité booléenne ($\Phi$) du schéma du treillis. Il impose :
   • Exigences de base : Tous les nœuds obligatoires doivent être sélectionnés.
   • Adaptateur unique (SA/XOR) : Exactement un enfant doit être sélectionné.
   • Adaptateur multiple (MA/OR) : Au moins un enfant doit être sélectionné.
   • Intégrité structurelle : Aucun nœud orphelin (un enfant ne peut être sélectionné sans son parent).
   • Mécanisme : Si une violation est détectée, le Vérificateur rejette la proposition et renvoie un journal d'erreurs à l'Interprète, forçant une révision. Cette boucle continue jusqu'à ce que les contraintes soient satisfaites.
4. Scribe : Compile l'ensemble final et validé des identifiants d'exigences en une spécification formatée.

Stratégies techniques clés

• Navigation sous-graphe : Pour gérer de grands treillis industriels et prévenir les échecs de raisonnement de type « perdu au milieu », le système restreint le contexte de l'Interprète à un sous-ensemble localisé (frontière) du treillis à chaque étape. Cela garantit une taille de contexte constante ($O(1)$) et une mise à l'échelle linéaire ($O(N)$) avec le nombre de points de décision.
• Routage sémantique : Un routeur préliminaire utilise des embeddings de transformateurs de phrases pour sélectionner la famille de treillis appropriée (par exemple, eRecordKeeping, SmartHome) en fonction du texte de vision d'entrée, permettant un support multi-domaines sans sélection manuelle.
• Spécification formelle : Le système définit le treillis comme un graphe orienté acyclique (DAG) $L = (V, E, T, \Phi)$ et impose un prédicat de cohérence global $\Psi(S)$, garantissant que l'ensemble de sélection final est une instance valide du méta-modèle.

3. Contributions clés

1. Opérationnalisation d'OOMRAM pour l'ère des LLM : Il s'agit du premier travail à remplacer la sélection par ID exact par un parcours en langage naturel piloté par LLM, rendant le treillis formel OOMRAM pratique pour l'IE moderne.
2. Atténuation déterministe des hallucinations : L'introduction d'un Vérificateur entièrement déterministe agissant comme gardien codé en dur. En imposant algorithmiquement des contraintes au sein de la boucle de génération, le système élimine entièrement les combinaisons d'exigences illégales, plutôt que de compter sur un filtrage heuristique.
3. Benchmarks autonomes reproductibles : Les auteurs fournissent un benchmark démontrant un parcours fiable, un taux de violation de contraintes quasi nul et une validité structurelle complète à travers diverses familles d'applications.
4. Implémentation agnostique au modèle : Un framework open-source construit sur LangGraph et Ollama local, conçu pour évoluer vers de plus grands treillis industriels et garantir la confidentialité et la reproductibilité.

4. Évaluation expérimentale et résultats

Le système a été évalué en mode simulation autonome sur dix visions de projets tirées de deux familles d'applications : le treillis original eRecordKeeping (environ 60 exigences) et un treillis synthétique SmartHome (environ 20 exigences). Le corpus a été étendu pour inclure 12 familles ancrées dans des normes réelles (par exemple, ISO 26262, ISO 20022, TM Forum eTOM).

Résultats quantitatifs

• Validité structurelle : Le système a atteint 100 % de complétion et 100 % de validité structurelle sur toutes les visions testées.
• Violations de contraintes : Le taux final de violation de contraintes était de 0,2 % (1 violation détectée et corrigée au cours du processus). En revanche, une étude d'ablation supprimant le Vérificateur a entraîné un taux moyen de violation de 5,1 et une validité structurelle de seulement 14 %.
• Score F1 : Par rapport à des références or (gold standards) élaborées manuellement, le score F1 variait de 0,47 à 0,81. Les auteurs soutiennent que ce score modéré n'est pas un échec mais une conséquence de l'immense « Espace de configuration valide » dans les lignes de produits, où plusieurs choix optionnels ou alternatifs légitimes existent.
• Latence : La latence moyenne en temps réel était de 210 secondes par vision, avec une moyenne de 78 appels LLM. Le Vérificateur a ajouté un temps d'exécution négligeable.

Résultats qualitatifs

• Conflit intentionnel : Le système navigue avec succès dans les conflits où le LLM tente de satisfaire les désirs des intervenants (par exemple, « système bon marché ») en violant des contraintes obligatoires (par exemple, sécurité). Le Vérificateur rejette ces cas, forçant le LLM à trouver une alternative conforme (par exemple, sélectionner l'option valide la moins chère).
• Typologie des erreurs : Les hallucinations pré-validation variaient selon le domaine (par exemple, erreurs de cardinalité dans les RH/Paie, orphelins structurels dans les télécommunications, négligence de contraintes dans les réseaux intelligents), mais le Vérificateur symbolique a réduit le taux d'erreur final à 0 % dans tous les cas.

5. Signification et revendications

L'article affirme que l'avenir de l'automatisation de l'IE ne réside pas dans l'augmentation des paramètres des LLM, mais dans le couplage harmonieux du raisonnement probabiliste neuronal avec la logique symbolique codée en dur.

• Changement de métriques : Les auteurs soutiennent que pour une IE à haute conformité, le Taux de validité structurelle (SVR) et le Rappel obligatoire sont des métriques plus critiques que les métriques NLP traditionnelles comme la Précision ou le score F1. Atteindre 100 % de SVR prouve que le système transforme la génération stochastique en un processus d'ingénierie formel.
• IA digne de confiance : En séparant la compréhension linguistique ouverte du LLM d'un enforceur de contraintes basé sur des règles, le système fournit un pipeline digne de confiance qui empêche la dérive des spécifications tout en conservant la flexibilité d'interpréter des visions vagues.
• Évolutivité : La stratégie de navigation sous-graphe garantit que le système peut théoriquement évoluer vers des treillis industriels sans dégrader la qualité du raisonnement, à condition que la fenêtre de contexte reste constante.

L'étude conclut que si les LLM sont utiles pour interpréter l'intention, ils sont fondamentalement peu fiables pour la logique structurelle, une tâche qui doit être déléguée à des composants symboliques pour garantir une réutilisation d'exigences sans hallucination.