💻 computer science

TVR: Automotive System Requirement Traceability Validation and Recovery Through Retrieval-Augmented Generation

Cet article présente TVR, une approche de génération augmentée par la récupération (RAG) exploitant les grands modèles de langage pour valider les liens de traçabilité existants et récupérer les liens manquants entre les exigences des parties prenantes et celles du système dans le développement de logiciels automobiles, démontrant une grande précision et une efficacité pratique en milieux industriels.

Auteurs originaux : Feifei Niu, Rongqi Pan, Lionel C. Briand, Hanyang Hu

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Feifei Niu, Rongqi Pan, Lionel C. Briand, Hanyang Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez une voiture technologique massive et haut de gamme. Cette voiture n'est pas seulement faite de métal et de caoutchouc ; c'est un cerveau complexe composé de milliers d'instructions logicielles. Pour s'assurer que ce cerveau fonctionne en toute sécurité, les ingénieurs écrivent deux types de « listes de choses à faire » :

La liste de la « Vue d'ensemble » (Exigences des parties prenantes) : Écrite par les personnes qui veulent que la voiture fonctionne (conducteurs, régulateurs, mécaniciens). Elle dit des choses comme : « Si la voiture perd le contact avec l'ordinateur du moteur, nous avons besoin d'un voyant d'alerte. »
Le « Plan Technique » (Exigences système) : Écrit par les ingénieurs qui construisent réellement le logiciel. Il dit des choses comme : « Si MESSAGE_1 est absent pendant 5 cycles, allumer DTC_001. »

Le Problème : La Chaîne Brisée
Dans un monde parfait, chaque élément de la liste de la « Vue d'ensemble » correspondrait parfaitement à un élément spécifique du « Plan Technique ». Cette correspondance est appelée traçabilité. C'est comme une chaîne de trombones reliant les deux listes.

Cependant, dans le monde réel, cette chaîne se brise souvent.

Parfois, un changement est effectué sur la liste de la « Vue d'ensemble », mais les ingénieurs oublient de mettre à jour le « Plan Technique ».
Parfois, un humain commet une erreur et connecte les mauvais éléments.
Parfois, des éléments sont totalement manquants.

Si ces chaînes sont brisées, la voiture pourrait ne pas avertir le conducteur lorsqu'un problème survient, ou elle pourrait l'avertir alors qu'il n'y a rien d'anormal. Cela est dangereux et coûteux à corriger plus tard.

L'Ancienne Méthode vs La Nouvelle Méthode
Auparavant, les ingénieurs devaient vérifier manuellement chaque connexion de trombone. C'était lent, ennuyeux et sujet à l'erreur humaine.

Certains programmes informatiques tentaient d'aider en cherchant des mots similaires. Si la « Vue d'ensemble » disait « moteur » et que le « Plan » disait « moteur », ils les connectaient. Mais cela revient à essayer de faire correspondre une recette à une liste de courses simplement en cherchant le mot « farine ». C'est trop simpliste. Les listes techniques utilisent un langage très spécifique et chargé de jargon qui semble très différent des listes de la vue d'ensemble, même lorsqu'ils signifient la même chose.

La Solution : TVR (Le Matchmaker Intelligent)
Le document présente un nouvel outil appelé TVR (Traceability Validation and Recovery — Validation et Récupération de la Traçabilité). Considérez TVR comme un bibliothécaire super intelligent et expérimenté qui utilise une technique spéciale appelée RAG (Retrieval-Augmented Generation — Génération Augmentée par Récupération).

Voici comment fonctionne TVR, en utilisant une analogie simple :

1. L'approche « Montre-moi, ne te contente pas de me dire »

Imaginez que vous enseigniez à un nouveau stagiaire comment repérer une fausse pièce d'identité.

L'ancienne méthode (Zero-Shot) : Vous dites simplement : « Voici une pièce d'identité. Dis-moi si elle est vraie ou fausse. » Le stagiaire devine et se trompe parce qu'il ne connaît pas les règles.
La nouvelle méthode (TVR/RAG) : Avant de lui demander de juger la nouvelle pièce d'identité, vous sortez une pile d'exemples passés d'un classeur. Vous dites : « Regarde ces 3 exemples où nous avons dit "Vrai" et ces 3 exemples où nous avons dit "Faux". Remarque comment la police d'écriture ressemble dans les "Vrais". Maintenant, regarde cette nouvelle pièce d'identité. En te basant sur ces exemples, est-elle vraie ou fausse ? »

TVR fait exactement cela avec les modèles de langage de grande taille (LLM). Au lieu de simplement demander à l'IA « Ce lien est-il correct ? », il récupère d'abord des exemples similaires de liens corrects et incorrects de l'historique de l'entreprise. Il montre ces exemples à l'IA pour lui « enseigner » les schémas spécifiques de cette entreprise automobile avant qu'elle ne prenne une décision.

2. Ce que fait réellement TVR

Le document a testé TVR sur des données automobiles réelles impliquant des Codes de Diagnostic de Défaut (DTC) — ce sont les codes d'erreur qui apparaissent sur votre tableau de bord (comme « Contrôler le moteur »).

Validation (Vérifier la chaîne) : TVR examine les connexions existantes entre la « Vue d'ensemble » et les listes « Techniques » et dit : « Oui, ce lien est correct » ou « Non, ce lien est brisé ».
- Résultat : Il a réussi cela 98,87 % du temps.
Récupération (Trouver les liens manquants) : TVR examine les éléments qui ne sont pas encore connectés et demande : « Hé, ces deux-là vont en fait ensemble, même si personne ne les a liés pour l'instant. »
- Résultat : Il a trouvé des liens manquants avec une précision de 85,50 %.
Robustesse (Gérer les nouveaux styles) : Parfois, les ingénieurs rédigent les exigences de manières légèrement différentes (comme utiliser des mots différents pour la même chose). TVR a été testé sur ces variations « non vues » et a tout de même réussi à 97,13 %.

3. Pourquoi cela importe

Le document affirme que TVR est un outil pratique pour l'industrie automobile.

Il gagne du temps en automatisant la vérification fastidieuse de milliers de connexions.
Il explique pourquoi il a pris une décision (par exemple : « J'ai dit "Non" parce que la liste technique ne mentionnait pas le message spécifique demandé par la vue d'ensemble »).
Il gère mieux la réalité désordonnée et pleine de jargon des logiciels de voiture que les anciennes méthodes.

En résumé
Le document présente TVR comme un assistant dopé à l'IA, hautement précis, qui agit comme un expert chevronné. Au lieu de deviner, il consulte des exemples passés de ce que sont les connexions « correctes » et « incorrectes » dans le monde de l'automobile, puis utilise ce savoir pour réparer les chaînes brisées et trouver celles qui manquent dans les exigences logicielles des voitures. Le résultat est un logiciel automobile plus sûr, plus cohérent et moins sujet aux erreurs.

Résumé Technique : TVR – Validation et Récupération de la Traçabilité par la Génération Augmentée par la Récupération

1. Définition du Problème

Dans le développement de logiciels automobiles, le maintien d'une traçabilité précise entre les exigences des parties prenantes (besoins de haut niveau) et les exigences système (spécifications détaillées) est crucial pour garantir la cohérence, l'exactitude et la conformité réglementaire (ex. : ASPICE, ISO 26262). Cependant, les processus de traçabilité manuels sont sujets aux erreurs, entraînant :

Une propagation inappropriée des changements : Les mises à jour des exigences des parties prenantes ne se reflètent souvent pas dans les exigences système, créant des liens obsolètes ou invalides.
Des erreurs de cartographie humaine : Des correspondances incorrectes ou des liens manquants apparaissent en raison de la nature laborieuse de la vérification manuelle.
Des variations linguistiques et structurelles : Les exigences sont exprimées avec des terminologies, des niveaux d'abstraction et des modèles variés (ex. : « Perte de communication » vs « Données implausibles » pour les codes de diagnostic DTC). Les approches traditionnelles basées sur la similitude (ex. : TF-IDF, SentenceBERT) et le prompting standard des modèles de langage (LLM) (Zero-Shot, Chain-of-Thought) peinent à se généraliser face à ces variations hétérogènes et échouent souvent à distinguer les subtiles différences sémantiques dans les définitions de messages et de signaux.

Le défi spécifique abordé est la validation des liens de traçabilité existants et la récupération des liens manquants entre les exigences DTC des parties prenantes et celles du système, où une exigence système peut couvrir plusieurs exigences des parties prenantes, et où la similitude textuelle seule est insuffisante pour la validation.

2. Méthodologie : L'approche TVR

Les auteurs proposent TVR (Traceability Validation and Recovery), un cadre exploitant la Génération Augmentée par la Récupération (RAG) enrichie par l'Apprentissage en Contexte (In-Context Learning). Contrairement aux systèmes RAG traditionnels qui récupèrent des documents externes pour augmenter les connaissances de domaine, TVR récupère des paires d'exigences précédemment étiquetées pour servir d'exemples de raisonnement.

Composants Clés

Récupérateur (Retriever) :
- Entrée : Une paire de test $\langle \text{stakeReq}, \text{sysReq} \rangle$ .
- Mécanisme : Génère des plongements (embeddings) pour les paires d'exigences concaténées en utilisant le modèle Amazon Titan (sélectionné en raison des contraintes du partenaire industriel).
- Sélection : Récupère les exemples les plus similaires valides (positifs) et les plus similaires invalides (négatifs) parmi le top- $k$ pour servir de base à la sélection à partir d'une base de données d'entraînement ( $D_{train}$ ).
- Similitude : Utilise la similitude cosinus (optimisée à $k=3$ ) via la bibliothèque FAISS.
Générateur (Generator) :
- Modèle : Principalement évalué avec Claude 3.5 Sonnet, bien que 13 LLM aient été testés.
- Stratégie de Prompting : Le générateur reçoit un prompt contenant :
  - Instruction : Une tâche spécifique consistant à vérifier si l'exigence système couvre le message ou le signal spécifique de l'exigence de la partie prenante (réduisant la portée de la traçabilité générale à la couverture spécifique du signal).
  - Contexte : Les $k \times 2$ exemples récupérés (valides et invalides) pour guider le raisonnement du modèle.
  - Entrée : La paire de test à évaluer.
  - Indicateur de sortie : Une réponse binaire « Oui » ou « Non ».
- Objectif : Le LLM utilise les exemples récupérés comme « démonstrations » pour apprendre les schémas de décision de la correction de la traçabilité, plutôt que de s'appuyer sur la récupération de connaissances externes.
Récupération de la Traçabilité (Prétraitement) :
Pour récupérer les liens manquants sans effectuer une recherche exhaustive par produit cartésien, TVR emploie une stratégie de filtrage en trois étapes :
- Correspondance de Variation : Associe les exigences par type de DTC (ex. : « Perte de communication » ne se lie qu'à « Perte de communication »).
- Correspondance de Condition : Associe les exigences selon le type de condition (Mature vs Demature).
- Correspondance de Chevauchement de Message : Filtre les paires qui ne partagent pas au moins un jeton (token) de message ou de signal commun.
- Les candidats filtrés sont ensuite validés par TVR pour identifier les liens valides manquants.

3. Principales Contributions

Cadre TVR : Une nouvelle approche basée sur le RAG spécifiquement conçue pour valider et récupérer les liens de traçabilité dans les systèmes automobiles, utilisant des exemples en contexte plutôt que la récupération de connaissances externes.
Robustesse aux Variations : Capacité démontrée à gérer des variations d'exigences non vues (différents modèles et terminologies) en exploitant la compréhension sémantique des LLM augmentée par des exemples représentatifs.
Évaluation Complète : Une évaluation rigoureuse à travers 13 LLM (incluant les familles Claude, Llama, Mistral et Titan) et quatre stratégies de prompting (Zero-Shot, CoT, Few-Shot, Self-Consistency), comparant TVR aux meilleures méthodes de référence (LiSSA, TF-IDF, SentenceBERT).
Validation Industrielle : Évaluation sur un jeu de données industriel réel de 2 132 paires d'exigences DTC provenant d'un partenaire automobile, avec une vérité de terrain établie par une annotation structurée par des ingénieurs système.

4. Résultats Expérimentaux

L'étude a été menée sur un ensemble de données de 1 320 exigences des parties prenantes liées à 48 exigences système (2 132 liens).

Validation de la Traçabilité :
- Précision (Accuracy) : TVR (utilisant Claude 3.5 Sonnet avec RAG) a atteint 98,87 % de précision.
- Macro-F1 : A atteint 96,72 %, surpassant nettement la meilleure méthode de référence (LiSSA-CoT à 52,89 % et SentenceBERT à 57,82 %).
- Comparaison : Le prompting Zero-Shot sur le même modèle n'a produit que 79,55 % de précision, soulignant la nécessité de l'approche RAG/In-Context.
- Robustesse : Testé sur des variations d'exigences non vues (validation croisée sur quatre catégories de variations), TVR a maintenu une précision de 97,13 % et un Macro-F1 de 90,86 %.
Récupération de la Traçabilité :
- Après que le prétraitement en trois étapes a réduit le pool de candidats d'environ 30k à 1 919 paires, TVR a identifié 502 liens potentiels manquants.
- Exactitude : La vérification humaine a confirmé que 85,50 % des liens récupérés étaient corrects.
Analyse d'Erreur :
- Les erreurs se sont principalement produites lorsque le LLM se concentrait sur les conditions de déclenchement plutôt que sur le message d'entrée cible, ou lorsqu'il considérait des composants au-delà du signal spécifique (ex. : règles de validation).
- TVR et les méthodes de référence basées sur la récupération (SentenceBERT) présentent des schémas d'erreurs orthogonaux, suggérant un potentiel pour des approches hybrides.

5. Signification et Revendications

L'article affirme que TVR offre une solution pratique et de haute précision pour les contextes industriels où la traçabilité des exigences est critique mais maintenue manuellement.

Efficacité : Il réduit considérablement l'effort manuel requis pour la vérification de la traçabilité, répondant aux contraintes de temps et de coût rapportées par les partenaires industriels.
Fiabilité : Sa haute précision (98,87 %) et sa robustesse aux variations non vues le rendent adapté au déploiement dans des systèmes automobiles complexes et évolutifs.
Interprétabilité : Le cadre supporte l'explicabilité ; lorsqu'il est configuré pour le faire, le LLM peut fournir un raisonnement étape par étape (ex. : identifier le message spécifique et vérifier sa présence dans l'exigence système), aidant les ingénieurs à vérifier les décisions automatisées.
Limites et Travaux Futurs : Les auteurs reconnaissent que l'approche dépend de la qualité de la base de données de récupération et que des faux positifs peuvent survenir en raison du fait que le modèle échoue parfois à respecter strictement la focalisation sur le « seul message ». Ils suggèrent que les travaux futurs pourraient impliquer l'hybridation de la similitude de récupération avec le raisonnement du LLM et l'affinement du prétraitement pour exclure les conditions de déclenchement.

Les auteurs concluent que, bien que TVR soit actuellement adapté aux exigences DTC automobiles, ses principes sous-jacents d'utilisation de l'apprentissage en contexte augmenté par la récupération pour la validation d'exigences sont adaptables à d'autres domaines nécessitant la traçabilité d'exigences de haut niveau vers bas niveau.