Fault Detection and Explainable Classification in Automotive HIL Validation via Denoising Autoencoders and In-Context Large Language Models

Résumé Technique : Détection de Défauts et Classification Explicable dans la Validation HIL Automobile

Énoncé du Problème
La validation des systèmes logiciels automobiles (ASS) modernes génère des enregistrements de tests multivariés massifs issus de simulations Hardware-in-the-Loop (HIL). Les flux de travail de validation actuels reposent lourdement sur des revues manuelles intensives et des évaluations basées sur des règles, qui peinent à détecter les défauts sortant des règles prédéfinies ou des données historiques. Bien que l'apprentissage automatique (ML) et l'apprentissage profond (DL) aient fait progresser le diagnostic de pannes, les modèles supervisés nécessitent de grands ensembles de données étiquetées, généralisent mal aux conditions inédites et manquent d'interprétabilité. À l'inverse, les méthodes non supervisées manquent souvent de capacités de raisonnement pour classifier des types de défauts spécifiques ou fournir des explications sur les causes racines. Il existe une lacune critique dans les cadres capables de détecter simultanément des anomalies sans étiquettes de défauts, de les classifier avec une haute capacité de généralisation à travers différents groupes motopropulseurs et régimes de conduite, et de fournir des rapports de diagnostic interprétables pour les ingénieurs.

Méthodologie
Les auteurs proposent un cadre généralisable en deux phases qui découple la détection de défauts de la classification de défauts, en utilisant des auto-encodeurs débruiteurs (DAE) et des grands modèles de langage (LLM) gelés.

1. Phase 1 : Détection de Défauts sans Étiquette (DAE)

   • Un DAE est entraîné exclusivement sur des données de signaux sains. En ajoutant un bruit gaussien pendant l'entraînement, le modèle apprend à reconstruire la structure intrinsèque du comportement normal.
   • Lors de la validation, l'erreur de reconstruction est analysée. Les fenêtres dont les erreurs dépassent un seuil prédéfini sont signalées comme anormales. Cette approche élimine le besoin d'étiquettes de défauts lors de la phase de détection.
   • Le DAE est entraîné sur des données provenant de deux groupes motopropulseurs distincts (moteur à essence et véhicule électrique) et validé à travers trois régimes de conduite (urbain, non urbain, autoroutier).

2. Phase 2 : Classification Explicable (LLM Gelé)

   • Les fenêtres anormales ne sont pas injectées directement sous forme de données de séries temporelles brutes. Au lieu de cela, elles sont converties en preuves textuelles structurées et compactes. Cette preuve comprend des descripteurs statistiques (ex: z-score, médiane, déviation maximale) par rapport à une référence saine alignée temporellement.
   • Crucialement, la représentation des preuves sépare les déviations directes du signal racine des effets propagés pour encourager le raisonnement sur la cause racine.
   • Un LLM gelé (sans mise à jour des paramètres) classifie le défaut en utilisant l'apprentissage en contexte (in-context learning). Le système utilise des stratégies de prompting à la fois en zero-shot (instruction uniquement) et en few-shot (instruction + exemples étiquetés provenant d'une région temporelle exempte de fuite).
   • Le modèle produit un objet JSON contraint contenant la classe prédite, les alternatives classées, la valeur de confiance, l'emplacement du défaut et une explication courte basée sur les preuves.

Principales Contributions

• Cadre en deux phases : Une architecture novatrice qui sépare la détection d'anomalies sans étiquette (via DAE) de la classification interprétable (via LLM), réduisant la charge de calcul tout en conservant une analyse détaillée.
• Première Application aux Données HIL : Il s'agit de la première étude appliquant les LLM à des jeux de données de tests de conduite numériques générés par des simulations HIL en temps réel, traitant spécifiquement les défauts se propageant à travers des signaux physiquement et fonctionnellement couplés.
• Représentation de Preuves Structurées : Un format d'entrée qui distingue les causes racines directes des symptômes propagés, contraignant le LLM à une sortie structurée pour une justification traçable.
• Évaluation Systématique : Une évaluation complète de huit LLM open-source (allant de 7B à 70B de paramètres) sous conditions zero-shot et few-shot, quantifiant l'impact de l'échelle du modèle, de la représentation d'entrée et de la stratégie de prompting.

Résultats

• Détection de Défauts : Le DAE a obtenu des performances robustes à travers diverses conditions, avec un score F1 moyen de 0,9724 à travers les groupes motopropulseurs et de 0,9844 à travers les régimes de conduite. L'erreur de reconstruction moyenne est restée inférieure à 0,03, démontrant une haute capacité de généralisation.
• Performance de Classification :
  • Zero-Shot : La performance était insuffisante pour un usage pratique, le meilleur modèle (Gemma 2 9B) n'atteignant qu'un score F1 de 0,519.
  • Few-Shot : Le prompting avec des exemples a considérablement amélioré les résultats. Sous des régimes stables (autoroute/urbain), le prompting few-shot a permis d'atteindre une discrimination parfaite (F1 = 1,0) pour plusieurs modèles.
  • Échelle du Modèle vs Stratégie : Une conclusion critique est que la stratégie de prompting régit la qualité de la classification plus que le nombre de paramètres. Un modèle de 9 milliards de paramètres (Gemma 2 9B) avec un prompting few-shot a surpassé tous les modèles medium et large en zero-shot.
• Sélection du Modèle : Mistral Small 24B a été sélectionné comme modèle principal du pipeline. Il offrait le meilleur équilibre entre précision, fiabilité équilibrée des classes (MCC), calibration (faible score de Brier/ECE) et coût d'inférence (environ 4,9s par fenêtre).
• Interprétabilité : Les explications générées ont réussi à lier les prédictions à des localisations de défauts physiques spécifiques et à des preuves de signaux, permettant aux ingénieurs de vérifier les diagnostics sur des bases techniques.

Signification et Revendications
L'article affirme que ce cadre fournit une solution scalable et interprétable pour la validation HIL automobile qui ne nécessite ni ajustement fin (fine-tuning) spécifique à la tâche, ni ensembles de données étiquetées étendus. En découplant la détection de la classification et en exploitant l'apprentissage en contexte, l'approche permet aux ingénieurs de s'adapter à de nouveaux ensembles de défauts avec un coût minimal. L'étude souligne que pour les applications critiques de sécurité, la capacité de fournir des explications traçables et fondées sur des preuves est aussi vitale que la précision de la détection.

Limites et Travaux Futurs
Les auteurs notent modestement que l'évaluation est actuellement limitée aux données de simulation HIL ; la performance sur des données de tests routiers réels reste à vérifier. La taxonomie est restreinte à dix classes de défauts uniques, et le système repose sur des exemples few-shot exempts de fuite, car la performance zero-shot est nettement inférieure. De plus, le temps d'inférence de 3 à 7 secondes est actuellement plus adapté à une analyse hors ligne qu'à un déploiement en ligne en temps réel. Les travaux futurs visent à valider le cadre sur des données réelles, à étendre l'application à des défauts simultanés et interagissants, et à explorer des techniques telles que LoRA et la distillation de modèles pour améliorer l'efficacité.