EmbC-Test: How to Speed Up Embedded Software Testing Using LLMs and RAG

Cet article présente EmbC-Test, une solution basée sur le RAG et les LLMs qui automatise la génération de tests pour le logiciel embarqué en C, permettant de réduire le temps de test de 66 % tout en assurant un taux de validation d'exécution de 85 %.

L'essentiel

Voici une explication simple de ce papier de recherche, imagée comme si nous parlions d'une cuisine de haute technologie.

🍳 Le Problème : Le Chef épuisé

Imaginez que vous êtes un chef cuisinier (le développeur de logiciels) dans un restaurant très populaire (l'industrie des logiciels embarqués, comme dans les voitures ou les robots). Votre travail consiste à créer de nouveaux plats (le code logiciel).

Le problème ? La cuisine va trop vite ! Les clients veulent de nouveaux plats chaque semaine. Mais avant de servir un plat, il faut s'assurer qu'il est bon, qu'il ne contient pas d'ingrédient toxique et qu'il respecte la recette. C'est l'étape du test.

Actuellement, pour vérifier chaque plat, le chef doit écrire manuellement une longue liste de contrôles de qualité. C'est épuisant, lent, et cela freine tout le restaurant. Si le chef essaie de faire trop vite, il risque de laisser passer des erreurs subtiles qui pourraient être dangereuses.

🤖 La Solution : Un Assistant Culinaire Intelligent (LLM + RAG)

Les chercheurs ont pensé : "Pourquoi ne pas utiliser une Intelligence Artificielle (IA) pour écrire ces listes de contrôles à la place du chef ?"

Mais il y a un piège. Si on demande à une IA générique (comme un robot qui a lu tous les livres du monde mais qui ne connaît pas votre cuisine) de créer des contrôles, elle va faire des bêtises. Elle va inventer des ingrédients qui n'existent pas dans votre cuisine, utiliser des ustensiles que vous n'avez pas, ou oublier vos règles d'hygiène spécifiques. C'est ce qu'on appelle les "hallucinations".

🔍 L'Innovation : Le "RAG" (Le Mémoricien de la Cuisine)

C'est ici qu'intervient la méthode RAG (Génération Augmentée par la Récupération), le cœur de la découverte de ce papier.

Imaginez que l'IA ne travaille plus seule. Elle est maintenant assise à côté d'un mémoricien (le système RAG) qui a lu tous les carnets de recettes, les listes d'ingrédients existants et les anciens rapports de contrôle de votre cuisine.

1. Le Chef donne un ordre : "Je veux vérifier le nouveau plat 'Gâteau aux pommes'."
2. Le Mémoricien fouille : Il va chercher immédiatement dans les archives : "Ah, pour les gâteaux, on utilise toujours ce four spécifique, et on a déjà testé ce type de gâteau il y a deux ans avec telle recette."
3. L'IA rédige : L'IA prend ces informations précises et rédige la liste de contrôle.

Grâce à ce système, l'IA ne devine plus. Elle s'appuie sur la réalité de votre projet. Elle sait exactement quels outils vous avez et quelles règles vous suivez.

📊 Les Résultats : Une Révolution en Cuisine

Les chercheurs ont testé cette méthode dans une vraie entreprise (Hydac Software) et les résultats sont bluffants :

• Zéro erreur de syntaxe : 100 % des listes de contrôles générées étaient bien écrites (pas de fautes de grammaire dans la recette).
• 85 % de réussite immédiate : La grande majorité de ces listes de contrôles fonctionnaient du premier coup sans avoir besoin de corrections.
• Vitesse fulgurante :
  • Un humain met environ 1 heure pour écrire un contrôle de qualité.
  • L'IA avec le Mémoricien en génère 270 par heure.
  • C'est comme si vous aviez remplacé un seul chef par une armée de 270 assistants ultra-rapides !

🎯 Le Bénéfice Final : Devenir un Chef Créatif

Le but n'est pas de remplacer le chef humain, mais de le libérer.

Avec ce système, le chef n'a plus à passer des heures à écrire des listes de contrôle ennuyeuses. Il passe son temps à vérifier le travail de l'IA, à corriger les 15 % de cas complexes, et surtout, à se concentrer sur ce qui compte vraiment : l'innovation, la sécurité et la qualité globale du plat.

En résumé, ce papier nous dit : "Ne laissez pas l'IA deviner. Donnez-lui vos propres livres de recettes, et elle deviendra l'assistant le plus rapide et le plus fiable que vous ayez jamais eu."

C'est une façon de transformer une tâche pénible et répétitive en un processus fluide, permettant aux humains de se concentrer sur l'essentiel.

Résumé technique

Voici un résumé technique détaillé de l'article « EmbC-Test : How to Speed Up Embedded Software Testing Using LLMs and RAG » (EmbC-Test : Accélérer les tests de logiciels embarqués grâce aux LLM et au RAG), rédigé en français.

1. Problématique

Le développement de logiciels embarqués en C s'accélère, mais la phase de vérification et de test manuel reste un goulot d'étranglement critique.

• Limites des méthodes actuelles : La génération de tests manuels est chronophage et ne s'adapte pas à la fréquence croissante des cycles de publication.
• Échec des approches naïves (Zero-shot) : L'utilisation directe de grands modèles de langage (LLM) sans contexte spécifique entraîne des « hallucinations » (inventer des API, des types ou des fonctions inexistantes), des erreurs subtiles et une non-conformité aux conventions de codage internes. Cela crée une fausse confiance, particulièrement dangereux dans les domaines critiques pour la sécurité.
• Besoin : Il est nécessaire d'automatiser la génération de tests unitaires pour le C embarqué tout en garantissant la syntaxe correcte, l'alignement avec l'architecture du projet et la fiabilité des assertions.

2. Méthodologie : Pipeline RAG (Retrieval-Augmented Generation)

L'article propose une architecture complète intégrant le RAG pour ancrer la génération de tests dans les artefacts spécifiques du projet (Hydac Software GmbH).

A. Architecture du Système

Le système fonctionne en deux phases :

1. Phase Hors Ligne (Offline) : Construction d'une base de connaissances.
   • Sources : Fichiers en-tête C (.h), code source (.c), tests Python existants et documentation.
   • Stratégies de découpage (Chunking) : Quatre stratégies ont été évaluées :
     • Taille fixe : Risque de couper des fonctions.
     • Sensible aux accolades : Découpage aux points de profondeur zéro des accolades.
     • Basé sur l'AST (Abstract Syntax Tree) : Analyse syntaxique pour regrouper les structures logiques (fonctions, types, enums) de manière cohérente.
     • Découpage par unité de test : Pour les tests Python.
   • Embedding : Transformation des chunks en vecteurs via un modèle d'embedding local.
2. Phase En Ligne (Online) : Génération de tests.
   • Récupération Hybride : Combinaison de la recherche sémantique (similarité cosinus) et de la recherche lexicale (BM25 avec tokenisation consciente du code). Les résultats sont fusionnés via la Reciprocal Rank Fusion (RRF).
   • Prompting : Le prompt envoyé au LLM inclut le contexte récupéré (en-têtes, code, tests legacy), les spécifications du projet et l'exigence logicielle cible.
   • Génération : Un LLM hébergé dans le cloud génère le code de test Python.

B. Évaluation

Une évaluation multidimensionnelle a été menée sur 44 configurations (combinaison de modèles, stratégies de découpage et bases de connaissances) :

1. Couverture de code : Lignes et branches.
2. Correction des tests : Syntaxe, compilation et validation à l'exécution.
3. Qualité de la récupération : Précision et rappel (Precision@k, Recall@k).
4. Performance système : Latence et débit.
5. Évaluation humaine : Deux experts ont noté la pertinence, la correction des assertions, la complétude des cas limites et la lisibilité sur une échelle de Likert à 5 points.

3. Contributions Clés

1. Architecture de référence pragmatique : Une implémentation complète d'un pipeline RAG pour la génération de tests C embarqués, incluant des stratégies de découpage adaptées (notamment AST) et une récupération hybride.
2. Approche d'évaluation industrielle : Une méthodologie d'évaluation spécifique au contexte embarqué, dépassant la simple couverture de code pour inclure la validité à l'exécution et l'acceptabilité humaine.
3. Outil déployé : Le système n'est pas une simple étude théorique ; il est intégré et utilisé activement dans le flux de travail de test de Hydac Software, comblant le maillon manquant entre la création de projet et la revue de test.

4. Résultats

Les résultats démontrent l'efficacité supérieure du RAG par rapport aux approches sans récupération (No-RAG) ou aléatoires (Random Retrieval) :

• Correction des tests :
  • Syntaxe : 100 % de validité syntaxique pour le RAG.
  • Exécution : 84,5 % des tests RAG passent la validation à l'exécution (contre 50,5 % pour le modèle sans récupération).
• Couverture : Le système RAG atteint jusqu'à 43 % de couverture de branches et 67 % de couverture de lignes en une seule exécution (sans raffinement manuel), comparé à 76 % et 93 % pour des suites manuelles affinées sur plusieurs mois.
• Qualité perçue (Humaine) : La meilleure configuration RAG obtient un score de 94,4 % de taux d'utilisabilité.
  • 38,9 % des tests sont acceptés directement.
  • 55,6 % nécessitent de légères modifications.
  • Seulement 5,6 % doivent être réécrits.
• Gain de productivité :
  • Débit : Génération de 270 tests par heure contre ~1 test/heure en manuel.
  • Gain de temps : Réduction de l'effort de test de 66 % (passant de 57 heures à 19,2 heures pour 57 exigences logicielles).

5. Signification et Impact Industriel

• Changement de paradigme : L'objectif n'est pas de remplacer l'expert humain, mais de déplacer son temps des tâches répétitives (écriture de tests) vers des activités à haute valeur ajoutée (analyse des risques, tests exploratoires, raffinement des oracles).
• Confiance et Échelle : Le RAG permet de passer d'une simple augmentation du nombre de tests à une augmentation de la confiance dans le système, grâce à la réduction des hallucinations et à l'alignement avec les conventions internes.
• Adoption Industrielle : La solution est particulièrement efficace dans les environnements disposant d'une base de code bien documentée et d'une riche bibliothèque de tests legacy. Elle valide le concept d'innovation disruptive : une solution « assez bonne » (94 % d'utilisabilité) qui offre des gains massifs en vitesse et en évolutivité.

En conclusion, l'article EmbC-Test prouve qu'en combinant les LLM avec une récupération contextuelle rigoureuse (RAG), il est possible d'automatiser efficacement la génération de tests pour le logiciel embarqué critique, transformant ainsi le cycle de développement et de vérification.