🤖 AI

Evaluating Large Language Models for Detecting Architectural Decision Violations

Cette étude évalue l'efficacité des grands modèles de langage (LLM) pour détecter les violations de décisions architecturales dans les logiciels open-source, concluant qu'ils sont performants pour les décisions liées au code mais limités pour celles dépendant du contexte organisationnel ou du déploiement.

Auteurs originaux : Ruoyu Su, Alexander Bakhtin, Noman Ahmad, Matteo Esposito, Valentina Lenarduzzi, Davide Taibi

Publié 2026-02-10

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ruoyu Su, Alexander Bakhtin, Noman Ahmad, Matteo Esposito, Valentina Lenarduzzi, Davide Taibi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Livre de Recettes" oublié de la cuisine

Imaginez que vous gérez un immense restaurant avec des dizaines de chefs. Pour que tout fonctionne, vous avez écrit un "Grand Livre des Règles" (ce que les chercheurs appellent les ADR). Ce livre dit des choses comme : "On utilise toujours du sel de mer, jamais de sel fin" ou "Toutes les sauces doivent être préparées le matin même".

Le problème ? Dans le feu de l'action, les chefs oublient les règles. Certains utilisent du sel fin par habitude, d'autres préparent les sauces la veille. Petit à petit, la qualité de la cuisine change, le goût devient imprévisible, et le restaurant court à la catastrophe. C'est ce qu'on appelle la "dégradation architecturale".

Normalement, il faudrait un inspecteur humain (un architecte logiciel) pour vérifier chaque plat. Mais avec des milliers de plats par jour, c'est impossible.

La Solution : Les "Super-Inspecteurs" Virtuels (les LLM)

Les chercheurs ont voulu savoir si l'Intelligence Artificielle (comme ChatGPT, les fameux LLM) pouvait jouer le rôle de cet inspecteur. Ils ont créé une équipe de "super-inspecteurs" numériques pour lire le "Livre des Règles" et vérifier si les "plats" (le code informatique) respectaient bien les consignes.

Pour être sûrs de ne pas se tromper, ils ont utilisé une méthode de groupe : un inspecteur principal faisait le constat, et trois autres inspecteurs venaient vérifier si son raisonnement tenait la route.

Les Résultats : Des génies... mais avec des angles morts

Voici ce que l'expérience a révélé :

1. Ils sont excellents pour les règles "visibles" (Le test du sel)
Si la règle est simple et écrite noir sur blanc dans la cuisine (ex: "Utilisez une poêle en cuivre"), l'IA est une championne. Elle voit la poêle, elle lit la règle, elle dit : "C'est conforme !". Elle a obtenu plus de 90 % de réussite sur ces points-là. C'est comme un inspecteur qui vérifie si les cuisiniers portent bien leur toque.

2. Ils sont perdus face à l'invisible (Le test de la température de l'air)
C'est là que ça coince. Si la règle est : "La cuisine doit rester fraîche pour la conservation" ou "On travaille avec un fournisseur local de confiance", l'IA est totalement désemparée.
Pourquoi ? Parce que ces règles ne sont pas "écrites" dans le plat lui-même. Elles dépendent de l'environnement, de l'organisation ou de choses qui se passent en dehors de la cuisine. L'IA regarde le plat, ne voit rien d'anormal, et finit par dire : "Je ne sais pas répondre".

3. Ils font parfois des erreurs de lecture (Le test de la recette complexe)
Parfois, l'IA lit mal une consigne complexe. Si la règle est : "Si c'est du poisson, mettez du citron, MAIS si c'est du bœuf, ne mettez surtout pas de citron, SAUF si c'est un steak tartare", l'IA peut s'emmêler les pinceaux et faire une erreur de logique.

En résumé : L'IA est un assistant, pas le Chef !

L'étude conclut que l'IA est un assistant incroyable pour surveiller les règles de base et les détails techniques évidents. Elle peut libérer les architectes des tâches répétitives et ennuyeuses.

Cependant, elle n'a pas encore le "bon sens" ou la "vision globale" d'un humain. Elle ne comprend pas l'intention profonde ou le contexte invisible.

La leçon à retenir : Utilisez l'IA pour vérifier que les cuisiniers portent leurs toques et utilisent le bon sel, mais gardez toujours un Chef humain pour s'assurer que l'âme et l'esprit du restaurant sont respectés !

Résumé Technique : Évaluation des LLM pour la détection des violations de décisions architecturales

Problématique

La maintenance de la qualité logicielle repose sur les Architectural Decision Records (ADR), qui documentent les choix de conception pour éviter la dégradation de l'architecture (le "drift"). Cependant, la vérification de la conformité de ces décisions est un processus manuel, coûteux et sujet aux erreurs, car les décisions sont souvent écrites en langage naturel et ne sont pas directement intégrées dans les outils d'analyse statique traditionnels. L'étude cherche à savoir si les Grands Modèles de Langage (LLM) peuvent automatiser cette détection de manière fiable.

Méthodologie

Les auteurs ont mis en place une étude empirique à grande échelle utilisant une approche de pipeline multi-modèles :

Données : Analyse de 980 ADR extraits de 109 dépôts GitHub (projets open-source sélectionnés pour leur taille et leur activité).
Pipeline de détection (Multi-modèles) :
- LRM (Large Reasoning Model) : Le modèle Marco-o1 est utilisé pour extraire les décisions et détecter les violations.
- Modèles de validation (V1, V2, V3) : Trois autres modèles (Mistral-Nemo, Qwen, Llama) agissent comme des validateurs indépendants pour vérifier le raisonnement du LRM.
Technique RAG (Retrieval-Augmented Generation) : Pour surmonter les limites de la fenêtre de contexte, un système de recherche sémantique (via FAISS et des embeddings) est utilisé pour extraire les fragments de code les plus pertinents par rapport à chaque ADR.
Évaluation humaine : Un échantillon de 305 cas a été validé par trois experts humains pour établir une "vérité terrain" (ground truth) et mesurer la précision réelle des modèles.
Métriques : Utilisation de l'accord de Fleiss' Kappa, de la précision, du rappel, du score F1 (macro et micro) et du coefficient de corrélation de Matthews (MCC).

Contributions Clés

Évaluation à grande échelle : Une étude inédite de la performance de quatre LLM de pointe sur la détection de violations d'ADR.
Pipeline de validation robuste : Un cadre combinant la détection assistée par RAG, la validation croisée par LLM et l'expertise humaine.
Taxonomie des échecs : Une classification détaillée des types de décisions et des catégories d'erreurs où les modèles échouent.

Résultats Principaux

Accord et Cohérence : Les modèles affichent un accord substantiel (Fleiss' $\kappa = 0,724$ ). Ils sont particulièrement cohérents lorsqu'une décision est clairement respectée (classe "Compliant").
Performance de détection : Les modèles les plus performants (Marco-o1 et Qwen) atteignent une exactitude supérieure à 90 %.
Limites de performance par classe :
- Compliant (C) : Très haute performance (les modèles identifient facilement le code conforme).
- Not Compliant (NC) : Performance solide mais plus complexe que la conformité.
- Code is Insufficient to Answer (CIA) : C'est la catégorie la plus difficile. Les modèles peinent à distinguer une absence de preuve d'une violation réelle.
Analyse des échecs (RQ3) :
- Les erreurs les plus fréquentes concernent les décisions liées à l'infrastructure et au déploiement (42,39 %), car elles nécessitent des connaissances contextuelles hors du code source (ex: Docker, Kubernetes, CI/CD).
- Les causes d'erreurs incluent la mauvaise interprétation sémantique/logique (44,57 %) et l'incapacité à inférer un contexte implicite ou manquant.

Signification et Implications

L'étude démontre que les LLM sont des outils puissants pour soutenir les architectes logiciels, notamment pour automatiser les revues de routine sur les décisions directement implémentées dans le code. Cependant, ils ne peuvent pas encore remplacer l'expertise humaine, car ils manquent de compréhension des aspects non codés (processus organisationnels, configurations d'infrastructure, intentions implicites).

Conclusion pratique : L'utilisation des LLM pour la conformité architecturale doit s'inscrire dans un flux de travail hybride, où l'IA sert de système d'alerte précoce pour l'architecte plutôt que de décideur final.