LLM-Augmented Knowledge Base Construction For Root Cause Analysis

Cette étude évalue trois méthodologies d'IA générative (ajustement fin, RAG et approche hybride) pour construire une base de connaissances à partir de tickets de support, démontrant que cette approche accélère l'analyse des causes racines et améliore la résilience des réseaux de communication.

L'essentiel

🌐 Le Problème : L'énorme brouillard des pannes

Imaginez que le réseau de télécommunications (Internet, mobile, etc.) est une ville géante et complexe. Des millions de voitures (les données) circulent partout. Parfois, il y a un embouteillage, un accident ou une panne de feu rouge. C'est ce qu'on appelle une "panne".

Pour réparer la ville, il faut un détective très rapide : l'analyse de la cause racine (RCA). Le problème, c'est que les détectives actuels doivent lire des milliers de rapports manuscrits (les "tickets de support") écrits par des humains, avec des termes techniques, des fautes de frappe et des histoires confuses. C'est lent, épuisant et sujet aux erreurs.

🤖 La Solution : Le "Super-Détective" (TelcoInsight)

Les auteurs de ce papier ont créé un outil appelé TelcoInsight. C'est comme un super-détective alimenté par une intelligence artificielle (un Grand Modèle de Langage ou LLM) qui peut lire tous ces rapports en une seconde et apprendre à trouver les pannes par lui-même.

Mais comment entraîner ce super-détective ? Les chercheurs ont testé trois méthodes différentes, comme trois façons d'apprendre à un élève :

1. La Méthode "Étudiant Spécialisé" (Fine-Tuning)

Imaginez que vous prenez un élève très intelligent (le modèle d'IA) et que vous le faites réviser intensivement uniquement avec les vieux rapports de pannes de votre entreprise.

• L'avantage : Il devient un expert de votre jargon interne. Il parle votre langue.
• Le défaut : Il a une mémoire "figée". S'il rencontre une panne très rare qu'il n'a jamais vue dans ses révisions, il peut inventer une solution (halluciner) parce qu'il ne connaît pas l'histoire récente.

2. La Méthode "Recherche en Bibliothèque" (RAG)

Ici, l'élève n'apprend pas par cœur. À la place, on lui donne un accès immédiat à une immense bibliothèque de tous les rapports passés. Quand il a un problème, il cherche d'abord dans la bibliothèque des cas similaires avant de répondre.

• L'avantage : Il a toujours l'information la plus à jour et ne se trompe pas sur les faits.
• Le défaut : Il peut être un peu lent à chercher, et parfois il ne comprend pas bien le contexte spécifique de votre entreprise s'il ne l'a pas "intégré" dans sa tête.

3. La Méthode Hybride (Le Meilleur des Deux Mondes) 🏆

C'est la méthode gagnante découverte par les chercheurs. C'est comme avoir un élève qui a étudié par cœur les manuels de votre entreprise ET qui a une bibliothèque magique à portée de main.

• Il connaît déjà votre jargon (grâce à l'étude).
• Il peut vérifier les faits récents dans la bibliothèque (grâce à la recherche).
• Résultat : Il donne des réponses plus précises, plus rapides et plus fiables que les deux autres méthodes seules.

🛠️ Comment ça marche concrètement ?

1. Le Nettoyage : Les rapports sont souvent trop longs. L'outil les découpe en petits morceaux intelligents (comme découper un roman en chapitres courts) pour que le détective puisse les lire sans se perdre.
2. Les Instructions (Prompts) : On ne dit pas juste "Trouve la panne". On donne des instructions précises : "Regarde le symptôme, trouve la cause, et propose la solution sous forme de règle claire." C'est comme donner une carte au détective.
3. La Création de la Base de Connaissances : Au lieu de laisser le détective répondre à chaque fois, on utilise son intelligence pour créer un livre de règles (une base de connaissances).
   • Exemple de règle : "Si le feu rouge clignote en rouge ET que le bruit vient du pont, alors c'est un problème de câble."
4. La Compression : Le système regroupe les pannes qui se ressemblent. Au lieu d'avoir 100 règles pour des pannes légèrement différentes, il en crée une seule règle générale. C'est comme ranger des chaussettes : on ne fait pas une pile pour chaque chaussette, on les met en paires.

🎯 Pourquoi c'est important ?

• Rapidité : Au lieu de passer des heures à chercher, le système trouve la cause en quelques secondes.
• Fiabilité : Moins d'erreurs humaines.
• Confidentialité : Tout se passe sur place (dans les locaux de l'entreprise), donc les données sensibles ne quittent pas le bâtiment. C'est comme faire ses devoirs à la maison plutôt que de les envoyer à l'école.

En résumé

Ce papier nous dit que pour réparer les réseaux modernes, on ne doit plus compter uniquement sur l'intuition humaine ou sur des IA "bêtes". La meilleure solution est un mélange intelligent : entraîner l'IA sur nos propres données, tout en lui permettant de consulter une base de connaissances à jour. C'est comme donner à un mécanicien de voiture non seulement son manuel d'atelier, mais aussi un accès en direct à la base de données de tous les autres mécaniciens du monde pour qu'il ne rate jamais un diagnostic.

Résumé technique

1. Problématique

La fiabilité des réseaux de communication est cruciale, mais leur complexité croissante rend l'analyse de cause racine (RCA) des pannes difficile et lente. Traditionnellement, la RCA repose sur l'analyse manuelle de volumes massifs de données hétérogènes (tickets de support, journaux système, métriques), ce qui est chronophage et sujet aux erreurs humaines.
Les méthodes d'IA/ML classiques (régression, séries temporelles) peinent à capturer les nuances sémantiques et le contexte des documents techniques non structurés. Bien que les grands modèles de langage (LLM) offrent des opportunités, leur application directe soulève des défis :

• Limites des LLM finement ajustés (Fine-tuning) : Ils peuvent manquer de connaissances externes actualisées et souffrir d'hallucinations.
• Limites du RAG (Retrieval-Augmented Generation) pur : L'utilisation d'API cloud pose des problèmes de confidentialité des données sensibles des opérateurs télécoms.
• Besoin de sécurité : Les données de support sont sensibles ; une solution doit pouvoir être déployée localement (on-premise) pour garantir la vie privée.

L'objectif est donc de construire automatiquement une base de connaissances structurée (sous forme de règles d'association) à partir de tickets de support résolus, afin d'accélérer le diagnostic futur des incidents réseau.

2. Méthodologie : Le Framework TelcoInsight

Les auteurs proposent un framework nommé TelcoInsight qui évalue trois approches distinctes pour transformer des tickets de support non structurés en règles RCA actionnables :

A. Prétraitement et Ingénierie des Prompts

• Découpage (Chunking) : Les tickets contiennent souvent plus de tokens que la limite d'entrée des LLM (ex: 4096 tokens). Un algorithme spécifique découpe les textes en blocs gérables tout en préservant le contexte du prompt.
• Prompts Spécifiques : Trois types de prompts guident le LLM :
  1. Analyse d'anomalie : Extraction des symptômes et des logs.
  2. Extraction de cause et solution : Identification de la cause racine et de la résolution.
  3. Synthèse : Combinaison des résultats pour générer une règle d'association structurée (Anomalie, Impact Produit, Cause, Solution).

B. Les Trois Approches Évaluées

1. Fine-Tuning (Ajustement Fin) :

   • Utilisation de modèles pré-entraînés (LLaMA 3, Gemma) adaptés via LoRA (Low-Rank Adaptation) sur un jeu de données de tickets résolus.
   • Le modèle apprend le vocabulaire spécifique du domaine (abréviations techniques, produits) et la logique de résolution.
   • Avantage : Compréhension profonde du domaine. Inconvénient : Pas de mise à jour dynamique des connaissances, risque d'hallucination sur des cas rares.

2. RAG (Génération Augmentée par Récupération) :

   • Le système récupère les tickets historiques les plus similaires (via des embeddings vectoriels et une mesure de similarité cosinus) dans une base de connaissances locale.
   • Ces informations sont injectées dans le prompt du LLM pour guider la génération.
   • Avantage : Accès à des preuves factuelles récentes. Inconvénient : Dépendance à la qualité de la récupération, coût de calcul pour la recherche.

3. Approche Hybride (La proposition principale) :

   • Combine les deux méthodes : un modèle Fine-Tuned (D-LLM) qui maîtrise le langage et les concepts du domaine, enrichi dynamiquement par des contextes récupérés via RAG.
   • Le modèle génère des règles en s'appuyant sur ses poids internes (apprentissage du domaine) et des preuves externes (tickets similaires).

C. Métriques d'Évaluation

L'évaluation utilise une combinaison de métriques lexicales (BLEU, ROUGE, METEOR, Similarité Cosine) et sémantiques (Score BERT) pour mesurer la fidélité et la pertinence des règles générées par rapport aux solutions d'experts humains.

3. Contributions Clés

1. Framework TelcoInsight : Une architecture complète pour automatiser la construction de bases de connaissances RCA à partir de tickets, avec une attention particulière à la confidentialité des données (déploiement local).
2. Adaptation des LLM : Méthodologie incluant le fine-tuning avec LoRA, la gestion des abréviations techniques et l'ingénierie de prompts spécifiques au RCA.
3. Comparaison Systématique : Évaluation rigoureuse de trois paradigmes (Fine-tuning, RAG, Hybride) sur un jeu de données industriel réel.
4. Validation Industrielle : Démonstration que l'approche hybride génère des règles plus précises, contextuelles et alignées avec les versions logicielles et produits réels des opérateurs.

4. Résultats et Findings

L'étude a été menée sur un jeu de données réel de 1 049 tickets couvrant 13 classes d'anomalies réseau, divisés en 80 % pour l'entraînement et 20 % pour l'évaluation.

• Performance Globale : L'approche Hybride surpasse systématiquement les autres méthodes sur presque toutes les métriques (notamment le score BERT, indicateur de similarité sémantique).
  • Exemple : Avec le modèle LLaMA-3-8B, l'approche hybride atteint un score BERT de 0,905, contre 0,845 pour le fine-tuning seul et 0,876 pour le RAG seul.
• Impact des Prompts : L'utilisation de prompts structurés améliore significativement les performances (ex: la similarité cosinus passe de 0,208 à 0,589 pour LLaMA-3 sans/sans prompt).
• Gestion des Cas Rares :
  • Le fine-tuning seul échoue souvent sur des anomalies rares (manque de contexte externe), produisant des solutions hallucinées.
  • Le RAG et l'approche hybride gèrent mieux les cas rares en récupérant des contextes pertinents, bien que les types d'anomalies très spécifiques avec peu de tickets (ex: types 10, 11, 12) restent un défi.
• Compression des Règles : L'approche hybride permet de regrouper des anomalies similaires via des seuils de similarité. Par exemple, un seuil de 70 % permet de réduire le nombre de règles de 11,34 % sans perte majeure de précision, facilitant la maintenance de la base de connaissances.
• Coût et Latence : L'approche hybride ajoute environ 4 secondes de latence par requête due au processus de récupération (RAG), mais la consommation mémoire GPU reste stable.

5. Signification et Conclusion

Cet article démontre que l'approche hybride (Fine-tuning + RAG) est la méthode la plus efficace pour construire des bases de connaissances RCA automatisées dans le secteur des télécommunications.

• Avantages : Elle combine la compréhension linguistique profonde du domaine (via le fine-tuning) avec la précision factuelle et la mise à jour dynamique des connaissances (via le RAG).
• Sécurité : En permettant un déploiement local, elle résout les problèmes de confidentialité des données critiques des opérateurs.
• Impact Opérationnel : La génération de règles structurées et compressées permet aux ingénieurs de diagnostiquer plus rapidement les pannes et d'améliorer la résilience du réseau.

Les auteurs prévoient d'améliorer la méthode pour les classes d'anomalies rares via l'augmentation de données (synthétique) et l'ajustement des poids de perte lors du fine-tuning, tout en testant le framework sur des domaines industriels plus vastes.