Collaborative AI Agents and Critics for Fault Detection and Cause Analysis in Network Telemetry

1. Problématique

L'article aborde le défi de la gestion de systèmes complexes et multimodaux, en particulier dans le contexte de la télémétrie réseau. Les réseaux modernes génèrent des volumes massifs de données hétérogènes (flux de données, logs, états des ports) nécessitant une détection rapide des pannes, une évaluation de leur sévérité et une analyse de leurs causes.

Les défis principaux identifiés sont :

• Complexité des modèles fondationnels : Les modèles génératifs (LLM, modèles de vision) sont puissants mais coûteux en calcul et sujets aux « hallucinations ».
• Gestion des ressources : Déterminer dynamiquement le nombre optimal d'agents et de critiques à activer pour traiter différentes modalités (texte, données tabulaires, logs) sans communication inter-agents excessive.
• Optimisation distribuée : Minimiser le coût global du système (temps de calcul, précision) tout en garantissant la convergence vers une solution optimale, sans que les agents ne partagent leurs fonctions de coût privées.

2. Méthodologie

Les auteurs proposent un système fédéré multi-agents basé sur une architecture Multi-Agents / Multi-Critiques coordonnée par un serveur central.

Architecture du Système

• Agents IA : Ils accèdent à des modèles fondationnels (classiques ou génératifs) pour exécuter des tâches multimodales (ex: détection de pannes). Chaque agent possède une fonction de coût privée.
• Critiques IA : Ils évaluent les réponses des agents, fournissent des retours (feedback) et des scores basés sur des critères (précision, pertinence, clarté). Ils possèdent également leurs propres fonctions de coût.
• Serveur Central : Il ne connaît pas les fonctions de coût individuelles mais surveille le nombre d'agents/critiques actifs par modalité. Il diffuse des signaux de rétroaction (feedback signals) pour ajuster la probabilité d'activation des agents et critiques.

Algorithme d'Optimisation Stochastique

La méthode repose sur des techniques d'approximation stochastique multi-échelles de temps :

1. État Actif Probabiliste : À chaque pas de temps $k$, chaque agent $i$ et critique $\nu$ décide de participer (état actif $X=1$ ou inactif $X=0$) selon une probabilité $\sigma$. Cette probabilité dépend de :
   • Du signal de rétroaction du serveur central ($\Theta$).
   • De l'état moyen d'activation passé ($x(k)$).
   • De la dérivée partielle de leur fonction de coût privée.
2. Mise à jour du Serveur Central : Le serveur ajuste les signaux de rétroaction $\Theta_j(k)$ en fonction de l'écart entre le nombre d'agents actifs et la capacité cible ($N_j$) pour chaque modalité $j$.
   • La mise à jour utilise un taux de décroissance (step size) $\eta(k)$ qui diminue avec le temps pour assurer la convergence.
3. Convergence : L'algorithme garantit que les états moyens d'activation convergent vers des valeurs optimales qui minimisent la somme des coûts globaux, sous des contraintes de capacité.

Cas d'Usage : Télémétrie Réseau

Le système est appliqué à un jeu de données réel (Dataset 4 de [15]) contenant des données CSV (statistiques d'interfaces) et des fichiers journaux (logs).

• Étape 1 : Détection de pannes. Comparaison entre des agents utilisant XGBoost (Machine Learning classique) et des agents utilisant des LLM (Génératifs).
• Étape 2 : Analyse de sévérité et de cause. Utilisation exclusive de LLMs pour classer les pannes (Critique / Non-critique) et générer des résumés de causes, avec évaluation par des critiques LLM.
• RAG (Retrieval-Augmented Generation) : Pour améliorer les LLM, les auteurs utilisent ChromaDB pour stocker des embeddings vectoriels des logs et des exemples de pannes, permettant aux agents de récupérer du contexte pertinent.

3. Contributions Clés

1. Algorithmes Stochastiques Collaboratifs : Développement d'algorithmes itératifs pour contrôler le nombre d'agents et de critiques actifs dans un système fédéré, en utilisant des modèles classiques et génératifs.
2. Garanties de Convergence : Preuve mathématique (via l'approximation stochastique multi-échelles) que les états moyens d'activation convergent presque sûrement vers l'optimum global, même avec des fonctions de coût privées et non partagées.
3. Efficacité de Communication : La surcharge de communication est de l'ordre de $O(m)$ (où $m$ est le nombre de modalités), indépendante du nombre total d'agents et de critiques. Le serveur ne diffuse que des signaux scalaires.
4. Évaluation Comparative : Analyse approfondie de la détection de pannes et de l'analyse de causes sur un jeu de données industriel, comparant les performances des modèles classiques (XGBoost) et des LLMs (Llama3.2, Mistral, DeepSeek-R1, Granite, Phi4, Llava).

4. Résultats Expérimentaux

Les expériences ont été menées sur une machine équipée d'un GPU NVIDIA RTX 4080, en utilisant des frameworks open-source (Ollama, Langchain).

• Détection de Pannes :

  • Les agents basés sur XGBoost ont surpassé les agents LLM en termes de rapidité, de précision, de rappel et de score F1 (Précision : 96.44% pour XGBoost vs ~58% pour Llama3.2 avec RAG).
  • Les LLMs, même avec RAG, ont montré des performances inférieures pour la classification binaire stricte des pannes sur des données tabulaires brutes.

• Analyse de Sévérité et de Causes :

  • Les LLMs ont été efficaces pour générer des résumés de causes et classer la sévérité (Critique vs Non-critique).
  • Variabilité des Modèles : Il existe une divergence significative entre les modèles. Par exemple, Llama3.2 a classé 25,8% des pannes comme « Critiques », tandis que Granite3.2:8b n'en a classé que 8,7%.
  • Les critiques LLMs ont permis d'affiner les réponses des agents, bien que certains modèles aient produit des hallucinations ou des justifications incohérentes.

• Convergence :

  • Les graphiques montrent que les états moyens d'activation des agents et critiques convergent rapidement vers les valeurs optimales calculées par un solveur centralisé (CVX).
  • Le ratio du coût total par rapport au coût optimal tend vers 1, confirmant l'efficacité de l'algorithme distribué.

5. Signification et Perspectives

Ce travail démontre la viabilité d'une approche hybride combinant l'efficacité des modèles classiques (pour la détection rapide et précise) et la flexibilité des modèles génératifs (pour l'analyse sémantique et l'explication).

• Importance pour les Réseaux : La méthode permet une surveillance en temps réel des réseaux avec une surcharge de communication minimale, cruciale pour les environnements à grande échelle.
• Gouvernance des Coûts : L'approche permet de minimiser les coûts computationnels en n'activant que le nombre nécessaire d'agents, tout en préservant la confidentialité des fonctions de coût locales.
• Applications Futures : Les auteurs suggèrent d'étendre cette architecture à d'autres domaines critiques comme les systèmes d'énergie intelligente et les applications industrielles, ainsi que d'implémenter le système sur des équipements réseau réels pour une détection en temps réel.

En résumé, l'article propose un cadre théorique solide et une validation empirique pour orchestrer des flottes d'agents IA hétérogènes, offrant un compromis optimal entre précision, coût et confidentialité dans la gestion des réseaux complexes.