Collaborative AI Agents and Critics for Fault Detection and Cause Analysis in Network Telemetry

Titolo: Agenti AI e Critici Collaborativi per il Rilevamento dei Guasti e l'Analisi delle Cause nella Telemetria di Rete

1. Il Problema

Il paper affronta la sfida di gestire sistemi di rete complessi e multimodali, in particolare per il rilevamento dei guasti, la valutazione della gravità e l'analisi delle cause (Root Cause Analysis) nella telemetria di rete.
Le sfide principali identificate sono:

• La necessità di elaborare dati multimodali (testo, log, dati tabellari, sensori) in tempo reale.
• L'inefficienza e i costi computazionali associati all'uso di modelli fondazionali generativi (LLM, LVM) per ogni singolo compito senza un'ottimizzazione delle risorse.
• La mancanza di meccanismi decentralizzati che permettano a molteplici agenti AI e "critici" (valutatori) di collaborare per minimizzare i costi del sistema globale senza comunicare direttamente tra loro, preservando la privacy delle loro funzioni di costo.
• La necessità di bilanciare l'accuratezza (spesso offerta dai modelli generativi) con la velocità e l'efficienza (tipiche del machine learning classico).

2. Metodologia

Gli autori propongono un sistema federato multi-agente che utilizza algoritmi stocastici iterativi per il controllo collaborativo di agenti AI e critici.

• Architettura del Sistema:

  • Agenti AI: Possono essere basati su modelli di machine learning classico (es. XGBoost) o su modelli fondazionali generativi (LLM come Llama3.2, Mistral, ecc.). Sono responsabili dell'esecuzione dei compiti (es. rilevamento guasti).
  • Critici AI: Valutano le risposte degli agenti, fornendo feedback (e possibilmente un punteggio numerico) per migliorare la qualità della risposta. Anche loro possono utilizzare modelli classici o generativi.
  • Server Centrale: Coordina il sistema monitorando il numero di agenti e critici attivi per ciascuna modalità (task) e trasmette segnali di feedback globali. Non conosce le funzioni di costo private degli agenti/critici.

• Meccanismo di Controllo e Ottimizzazione:

  • Il sistema è formulato come un problema di ottimizzazione vincolata per minimizzare la somma delle funzioni di costo degli agenti e dei critici, rispettando le capacità (numero richiesto) di agenti/critici attivi per ogni modalità.
  • Privacy: Gli agenti e i critici mantengono private le loro funzioni di costo e le loro derivate.
  • Algoritmo Stocastico: Viene utilizzato un approccio di approssimazione stocastica multi-scala temporale.
    • Gli agenti e i critici decidono probabilisticamente se partecipare a un passo temporale basandosi su segnali di feedback dal server centrale, sulle loro derivate di costo e sul loro stato medio attivo nel tempo.
    • Il server aggiorna i segnali di feedback ($\Theta$) per guidare il sistema verso l'equilibrio ottimale, utilizzando step size decrescenti.
  • Flusso di Lavoro: L'utente invia una query -> L'agente genera una risposta -> Il critico valuta e invia feedback -> L'agente rivede la risposta se necessario -> Risposta finale.

• Caso d'Uso Specifico:

  • Dataset: Telemetria di rete open-source (Dataset 4 di [15]) contenente dati CSV (99 colonne, inclusi tassi di dati, errori, stato delle porte) e file di log.
  • Fasi:
    1. Rilevamento Guasti: Confronto tra agenti basati su XGBoost (ML classico) e agenti basati su LLM.
    2. Analisi Gravità e Cause: Utilizzo di agenti e critici basati su LLM (con e senza Retrieval Augmented Generation - RAG) per classificare i guasti come "Critici" o "Non critici" e generare riassunti delle cause.

3. Contributi Chiave

1. Algoritmi Stocastici Iterativi: Sviluppo di algoritmi per il controllo collaborativo di agenti e critici in un sistema federato, che integrano sia tecniche di ML classico che modelli fondazionali generativi.
2. Garanzie di Convergenza: Dimostrazione teorica (basata su tecniche di approssimazione stocastica e disuguaglianza di Hoeffding) che gli stati attivi medi nel tempo degli agenti e dei critici convergono quasi certamente ai valori ottimali globali, minimizzando il costo totale del sistema.
3. Efficienza nella Comunicazione: L'overhead di comunicazione è di ordine O(m) (dove m è il numero di modalità), indipendente dal numero di agenti e critici. Questo rende il sistema scalabile.
4. Validazione Sperimentale: Applicazione e valutazione estensiva su un dataset reale di telemetria di rete, confrontando diverse architetture (ML classico vs. LLM) e modelli specifici (Llama3.2, DeepSeek-R1, Mistral, Granite, Phi4, Llava).

4. Risultati Sperimentali

• Rilevamento Guasti:
  • Gli agenti basati su XGBoost (ML classico) hanno dimostrato prestazioni superiori rispetto agli LLM in termini di accuratezza (96.44%), F1-score (96.56%), precisione e recall, oltre a essere significativamente più veloci.
  • Gli LLM, anche con RAG, hanno mostrato prestazioni inferiori (accuratezza ~58% con RAG) e tempi di esecuzione più lunghi a causa della necessità di generare testo e recuperare contesto.
• Analisi della Gravità e delle Cause:
  • Gli LLM sono stati efficaci nel generare riassunti testuali delle cause e nel classificare la gravità.
  • È stata osservata una significativa variabilità tra i diversi modelli: Llama3.2 ha classificato la percentuale più alta di guasti come "Critici" (25.8%), mentre Granite3.2:8b ne ha classificati pochissimi (8.7%).
  • L'uso di RAG (con database vettoriale ChromaDB contenente log di rete) ha migliorato il contesto per gli LLM, permettendo loro di generare cause più specifiche basate su dati storici.
• Convergenza: I grafici mostrano che gli stati attivi medi degli agenti e dei critici convergono rapidamente verso i valori ottimali calcolati da un solver centralizzato (CVX), confermando la validità teorica dell'algoritmo distribuito.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Ottimizzazione delle Risorse AI: Dimostra come un sistema ibrido possa sfruttare la velocità e l'accuratezza del ML classico per compiti di classificazione binaria (rilevamento guasti) e la capacità generativa e analitica degli LLM per compiti complessi di spiegazione e analisi delle cause.
• Scalabilità e Privacy: L'approccio federato con comunicazione O(m) e funzioni di costo private rende il sistema adatto per ambienti distribuiti su larga scala (es. reti di telecomunicazioni, smart grid) dove la privacy dei dati e l'efficienza di banda sono critiche.
• Teoria del Controllo Multi-Agente: Fornisce garanzie matematiche rigorose sulla convergenza di sistemi multi-agente eterogenei (ML + GenAI) in contesti stocastici, un contributo teorico solido per il campo dell'ottimizzazione distribuita.
• Applicabilità Reale: La validazione su dati di telemetria di rete reali dimostra la fattibilità di implementare tali sistemi per il monitoraggio proattivo e la manutenzione predittiva delle infrastrutture di rete.

In sintesi, il paper propone un framework robusto e teoricamente fondato per orchestrare agenti AI e critici, offrendo una soluzione pratica ed efficiente per la gestione avanzata delle reti attraverso l'integrazione sinergica di machine learning classico e intelligenza artificiale generativa.