🤖 AI

Collaborative AI Agents and Critics for Fault Detection and Cause Analysis in Network Telemetry

Dit paper introduceert een federatief multi-agent systeem met AI-agenten en -critici die samenwerken via een centrale server voor taken zoals foutdetectie in netwerktelemetrie, waarbij ze via feedbackcycli de systeemkosten minimaliseren zonder onderlinge communicatie en met een communicatie-overhead die onafhankelijk is van het aantal agenten.

Oorspronkelijke auteurs: Syed Eqbal Alam, Zhan Shu

Gepubliceerd 2026-04-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Syed Eqbal Alam, Zhan Shu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe machine hebt die de hele wereld met elkaar verbindt: het internet. Deze machine, het netwerk, moet perfect werken. Maar soms gaat er iets mis: een kabeltje zit los, een server raakt overbelast, of een foutje in de code zorgt voor chaos.

Deze paper beschrijft een slimme manier om deze fouten te vinden en op te lossen, zonder dat één enkele computer alles moet doen. Het is alsof je een heel team van slimme robots en strenge keurmeesters hebt die samenwerken.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Team: De Robots (Agents) en de Keurmeesters (Critics)

Stel je een grote fabriek voor waar producten worden gemaakt.

De Robots (AI Agents): Dit zijn de werkers. Ze hebben verschillende specialiteiten. Sommige robots zijn gespecialiseerd in het lezen van cijfertabellen (zoals een Excel-sheet), andere in het begrijpen van complexe teksten of het analyseren van video's. Ze proberen een probleem op te lossen, bijvoorbeeld: "Is er een fout in dit netwerk?"
De Keurmeesters (AI Critics): Dit zijn de strenge inspecteurs. Ze kijken naar wat de robots hebben gedaan. Ze zeggen niet alleen "goed" of "fout", maar geven ook feedback: "Je hebt dit goed gedaan, maar die zin was onduidelijk" of "Je hebt de oorzaak van de fout verkeerd begrepen."

2. De Chef-kok in het midden (De Centrale Server)

Er is geen directe communicatie tussen de robots onderling, en ook niet tussen de keurmeesters. Ze praten allemaal met één persoon: de Chef-kok (de centrale server).

De Chef-kok houdt in de gaten hoeveel robots er op dat moment nodig zijn.
Als er te veel robots aan het werk zijn, zegt de Chef: "Even rustig aan, jullie zijn te druk."
Als er te weinig zijn, zegt hij: "Kom erbij, we hebben hulp nodig!"
De Chef stuurt een simpel signaal naar iedereen: "Hoe hard moeten jullie werken?"

3. Hoe leren ze samenwerken? (Het Dansje)

Dit is het slimme deel. De robots en keurmeesters weten niet precies wat de anderen doen, en ze willen ook niet hun geheime recepten (hun kostenfuncties) delen.

Ze spelen een soort dans met elkaar.
Een robot probeert een taak te doen. De keurmeester kijkt mee.
Als de keurmeester zegt: "Niet goed," dan past de robot haar strategie aan voor de volgende keer.
Ze gebruiken een slimme wiskundige methode (een beetje zoals het afstemmen van een radio tot het geluid perfect is) om te leren wanneer ze het beste aan het werk moeten zijn.
Uiteindelijk vinden ze een perfect ritme: precies genoeg robots en keurmeesters zijn actief, op het juiste moment, zodat het hele systeem zo efficiënt mogelijk werkt.

4. Het Testen: Netwerkfouten vinden

De auteurs hebben dit systeem getest met echte data van een computer netwerk.

De Taak: Kijken of er een kabeltje los zit, of dat een server te veel data verstuurt.
De Resultaten:
- Voor het simpelweg vinden van fouten (zoals "ja, er is een probleem") waren de robots die gebruik maakten van klassieke wiskunde (zoals XGBoost) het snelst en nauwkeurigst. Dit is als een ervaren monteur die direct ziet waar het misgaat.
- Voor het uitleggen van de fout (zoals "waarom gaat het mis en hoe ernstig is het?") waren de robots die gebruik maakten van moderne, creatieve AI (zoals grote taalmodellen) het beste. Zij kunnen net als een mens een verhaal vertellen: "Het lijkt erop dat de kabel te warm wordt door te veel verkeer."

5. Waarom is dit geweldig?

Efficiëntie: Het systeem is niet traag. Het kost heel weinig energie om te communiceren, ongeacht of je 10 robots hebt of 10.000.
Privacy: De robots hoeven hun geheime rekenmethodes niet te delen. Ze werken samen, maar houden hun eigen geheimen voor zichzelf.
Schaalbaarheid: Je kunt dit systeem gebruiken voor alles: van het controleren van stroomnetten in een stad tot het analyseren van medische beelden in een ziekenhuis.

Kortom:
Deze paper introduceert een slimme manier om een team van AI-robots en AI-keurmeesters te laten samenwerken zonder dat ze elkaar hoeven te verstaan. Ze luisteren allemaal naar een centrale "chef", leren van hun fouten, en vinden uiteindelijk de perfecte balans om problemen in complexe systemen (zoals het internet) snel en nauwkeurig op te lossen. Het is alsof je een orkest hebt waar elke muzikant zijn eigen partituur speelt, maar door naar de dirigent te luisteren, klinkt het uiteindelijk als één perfect harmonieus stuk.

Probleemstelling

Het artikel adresseert de uitdagingen die gepaard gaan met het beheren van complexe, multimodale taken in netwerktelemetrie-systemen, specifiek foutdetectie, ernstbepaling en oorzaakanalyse. Traditionele benaderingen hebben moeite met de schaalbaarheid en de integratie van verschillende data-modaliteiten (zoals tekst, logs en numerieke sensorgegevens) in real-time.

De kernproblemen zijn:

Schaalbaarheid en Communicatie: Hoe kan men een groot aantal AI-agenten en critici coördineren zonder dat de communicatie-overhead exponentieel toeneemt met het aantal agents?
Privacy en Kosten: Agents en critici hebben vaak private kostenfuncties (bijv. rekentijd, modelcomplexiteit) die niet gedeeld mogen worden met anderen, maar toch moet een gezamenlijk optimum worden bereikt.
Multimodaliteit: Het integreren van klassieke machine learning (voor snelle, nauwkeurige detectie) en generatieve AI-foundation modellen (voor contextuele analyse en rapportage) in één coherent systeem.
Hallucinaties en Betrouwbaarheid: Generatieve AI-modellen kunnen foutieve output genereren met hoge zekerheid. Er is een mechanisme nodig om de kwaliteit van antwoorden te valideren.

Methodologie

De auteurs stellen een federatief multi-agent systeem voor dat bestaat uit AI-agenten, AI-critici en een centrale server. Het systeem gebruikt stochastische iteratieve algoritmen gebaseerd op multi-tijdschaal benadering (stochastic approximation).

Systeemarchitectuur:

AI-agenten: Voeren taken uit (bijv. data-analyse) en kunnen toegang hebben tot klassieke ML-modellen (zoals XGBoost) of generatieve AI-foundation modellen (zoals LLMs). Ze beslissen probabilistisch of ze actief zijn op een tijdstip $k$ .
AI-critici: Evalueert de antwoorden van de agenten en geeft feedback (met of zonder score). Ze hebben ook toegang tot foundation modellen.
Centrale Server: Houdt toezicht op het aantal actieve agents en critici per modality en zendt feedbacksignalen uit. Agents en critici kennen de totale capaciteit van het systeem niet; ze leren dit via de feedbacksignalen.

Wiskundige Formulering:
Het probleem wordt geformuleerd als een geoptimaliseerde kostenfunctie waarbij het doel is om de totale kosten van het systeem te minimaliseren onder de beperkingen van de capaciteit per modality.

De kostenfuncties ( $f_i$ voor agents, $g_{j\nu}$ voor critici) zijn privé en strikt convex.
De agents en critici delen hun kostenfuncties niet, maar wel hun bereidheid om deel te nemen.
Er wordt gebruik gemaakt van multi-tijdschaal stochastische benadering:
- De "snelle" tijdschaal regelt de actieve staten van agents/critici.
- De "trage" tijdschaal regelt de feedbacksignalen ( $\Theta$ ) die door de server worden uitgezonden.
De convergentie wordt bewezen met behulp van Martingale-differentie sequenties en de Hoeffding-ongelijkheid, waarbij wordt aangetoond dat de tijd-gemiddelde actieve staten convergeren naar de optimale waarden.

Workflow:

Een gebruiker stuurt een query.
Een agent genereert een antwoord (gebaseerd op een foundation model of ML-model).
Het antwoord wordt naar een actief criticus gestuurd.
De criticus evalueert, geeft feedback en een score.
Als de score onder een drempelwaarde ligt, past de agent het antwoord aan; anders wordt het als definitief beschouwd.
De centrale server past de feedbacksignalen aan op basis van het aantal actieve deelnemers om de capaciteit te balanceren.

Belangrijkste Bijdragen

Stochastische Algoritmen voor Federatieve Controle: Ontwikkeling van algoritmen die het aantal actieve agents en critici regelen in een federatief systeem zonder dat agents/critici hun private kostenfuncties hoeven te delen.
Convergentiebewijzen: Wiskundige garantie dat de tijd-gemiddelde actieve staten van agents en critici convergeren naar unieke optimale waarden, wat leidt tot een minimaal systeemkosten.
Lage Communicatie-Overhead: De communicatiekosten zijn $O(m)$ (waarbij $m$ het aantal modaliteiten is) en zijn onafhankelijk van het totale aantal agents en critici in het netwerk. Dit maakt het systeem zeer schaalbaar.
Praktische Toepassing in Netwerktelemetrie: Een uitgebreide evaluatie op een open-source dataset (Dataset 4) voor foutdetectie, ernstbepaling en oorzaakanalyse in netwerken.

Resultaten

De auteurs evalueerden het model op een dataset met netwerktelemetrie (CSV-bestanden en logbestanden) met drie soorten poortstatuswijzigingen.

Foutdetectie:

Vergelijking: Agents met XGBoost (klassieke ML) werden vergeleken met agents/critici op basis van LLMs (Large Language Models zoals Llama3.2, Mistral, DeepSeek-R1, etc.).
Uitslag: XGBoost-agenten presteerden aanzienlijk beter in snelheid, nauwkeurigheid, F1-score, precisie en recall (0.9644 nauwkeurigheid vs. ~0.59 voor LLMs met RAG).
Conclusie: Voor pure detectie is klassieke ML superieur; LLMs zijn trager en minder accuraat voor deze specifieke numerieke/tabel-taken.

Ernstbepaling en Oorzaakanalyse:

Voor het interpreteren van fouten en het genereren van menselijke samenvattingen werden LLMs gebruikt.
Verschillende modellen (Llama3.2, Granite3.2, Phi4, etc.) werden getest.
Resultaat: Er was een grote variatie in hoe modellen fouten classificeerden als "kritiek" of "niet-kritiek". Bijvoorbeeld, Llama3.2 classificeerde 25,8% van de fouten als kritiek, terwijl Granite3.2 slechts 8,7% als kritiek zag.
De critici (ook LLM-based) waren in staat om feedback te geven en de agenten te helpen hun redenering te verbeteren, hoewel de initiële output van sommige modellen inconsistent was.

Convergentie:

De simulaties toonden aan dat de tijd-gemiddelde actieve staten van agents en critici snel convergeren naar de optimale waarden (zoals berekend door een centrale CVX-oplosser).
De verhouding tussen de totale kosten van het algoritme en de optimale kosten naderde 1, wat de efficiëntie van de distributie bevestigt.

Betekenis en Impact

Dit onderzoek is significant omdat het een brug slaat tussen distribueerde optimalisatie en moderne generatieve AI.

Schaalbaarheid: Het bewijst dat men duizenden agents en critici kan coördineren met minimale communicatiekosten, wat essentieel is voor grote netwerken.
Hybride Architectuur: Het stelt een kader voor waarin snelle, nauwkeurige klassieke modellen (voor detectie) en flexibele generatieve modellen (voor analyse) samenwerken in een gestructureerd feedback-lus.
Privacy: Het biedt een oplossing voor samenwerking zonder dat gevoelige kostenfuncties of interne logica gedeeld hoeven te worden.
Toekomstperspectief: De methode is toepasbaar op diverse domeinen zoals slimme energiesystemen en industriële fault-detectie, en biedt een blauwdruk voor real-time, zelfcorrigerende AI-systemen in kritieke infrastructuur.