Technische Samenvatting: Evaluatie van Agentic Configuratieherstel voor Computernetwerken

Probleemstelling

Netwerkmisconfiguraties blijven een primaire oorzaak van kritieke internetstoringen, die zowel enterprise- als ISP-netwerken beïnvloeden. Hoewel formele verificatie en synthese geavanceerd zijn, falen deze vaak in real-world, open-ended implementaties vanwege de moeilijkheid om complexe netwerkgedragingen nauwkeurig te modelleren. Bijgevolg blijft menselijke fouten de grondoorzaak van kostbare downtime.

Large Language Models (LLMs) zijn een flexibel alternatief geworden voor het automatiseren van netwerkbeheer, waarbij grote hyperscalers ze al in productie inzetten. Echter, state-of-the-art modellen worstelen met complexe, grootschalige netwerktaken wanneer ze gebruikmaken van monolithische (single-turn) prompting. Drie terugkerende uitdagingen beperken hun effectiviteit:

1. Ruis: Configuraties beslaan duizenden regels, waardoor relevante signalen worden vertroebeld.
2. Single-shot Beperkingen: Eenmalige pogingen hinderen foutcorrectie, wat ertoe leidt dat modellen stoppen bij een gedeeltelijke diagnose.
3. Semantische Kloof: De disconnect tussen configuratie-edits en het emergente doorvoergedrag maakt het voorspellen van de netwerkbrede impact moeilijk.

Bestaande benchmarks richten zich vaak op korte diagnostiek of single-command taken, en adresseren daarmee niet de end-to-end iteratieve configuratieherstel.

Methodologie

De auteurs stellen een agentic architectuur voor en evalueren deze voor netwerkconfiguratieherstel, voortbouwend op de CORNETTO benchmark. Deze benchmark evalueert LLM-gestuurd herstel over 231 misconfiguratie-scenario's afgeleid van real-world topologieën (Topology Zoo), waarbij tot 8 gelijktijdige fouten voorkomen en configuraties oplopen tot 200.000 regels.

De Agentic Pipeline

In tegenstelling tot monolithische benaderingen die de volledige netwerkcontext in een enkele prompt ontvangen, maakt het voorgestelde systeem gebruik van een ReAct-stijl agent uitgerust met drie kernmogelijkheden:

1. Dynamische Context Retrieval: De agent ontvangt de volledige netwerkconfiguratie niet vooraf. In plaats daarvan gebruikt de agent tools om routers op te lijsten, specifieke configuratiebestanden op te halen en de netwerktopologie op aanvraag te inspecteren, geleid door geschonden specificaties.
2. Iteratief Herstel: De agent stelt search-and-replace edits voor op een werkende kopie van de configuratie. De agent kan wijzigingen na elke modificatie inspecteren, wat een stapsgewijs diagnose- en herstelproces mogelijk maakt in plaats van een single pass.
3. Formele Verificatie als Feedback: De agent interageert met een netwerkverifieerder (Batfish) om tussenliggende herstellingen te valideren. Dit instrument geeft een decompositie van specificaties in gefixeerde, onopgeloste en geregreerde sets terug, waardoor de agent resterende conflicten kan diagnosticeren of veiligheidsregressies kan detecteren voordat de definitieve indiening plaatsvindt.

Evaluatie Opzet

De studie benchmarkt vier modellen (GPT-5 MINI, GLM-4.7, QWEN3.5-9B, en GEMMA 4 E4B) op de CORNETTO testset. De evaluatie vergelijkt de agentic setup tegenover monolithische baselines met behulp van twee primaire metrieken:

• Fix Score: Het deel van de initieel geschonden specificaties dat is hersteld door de fix.
• Regression Rate: Het deel van de voorheen gezonde specificaties die door de fix is doorbroken.

Een herstel wordt pas als strikt succesvol beschouwd als het een perfecte fix score bereikt met nul regressies.

Belangrijkste Resultaten

De experimentele resultaten laten zien dat agentic architecturen de monolithische LLM's aanzienlijk overtreffen in zowel effectiviteit als veiligheid:

• Algemene Prestaties: Het agentic systeem verbetert de hersteleffectiviteit met gemiddeld 12% en vermindert veiligheidsregressies met 17% vergeleken met de basis LLM's.
• Impact op Modelcapaciteit: De voordelen zijn bijzonder uitgesproken voor open-source modellen. Zo zag QWEN3.5-9B zijn fix score onder het agentic framework met wel 7× toenemen, terwijl de regressieratio daalde van 34,2% naar onder de 6%. Dit suggereert dat agentic scaffolding de zwakkere basismodel-capaciteiten evenredig compenseert.
• Design Trade-offs:
  • Verificatie Feedback: Het inschakelen van iteratieve verifier feedback verbetert over het algemeen de veiligheid (lagere regressies), maar kan modellen conservatiever maken, wat potentieel lagere fix scores oplevert voor sterkere modellen zoals GPT-5 MINI.
  • Context Retrieval: Dynamische context retrieval is zeer voordelig voor kleinere modellen (bijv. QWEN3.5-9B), die moeite hebben met het extraheren van signalen uit grote, vooraf ingevulde contexten. Omgekeerd presteerden modellen met sterke long-context capaciteiten (GPT-5 MINI) beter wanneer de volledige probleembeschrijving vooraf werd ingevuld, omdat ze het volledige scenario in één pass konden verwerken zonder stappen te verspillen aan retrieval.
• Kostenefficiëntie: De agentic benadering brengt hogere inferentiekosten met zich mee (ongeveer 4–5× voor GPT-5 MINI bij 30 stappen). Analyse toont echter aan dat er sprake is van verminderde meeropbrengst boven de 20 stappen, wat suggereert dat er een optimaal stappenbudget bestaat om kosten en prestaties in balans te houden.

Betekenis en Claims

Het artikel claimt dat agentic architecturen een levensvatbaar pad bieden naar veiliger en effectiever geautomatiseerd netwerkbeheer. Door contextbeheer los te koppelen van het contextvenster van het model en door iteratieve validatie te introduceren, adresseert de benadering de specifieke beperkingen van LLM's in complexe netwerkomgevingen.

De auteurs benadrukken dat hoewel de agentic pipeline de veiligheid en effectiviteit verbetert, het ook trade-offs introduceert tussen kosten, stappenbudgetten en modelcapaciteiten. Ze positioneren dit werk als een stap naar de veilige adoptie van LLM-gebaseerde agents voor kritieke infrastructuur, waarbij zij opmerken dat toekomstig werk rijkere interfaces (bijv. live routing tables), proactieve veiligheidscontroles en fine-tuning methodologieën die gebruikmaken van stapsgewijze feedback moet adresseren.

De studie concludeert dat hoewel frontier modellen worstelen met monolithische prompting in netwerkherstel, het uitrusten van hen met agentic tools voor dynamische context retrieval, iteratieve editing en formele verificatie hun vermogen om misconfiguraties op te lossen zonder catastrofale fouten te introduceren, significant versterkt.