🤖 machine learning

Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring

Het artikel introduceert PROBE, een meerfasige pipeline die deterministische PCAP-normalisatie, op bewijs gebaseerde ensemble-redenering en een model-agnostisch evaluatiekader combineert om een hoogwaardige, betrouwbare en bias-vrije automatische diagnose van 802.11-pakketcaptures te bereiken, waarbij de hallucinatie, ongekalibreerd vertrouwen en evaluatiebias die inherent zijn aan standaard LLM-benaderingen worden overwonnen.

Oorspronkelijke auteurs: Jerome Henry, Swadhin Pradhan, Miroslav Popovic

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jerome Henry, Swadhin Pradhan, Miroslav Popovic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict is je bewijsmateriaal een digitale opname van een Wi-Fi-netwerkgesprek (een zogenaamde "packet capture"). Je doel is om te achterhalen waarom de internetverbinding van een gebruiker is mislukt.

Lange tijd vereiste deze taak een menselijke expert met diepgaande kennis van netwerkprotocollen. Zij lazen de opname, vonden de minuscule aanwijzingen en schreven een rapport. Maar mensen zijn traag, duur en verschillen soms van mening over elkaar.

Onlangs hebben mensen geprobeerd om AI (specifiek Large Language Models, of LLM's) dit automatisch te laten doen. Het artikel stelt dat hoewel deze AI-modellen snel zijn, ze lijken op overmoedige stagiairs die soms dingen verzinnen. Als de opname voortijdig wordt afgebroken, kan de AI een reden voor de mislukking verzinnen die er eigenlijk niet is. Als er gevraagd wordt hoe zeker ze zijn, zullen ze vol vertrouwen zeggen: "95% zeker", zelfs als ze maar wat gokken.

De auteurs van dit artikel, werkzaam bij Cisco, hebben een nieuw systeem gebouwd genaamd PROBE om deze problemen op te lossen. Zie PROBE niet als één enkele detective, maar als een hoogst georganiseerd recherchebureau met een strikte workflow.

Hier is hoe PROBE werkt, met behulp van eenvoudige analogieën:

1. De Vertaling (Het Normaliseren van de Data)

Eerst neemt het systeem de ruwe, chaotische digitale opname en vertaalt deze naar een schoon, leesbaar tekstverslag. Cruciaal is dat deze vertaling deterministisch is, wat betekent dat deze altijd exact dezelfde tekst produceert voor dezelfde opname. Het is alsof je een chaotische foto van een plaats delict omzet in een genummerde lijst van elk gevonden voorwerp, zodat niemand later kan claimen: "Ik heb dat voorwerp niet gezien."

2. De "Brainstormsessie" (Het Ensemble)

In plaats van één AI te vragen om de zaak op te lossen, vraagt PROBE aan veel AI's om naar dezelfde zaak te kijken, maar met verschillende instructies:

De "Oorzaak"-detective: Kijkt alleen naar de hoofdoorzaak van de verbindingsfout.
De "Volgorde"-detective: Controleert of de stappen in de juiste volgorde zijn gebeurd.
**De "Bewijs"-detective: ** Begint door de vreemde zaken te noteren die hij ziet en werkt dan terug naar een conclusie.

Ze vragen ook een ander type AI (een "tweede mening") om de zaak onafhankelijk te bekijken. Dit is alsof je een detective van een ander politiebureau erbij haalt om er zeker van te zijn dat ze niet allemaal dezelfde fout maken.

3. De "Realiteitscontrole" (Reconciliatie)

Dit is het belangrijkste deel. In een normale vergadering, als 5 van de 9 detectives zeggen "Er heeft geen misdaad plaatsgevonden" en 4 zeggen "Het was een overval", dan stemt de groep misschien voor "Geen misdaad". Het artikel vond dat AI-modellen laf zijn; ze stemmen vaak "Geen misdaad" om maar veilig te zitten, zelfs wanneer er wél een misdaad heeft plaatsgevonden.

PROBE neemt niet simpelweg een stemming aan. PROBE brengt een Senior Rechter (een krachtig AI-model) in actie. De Rechter luistert niet alleen naar de detectives; de Rechter heeft de originele, onbewerkte opname voor zich.

De Rechter bekijkt de 9 verschillende rapporten.
De Rechter controleert elke bewering tegen de werkelijke opname.
Als een detective zegt: "Frame 12 toont een fout", controleert de Rechter: "Bestaat Frame 12 wel echt? En toont het daadwerkelijk een fout?"
De Rechter kiest het beste rapport, zelfs als dat de "minderheidsmening" was die de andere detectives negeerden.

4. De "Vertrouwensscore" (Betrouwbaarheidsscore)

In plaats van de AI te vragen: "Hoe zeker ben je?" (wat het artikel als nutteloos beschouwde omdat ze altijd "95% zeker" zeggen), berekent PROBE een Vertrouwensscore op basis van wiskunde:

Hebben ze echt bewijs aangehaald? (Hebben ze naar frames verwezen die daadwerkelijk bestaan?)
Waren de detectives het eens? (Kwamen de verschillende AI-runs tot dezelfde conclusie?)
Was de tweede mening het eens? (Was het andere politiebureau het ook eens?)

Als de score hoog is, accepteert het systeem de diagnose automatisch. Als de score laag is, wordt de zaak gemarkeerd voor menselijke beoordeling.

Wat Ze Vonden (De Resultaten)

Het artikel testte dit op 104 echte gevallen van Wi-Fi-problemen. Dit is wat er gebeurde:

De "Stagiair" (Enkele AI): Had het in 91% van de gevallen goed, maar miste in 35% van de gevallen cruciale aanwijzingen.
De "Stemgroep" (Ensemble zonder Rechter): Werd zelfs slechter (een daling naar 84%). Omdat de AI's te voorzichtig waren, stemden ze te vaak voor "Geen probleem", waardoor ze echte fouten misten.
De "Senior Rechter" (PROBE): Toen de Rechter het werk van de groep beoordeelde, steeg de nauwkeurigheid naar 96%.
De "Zelfvertroukkenval": Het artikel bevestigde dat het vragen aan een AI "Hoe zeker ben je?" een verspilling van tijd is. Ze zijn altijd erg zelfverzekerd, zelfs als ze ernaast zitten. De wiskundige Vertrouwensscore van PROBE is de enige betrouwbare manier om te weten of een diagnose veilig te gebruiken is.

De Belangrijkste Conclusie

Het artikel concludeert dat voor complexe diagnostische taken (zoals het oplossen van Wi-Fi, maar potentieel ook andere velden), je niet een "superintelligente" enkele AI nodig hebt. Je hebt een systeem nodig dat:

Veel verschillende theorieën genereert.
Een "Rechter" heeft die die theorieën controleert tegen de harde feiten (de originele data).
De eigen "zelfverzekerdheid" van de AI negeert en in plaats daarvan een vertrouwensscore berekent op basis van hoe goed het bewijs overeenkomt met de feiten.

Kortom: Vertrouw niet op de mening van de AI; vertrouw op het vermogen van de AI om zijn eigen werk te controleren tegen het bewijsmateriaal.

Technische Samenvatting: Bewijs-gebaseerde Ensemble-diagnose van 802.11 Pakketopnames

Probleemstelling

Het diagnosticeren van connectiviteitsproblemen vanuit 802.11 pakketopnames (PCAP's) is een door middelen intensieve taak die diepgaande protocolexpertise vereist. Het is traag, inconsistent tussen engineers en mist schaalbaarheid. Hoewel Large Language Models (LLM's) een pad naar automatisering bieden, vertoont enkelvoudige single-pass LLM-analyse drie kritieke faalmodi:

Gehalucineerde Voltooiing: Modellen leiden niet-bestaande protocolevenementen af (bijv. het aannemen van een handshake-fout wanneer een opname halverwege een uitwisseling is afgebroken) om gaten op te vullen, wat leidt tot fout-positieven.
Ongekalibreerd Zelfvertrouwen: Modellen genereren zelfgerapporteerde betrouwbaarheidsscores die kunstmatig hoog clusteren (bijv. 0 than 0.95), ongeacht de diagnostische moeilijkheidsgraad, waardoor ze nutteloos zijn voor besluitvorming.
Golden Reference Bias: Evaluatieframeworks die vertrouwen op "golden" referenties die door dezelfde LLM-familie zijn mede-geproduceerd, introduceren circulaire bias, waarbij stilistische divergentie wordt bestraft in plaats van diagnostische fouten.

Bovendien verslechteren naïeve ensemble-methoden (meerderheidsstemmen) vaak de prestaties in diagnostische contexten. Omdat LLM's een conservatieve bias vertonen naar "geen probleem" of "onvoldoende bewijs" wanneer ze geconfronteerd worden met ambiguïteit, versterkt meerderheidsstemmen deze conservatieve vonnissen, waardoor het ensemble bevestigde fouten vaker mist dan een single-pass model.

Methodologie: De PROBE Pipeline

De auteurs introduceren PROBE (Protocol Reasoning Over evidence-Based Ensembles), een meerfasige diagnostische pipeline ontworpen om deze fouten te corrigeren door middel van deterministische, bewijs-gebaseerde redenering. Het systeem werkt in vijf fasen:

PCAP Normalisatie: Binaire PCAP-bestanden worden omgezet in een deterministische, gestructureerde tekstrepresentatie met behulp van tshark en PDML. Dit behoudt frame-niveau verifieerbaarheid, inclusief framenummers, tijdstempels, protocoltypen, statuscodes en RF-metadata. Elke feitelijke claim die door het systeem wordt gemaakt, kan mechanisch worden geverifieerd tegen deze tekst.
Draft Ensemble Generatie: Het systeem genereert een $N \times M$ $N \times M$ matrix van kandidaat-diagnoses.
- Run Diversiteit ( $N$ ): Meerdere onafhankelijke runs gebruiken verschillende analytische prompts (bijv. "focus op hoofdoorzaak", "protocol sequentie anomalieën", "bewijs-eerst") om de stabiliteit van de redenering te testen.
- Kandidaat Diversiteit ( $M$ ): Elke run produceert meerdere hypothesen om interne ambiguïteit bloot te leggen.
- Progressieve Obfuscatie: Cruciale velden (bijv. RSSI, statuscodes) worden in latere runs gemaskeerd om ervoor te zorgen dat diagnoses vertrouwen op structurele protololgica in plaats van oppervlakkige keyword matching.
- Cross-Model Second Opinion: Een onafhankelijk model uit een andere architectuurfamilie (bijv. Llama 3.3 naast Claude Sonnet) biedt een ongecorreleerd perspectief.
Verdict Taxonomie: Kandidaten moeten kiezen uit een strikte vierwaardige taxonomie: CONFIRMED_ISSUE, PLAUSIBLE_ISSUE, INSUFFICIENT_EVIDENCE (cruciaal voor afgebroken opnames) en NO_ISSUE_FOUND.
Bewijs-gebaseerde Reconciliatie: In plaats van meerderheidsstemmen beoordeelt een toegewijd reconciliatiemodel (bijv. Claude Opus) alle kandidaten tegen de ruwe PCAP-tekst en optionele menselijke expert (SME) annotaties. De reconciliator synthetiseert de best-onderbouwde diagnose, waarbij claims van modellen expliciet worden vergeleken met pakketbewijs en conservatieve of gehalucineerde conclusies worden overruled.
Deterministische Betrouwbaarheidsscore: Een samengestelde betrouwbaarheidsscore ( $C$ $C$ ) wordt berekend zonder te vertrouwen op LLM zelf-assessment. Deze is afgeleid van drie meetbare signalen:
- Bewijs Validiteit ( $E$ ): Verifieert dat geciteerde frames aanwezig zijn in de PCAP en dat bewijselementen de conclusie logisch ondersteunen (inclusief "bijdragend" bewijs voor INSUFFICIENT_EVIDENCE conclusies).
- Run-to-Run Stabiliteit ( $S$ ): Meet overeenstemming over sleutelframes en conclusies over onafhankelijke runs heen.
- Cross-Model Overeenkomst ( $A$ ): Meet convergentie tussen het primaire ensemble en het second-opinion model.

Belangrijkste Bijdragen

Een Meerfasige Ensemble Pipeline: PROBE genereert diverse hypothesen en hanteert een formele reconciliatiestap die kandidaten evalueert tegen pakketbewijs in plaats van te vertrouwen op stemtellingen. Dit omvat een verdict-bewust bewijsframework waarbij de definitie van "ondersteunend bewijs" zich aanpast aan de diagnostische conclusie (bijv. de afwezigheid van een frame ondersteunt een INSUFFICIENT_EVIDENCE conclusie).
Deterministische Betrouwbaarheidsscore: Het systeem introduceert een samengestelde score afgeleid van bewijsvaliditeit, stabiliteit en cross-model overeenkomst. Dit elimineert de noodzaak voor ongekalibreerde LLM zelf-gerapporteerde betrouwbaarheid en maakt gerichte escalatie naar menselijke review mogelijk.
Model-Agnostisch Evaluatieframework: De auteurs stellen een evaluatiemethode voor op basis van per-veld assertie-matching. Dit scheidt verifieerbare feiten (framenummers, protocoltypen, hoofdoorzaak-claims) van narratieve stijl, waardoor de circulaire bias inherent aan door specifieke modellen geproduceerde golden references wordt geëlimineerd.

Experimentele Resultaten

Geëvalueerd op 104 capture-reviewer paren uit 87 enterprise Wi-Fi opnames:

Prestaties: Single-pass LLM-analyse (Config B) behaalde een gewogen F1 van 0.912, waarmee het de menselijke SME-baseline (0.871) overtrof in frame-dekking, maar in 35% van de gevallen kritieke diagnostische frames miste.
Ensemble Falen: Naïeve meerderheidsstemming (Config D) veroorzaakte een prestatiedaling naar 0.842, omdat het ensemble convergeerde op conservatieve "geen probleem" conclusies, waardoor 50% van de bevestigde fouten werd gemist.
Reconciliatie Succes: Het integreren van de reconciliatiestap (Config F, Full PROBE) verhoogde de prestaties naar 0.957, met een auto-accept rate van 96%. De reconciliator slaagde erin de correcte minderheidsdiagnoses te herstellen die door het ensemble waren overstemd.
Betrouwbaarheidskalibratie: LLM zelf-gerapporteerde betrouwbaarheid was niet informatief (71% van de waarden was exact 0.95). De deterministische samengestelde score verspreidde zich over een breder bereik, maar was niet voorspellend voor correctheid in de huidige dataset omdat de reconciliator zo effectief was (4% foutpercentage) dat er onvoldoende variantie in de uitkomsten was om dit te voorspellen. In plaats daarvan diende een lage betrouwbaarheid als indicator voor de moeilijkheidsgraad/ambiguïteit van de opname.
Kostenefficiëntie: De reconciliatiestap domineert de kosten (ongeveer $0.345/opname), terwijl ensemble diversiteit minimale kosten toevoegt. Config C (one-shot + reconcile) bood de beste kostenefficiëntie-ratio (0.964 Wt F1), terwijl Config F robuustheid en betrouwbaarheidssignalen bood tegen een kostenpremie van 23%.

Betekenis en Claims

Het papier claimt dat reconciliatie tegen bronbewijs de beslissende kwaliteitshefboom is, en niet de grootte van het ensemble of de diversiteit van modellen. Het kerninzicht van de architectuur is dat een judge-model met toegang tot de originele data de juiste hypothese kan selecteren uit een set onafhankelijk gegenereerde kandidaten, zelfs als de meerderheid van die kandidaten fout is.

De auteurs benadrukken enkele bredere implicaties:

Diagnostisch Redeneren vs. Zelfconsistentie: Standaard zelfconsistentie (meerderheidsstemmen) is contraproductief voor diagnostische taken vanwege de conservatieve-verdict bias. Bewijs-gebaseerde reconciliatie is een noodzakelijk alternatief.
Afwezigheid als Bewijs: Een framework waarbij de afwezigheid van verwachte data wordt behandeld als geldig bewijs, is cruciaal voor het afhandelen van incomplete of afgebroken traces.
Evaluatie Integriteit: Golden references die door LLM's zijn mede-geproduceerd, vereisen assertie-gebaseerde evaluatie om circulaire bias te vermijden.
Betrouwbaarheid Herformulering: In zeer effectieve diagnostische pipelines moet betrouwbaarheidsscores worden geherformuleerd als indicatoren van datadifficultie (voor datasetverrijking) in plaats van kwaliteitspoorten voor output-filtering.

De auteurs concluderen dat betrouwbare geautomatiseerde diagnose haalbaar is, niet door een enkel superieur model, maar door een principiële architectuur die hypothesegeneratie scheidt van bewijs-gebaseerde evaluatie. Zij merken op dat hoewel hun systeem gedemonstreerd is op 802.11, de methodologie generaliseert naar elk domein met een gestructureerde, deterministische grondwaarheid (bijv. medische beeldvorming, financiële audits, juridische casusanalyse).