🤖 machine learning

Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring

Das Paper stellt PROBE vor, eine mehrstufige Pipeline, die deterministische PCAP-Normalisierung, evidenzbasierte Ensemble-Argumentation und ein modellagnostisches Evaluierungsframework kombiniert, um eine hochgenaue, zuverlässige und vorurteilsfreie automatisierte Diagnose von 802.11-Paketaufzeichnungen zu erreichen und dabei die Halluzinationen, unkalibrierten Konfidenzen und Evaluierungs-Biases zu überwinden, die herkömmlichen LLM-Ansätzen eigen sind.

Ursprüngliche Autoren: Jerome Henry, Swadhin Pradhan, Miroslav Popovic

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jerome Henry, Swadhin Pradhan, Miroslav Popovic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstelle eines Tatorts ist Ihr Beweismittel eine digitale Aufzeichnung eines Wi-Fi-Netzwerkgesprächs (ein sogenannter „Packet Capture“). Ihr Ziel ist es, herauszufinden, warum die Internetverbindung eines Nutzers fehlgeschlagen ist.

Lange Zeit erforderte dieser Job einen menschlichen Experten mit tiefem Wissen über Netzwerkprotokolle. Er würde die Aufzeichnung lesen, die winzigen Hinweise entdecken und einen Bericht schreiben. Aber Menschen sind langsam, teuer und weichen manchmal voneinander ab.

Vor kurzem haben Menschen versucht, KI (speziell Large Language Models, oder LLMs) einzusetzen, um dies automatisch zu erledigen. Das Paper argumentiert, dass diese KI-Modelle zwar schnell sind, aber wie überhebliche Praktikanten sind, die manchmal Dinge erfinden. Wenn die Aufzeichnung vorzeitig abgeschnitten ist, erfindet die KI vielleicht einen Grund für den Ausfall, der eigentlich gar nicht vorhanden ist. Wenn man sie nach ihrer Sicherheit fragt, wird sie selbst dann selbstbewusst „95 % sicher“ sagen, wenn sie nur rät.

Die Autoren dieses Papers, die bei Cisco arbeiten, haben ein neues System namens PROBE entwickelt, um diese Probleme zu lösen. Betrachten Sie PROBE nicht als einen einzelnen Detektiv, sondern als eine hochorganisierte Detektei mit einem strengen Arbeitsabltag.

So funktioniert PROBE, unter Verwendung einfacher Analogien:

1. Die Übersetzung (Normalisierung der Daten)

Zuerst nimmt das System die rohe, chaotische digitale Aufzeichnung und übersetzt sie in einen sauberen, lesbaren Textbericht. Entscheidend ist, dass diese Übersetzung deterministisch ist, was bedeutet, dass sie für dieselbe Aufzeichnung immer exakt denselben Text erzeugt. Es ist so, als würde man ein chaotisches Tatortfoto in eine nummerierte Liste jedes gefundenen Gegenstands verwandelt, damit später niemand behaupten kann: „Ich habe diesen Gegenstand nicht gesehen.“

2. Die „Brainstorming“-Sitzung (Das Ensemble)

Anstatt nur eine KI zu fragen, den Fall zu lösen, bittet PROBE viele KIs, sich denselben Fall anzusehen, aber mit unterschiedlichen Anweisungen:

Der „Ursachenforschung“-Detektiv: Sucht nur nach dem Hauptgrund für den Verbindungsabbruch.
Der „Sequenz“-Detektiv: Prüft, ob die Schritte in der richtigen Reihenfolge stattgefunden haben.
Der „Beweis“-Detektiv: Beginnt damit, die seltsamen Dinge aufzulisten, die er sieht, und arbeitet sich dann rückwärts zu einem Schluss.

Sie fragen auch eine andere Art von KI („Zweitmeinung“), den Fall unabhängig zu prüfen. Dies ist so, als würde man einen Detektiv aus einer anderen Polizeidienststelle hinzuziehen, um sicherzustellen, dass nicht alle denselben Fehler machen.

3. Der „Realitätscheck“ (Reconciliation)

In einem normalen Meeting, wenn 5 von 9 Detektiven sagen „Kein Verbrechen passiert“ und 4 sagen „Es war ein Raubüberfall“, würde die Gruppe vielleicht für „Kein Verbrechen“ stimmen. Das Paper fand heraus, dass KI-Modelle feige sind; sie stimmen oft zu „Kein Verbrechen“, nur um auf der sicheren Seite zu sein, selbst wenn tatsächlich ein Verbrechen stattgefunden hat.

PROBE lässt nicht einfach abstimmen. Es bringt einen leitenden Richter (ein leistungsstarkes KI-Modell) ins Spiel. Der Richter hört den Detektiven nicht nur zu; der Richter hat die originale, uneditierte Aufzeichnung vor sich liegen.

Der Richter prüft alle 9 Berichte.
Der Richter gleicht jede Behauptung mit der tatsächlichen Aufzeichnung ab.
Wenn ein Detektiv sagt: „Frame 12 zeigt einen Ausfall“, prüft der Richter: „Existiert Frame 12 überhaupt? Zeigt er tatsächlich einen Ausfall?“
Der Richter wählt den besten Bericht aus, selbst wenn es die „Minderheitenmeinung“ war, die die anderen Detektive ignoriert haben.

4. Der „Vertrauenswert“ (Reliability Scoring)

Anstatt die KI zu fragen: „Wie sicher bist du?“ (was laut dem Paper nutzlos ist, da sie immer „95 % sicher“ sagen), berechnet PROBE einen Vertrauenswert (Trust Score) basierend auf Mathematik:

Haben sie echte Beweise angeführt? (Haben sie auf Frames verwiesen, die tatsächlich existieren?)
Haben sich die Detektive einig gewesen? (Kam die Schlussfolgerung der verschiedenen KI-Durchläufe zum selben Ergebnis?)
Hat die Zweitmeinung zugestimmt? (Hat die andere Polizeidienststelle der gleichen Meinung zugestimmt?)

Wenn der Wert hoch ist, akzeptiert das System die Diagnose automatisch. Wenn der Wert niedrig ist, markiert es den Fall für eine menschliche Überprüfung.

Was sie herausgefunden haben (Die Ergebnisse)

Das Paper testete dies an 104 realen Wi-Fi-Ausfallfällen. Hier ist, was passierte:

Der „Praktikant“ (Einzelne KI): Lag in etwa 91 % der Fälle richtig, übersah aber in 35 % der Fälle kritische Hinweise.
Die „Abstimmungsgruppe“ (Ensemble ohne Richter): Wurde tatsächlich schlechter (Abfall auf 84 %). Da die KIs zu vorsichtig waren, stimmten sie zu oft für „Kein Problem“ und übersahen so echte Ausfälle.
Der „Leitende Richter“ (PROBE): Als der Richter die Arbeit der Gruppe überprüfte, sprang die Genauigkeit auf 96 %.
Die „Konfidenzfalle“: Das Paper bestätigte, dass die Frage an eine KI „Wie sicher bist du?“ Zeitverschwendung ist. Sie sind immer sehr sicher, selbst wenn sie falsch liegen. PROBEs mathematischer Vertrauenswert ist der einzige zuverlässige Weg, um zu wissen, ob eine Diagnose sicher nutzbar ist.

Das wichtigste Fazit

Das Paper kommt zu dem Schluss, dass man für komplexe diagnostische Aufgaben (wie das Reparieren von Wi-Fi, aber potenziell auch für andere Bereiche) keine „superintelligente“ einzelne KI braucht. Man braucht ein System, das:

Viele verschiedene Theorien generiert.
Einen „Richter“ hat, der diese Theorien gegen die harten Fakten (die Originaldaten) prüft.
Die eigene „Zuversicht“ der KI ignoriert und stat stattdessen das Vertrauen darauf basiert, wie gut die Beweise mit den Fakten übereinstimmen.

Kurz gesagt: Vertrauen Sie nicht der Meinung der KI; vertrauen Sie der Fähigkeit der KI, ihre eigene Arbeit anhand der Beweise zu überprüfen.

Technisches Resümee: Evidenzbasierte Ensemble-Diagnose von 802.11-Paket-Captures

Problemstellung

Die Diagnose von Konnektivitätsproblemen aus 802.11-Paket-Captures (PCAPs) ist eine ressourcenintensive Aufgabe, die tiefgreifendes Protokoll-Expertise erfordert. Es ist langsam, inkonsistent unter Ingenieuren und mangelt an Skalierbarkeit. Während Large Language Models (LLMs) einen Weg zur Automatisierung bieten, weist die einstufige LLM-Analyse drei kritische Fehlermodi auf:

Halluzinierte Vervollständigung: Modelle inferieren nicht existierende Protokollereignisse (z. B. die Annahme eines Handshake-Fehlers, wenn ein Capture mitten im Austausch abgeschnitten wurde), um Lücken zu füllen, was zu falsch-positiven Ergebnissen führt.
Unkalibrierte Konfidenz: Modelle generieren selbstberichtete Konfidenzwerte, die künstlich hoch clustern (z. B. 0,95), unabhängig von der diagnostischen Schwierigkeit, wodurch sie für Routing-Entscheidungen unbrauchbar werden.
Golden Reference Bias: Evaluierungs-Frameworks, die sich auf „Golden References“ verlassen, welche von derselben LLM-Familie mitproduziert wurden, führen zu einem zirkulären Bias, indem sie stilistische Divergenz statt diagnostischer Fehler bestrafen.

Darüber hinaus verschlechtern naive Ensemble-Methoden (Mehrheitsentscheidung) die Leistung in diagnostischen Kontexten oft. Da LLMs bei Unklarheiten eine konservative Tendenz zu „kein Problem“ oder „unzureichende Evidenz“ zeigen, verstärkt die Mehrheitsentscheidung diese konservativen Urteile, wodurch das Ensemble bestätigte Fehler häufiger übersieht als ein einstufiges Modell.

Methodik: Die PROBE-Pipeline

Die Autoren führen PROBE (Protocol Reasoning Over evidence-Based Ensembles) ein, eine mehrstufige Diagnose-Pipeline, die darauf ausgelegt ist, diese Fehler durch deterministische, evidenzbasiertes Denken zu korrigieren. Das System operiert in fünf Stufen:

PCAP-Normalisierung: Binäre PCAP-Dateien werden mittels tshark und PDML in eine deterministische, strukturierte Textrepräsentation konvertiert. Dies bewahrt die Ebene der Frame-Verifizierbarkeit, einschließlich Frame-Nummern, Zeitstempeln, Protokolltypen, Statuscodes und RF-Metadaten. Jede faktische Behauptung des Systems kann mechanisch gegen diesen Text verifiziert werden.
Draft Ensemble Generierung: Das System generiert eine $N \times M$ $N \times M$ Matrix von Kandidaten-Diagnosen.
- Run-Diversität ( $N$ ): Mehrere unabhängige Durchläufe verwenden unterschiedliche analytische Prompts (z. B. „Fokus auf Ursachenanalyse“, „Protokollsequenz-Anomalien“, „Evidenz-zuerst“), um die Stabilität des Denkprozesses zu testen.
- Kandidaten-Diversität ( $M$ ): Jeder Durchlauf produziert mehrere Hypothesen, um interne Ambiguität aufzuzeigen.
- Progressive Obfuskation: Schlüsselbereiche (z. B. RSSI, Statuscodes) werden in späteren Durchläufen maskiert, um sicherzustellen, dass Diagnosen auf struktureller Protokoll-Logik basieren und nicht auf oberflächlichem Keyword-Matching.
- Cross-Model Second Opinion: Ein unabhängiges Modell aus einer anderen Architekturfamilie (z. B. Llama 3.3 neben Claude Sonnet) liefert eine unkorrelierte Perspektive.
Verdict-Taxonomie: Kandidaten müssen eine strikte vierwertige Taxonomie wählen: CONFIRMED_ISSUE, PLAUSIBLE_ISSUE, INSUFFICIENT_EVIDENCE (kritisch für abgeschnittene Captures) und NO_ISSUE_FOUND.
Evidenz-basierte Rekonziliation: Anstatt einer Mehrheitsentscheidung überprüft ein dediziertes Rekonziliationsmodell (z. B. Claude Opus) alle Kandidaten gegen den rohen PCAP-Text und optionale menschliche Experten-Annotationen (SME). Das Rekonziliationsmodell synthetisiert die am besten gestützte Diagnose, indem es Modellbehauptungen explizit gegen Paket-Evidenzen abgleicht und konservative oder halluzinierte Schlussfolgerungen überstimmt.
Deterministische Zuverlässigkeitsbewertung: Ein zusammengesetzter Konfidenzwert ( $C$ $C$ ) wird berechnet, ohne sich auf die LLM-Selbstbewertung zu verlassen. Er leitet sich aus drei messbaren Signalen ab:
- Evidenz-Validität ( $E$ ): Verifiziert, ob zitierte Frames im PCAP existieren und ob die Evidenzelemente die Diagnose logisch stützen (einschließlich „beitragender“ Evidenz für INSUFFICIENT_EVIDENCE-Urteile).
- Run-to-Run Stabilität ( $S$ ): Misst die Übereinstimmung über Schlüssel-Frames und Urteile hinweg in unabhängigen Durchläufen.
- Cross-Model Agreement ( $A$ ): Misst die Konvergenz zwischen dem primären Ensemble und dem Second-Opinion-Modell.

Zentrale Beiträge

Eine mehrstufige Ensemble-Pipeline: PROBE generiert diverse Hypothesen und nutzt einen formalen Rekonziliationsschritt, der Kandidaten gegen die Paket-Evidenz evaluiert, anstatt sich auf Stimmenzahlen zu verlassen. Dies beinhaltet ein urteilsspezifisches Evidenz-Framework, bei dem sich die Definition von „stützender Evidenz“ an die diagnostische Schlussfolgerung anpasst (z. B. stützt das Fehlen eines Frames ein INSUFFICIENT_EVIDENCE-Urteil).
Deterministische Zuverlässigkeitsbewertung: Das System führt einen zusammengesetzten Score ein, der aus Evidenz-Validität, Stabilität und Cross-Model-Agreement abgeleitet wird. Dies eliminiert die Notwendigkeit unkalibrierter LLM-Selbstbewertungen und ermöglicht eine prinzipielle Eskalation zur menschlichen Überprüfung.
Modell-agnostisches Evaluierungs-Framework: Die Autoren schlagen eine Evaluierungsmethode basierend auf dem Abgleich von Feld-Assertionen vor. Dies trennt verifizierbare Fakten (Frame-Nummern, Protokolltypen, Root-Cause-Behauptungen) von narrativen Stilen und eliminiert den zirkulären Bias, der bei von LLMs mitproduzierten Golden References auftritt.

Experimentelle Ergebnisse

Evaluiert auf 104 Capture-Reviewer-Paaren aus 87 Enterprise-Wi-Fi-Captures:

Performance: Die einstufige LLM-Analyse (Konfiguration B) erreichte einen gewichteten F1-Wert von 0,912, was die menschliche SME-Baseline (0,871) in der Frame-Abdeckung übertraf, aber in 35 % der Fälle kritische diagnostische Frames übersah.
Ensemble-Fehler: Eine naive Mehrheitsentscheidung (Konfiguration D) verursachte einen Leistungsabfall auf 0,842, da das Ensemble auf konservative „No Issue“-Urteile konvergierte und somit 50 % der bestätigten Fehler übersah.
Rekonziliations-Erfolg: Die Integration des Rekonziliationsschritts (Konfiguration F, Full PROBE) steigerte die Leistung auf 0,957 und erreichte eine Auto-Accept-Rate von 96 %. Das Rekonziliationsmodell konnte korrekte Minderheiten-Diagnosen erfolgreich wiederherstellen, die vom Ensemble überstimmt worden waren.
Konfidenz-Kalibrierung: Die LLM-Selbstbewertung war nicht informativ (71 % der Werte waren exakt 0,95). Der deterministische zusammengesetzte Score verteilte sich zwar über einen breiteren Bereich, war jedoch nicht prädiktiv für die Korrektheit im aktuellen Datensatz, da der Rekonziliationsprozess so effektiv war (4 % Fehlerrate), dass nicht genügend Varianz in den Ergebnissen vorhanden war, um Vorhersagen zu treffen. Stattdessen diente ein niedriger Konfidenzwert als Indikator für die Schwierigkeit bzw. Ambiguität des Captures.
Kosteneffizienz: Der Rekonziliationsschritt dominiert die Kosten (ca. $0,345/Capture), während die Ensemble-Diversität nur minimale Kosten verursacht. Konfiguration C (One-Shot + Rekonziliation) bot das beste Kosteneffizienz-Verhältnis (0,964 Wt F1), während Konfiguration F Robustheit und Zuverlässigkeitssignale zu einem Kostenaufschlag von 23 % lieferte.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Rekonziliation gegen die Quell-Evidenz der entscheidende Qualitätshebel ist, nicht die Größe des Ensembles oder die Diversität der Modelle. Die zentrale architektonische Erkenntnis ist, dass ein Judge-Modell mit Zugriff auf die Originaldaten aus einer Menge unabhängig generierter Kandidaten die korrekte Hypothese auswählen kann, selbst wenn die Mehrheit dieser Kandidaten falsch liegt.

Die Autoren betonen mehrere breitere Implikationen:

Diagnostisches Denken vs. Selbstkonsistenz: Standardmäßige Selbstkonsistenz (Mehrheitsentscheidung) ist für diagnostische Aufgaben kontraproduktiv aufgrund des Bias zu konservativen Urteilen. Evidenz-basierte Rekonziliation ist eine notwendige Alternative.
Absenz als Evidenz: Ein Framework, in dem das Fehlen erwarteter Daten als gültige Evidenz behandelt wird, ist entscheidend für den Umgang mit unvollständigen oder abgeschnittenen Traces.
Integrität der Evaluation: Von LLMs mitproduzierte Golden References erfordern eine assertionsbasierte Evaluation, um zirkulären Bias zu vermeiden.
Reframing der Konfidenz: In hochwirksamen Diagnose-Pipelines sollten Konfidenzwerte eher als Indikatoren für die Datenschwierigkeit (für die Datensatzanreicherung) denn als Qualitätsfilter für die Ausgabe umgerahmt werden.

Die Autoren kommen zu dem Schluss, dass eine zuverlässige automatisierte Diagnose nicht durch ein einzelnes überlegenes Modell, sondern durch eine fundierte Architektur erreicht werden kann, die die Hypothesengenerierung von der evidenzbasierten Evaluierung trennt. Sie merken an, dass das System zwar am Beispiel von 802.11 demonstriert wurde, die Methodik jedoch auf jeden Bereich mit strukturierten, deterministischen Ground Truths generalisierbar ist (z. B. medizinische Bildgebung, Finanzprüfungen, Rechtsanalysen).