Sintesi Tecnica: Diagnosi di Capture di Pacchetti 802.11 basata su Evidenze e Ensemble

Definizione del Problema

La diagnosi di problemi di connettività da capture di pacchetti 802.11 (PCAP) è un compito che richiede elevate risorse e una profonda competenza nei protocolli. È un processo lento, incoerente tra gli ingegneri e privo di scalabilità. Sebbene i Large Language Models (LLM) offrano una via verso l'automazione, l'analisi a singolo passaggio degli LLM presenta tre modalità di fallimento critiche:

1. Completamento Allucinato: I modelli inferiscono eventi di protocollo inesistenti (ad esempio, assumendo un fallimento dell'handshake quando una capture è troncata a metà dello scambio) per colmare le lacune, portando a falsi positivi.
2. Confidenza Non Calibrata: I modelli generano punteggi di confidenza auto-riportati che si raggruppano artificialmente verso l'alto (ad esempio, 0,95) indipendentemente dalla difficoltà diagnostica, rendendoli inutili per le decisioni di instradamento.
3. Bias del Riferimento "Golden": I framework di valutazione che si affidano a riferimenti "golden" co-prodotti dallo stesso gruppo di LLM introducono un bias circolare, penalizzando la divergenza stilistica piuttosto che l'errore diagnostico.

Inoltre, i metodi ensemble ingenui (voto di maggioranza) spesso degradano le prestazioni in contesti diagnostici. Poiché gli LLM mostrano un bias conservativo verso "nessun problema" o "evidenza insufficiente" quando affrontano l'ambiguità, il voto di maggioranza amplifica questi verdetti conservativi, causando il mancato rilevamento di guasti confermati più spesso rispetto a un modello a singolo passaggio.

Metodologia: La Pipeline PROBE

Gli autori introducono PROBE (Protocol Reasoning Over evidence-Based Ensembles), una pipeline diagnostica multi-stadio progettata per rettificare questi fallimenti attraverso un ragionamento deterministico basato sulle evidenze. Il sistema opera in cinque fasi:

1. Normalizzazione PCAP: I file binari PCAP vengono convertiti in una rappresentazione testuale deterministica e strutturata utilizzando tshark e PDML. Ciò preserva la verificabilità a livello di frame, inclusi numeri di frame, timestamp, tipi di protocollo, codici di stato e metadati RF. Ogni affermazione fattuale fatta dal sistema può essere meccanicamente verificata contro questo testo.
2. Generazione dell'Ensemble di Bozza: Il sistema genera una matrice $N \times M$ di diagnosi candidate.
   • Diversità di Esecuzione ($N$): Più esecuzioni indipendenti utilizzano diversi prompt analitici (ad esempio, "focus sulla causa radice", "anomalie della sequenza di protocollo", "priorità alle evidenze") per testare la stabilità del ragionamento.
   • Diversità dei Candidati ($M$): Ogni esecuzione produce molteplici ipotesi per far emergere l'ambiguità interna.
   • Offuscamento Progressivo: Campi chiave (ad esempio, RSSI, codici di stato) vengono mascherati nelle esecuzioni successive per garantire che le diagnosi si basino sulla logica strutturale del protocollo piuttosto che su un superficiale abbinamento di parole chiave.
   • Secondo Parere Cross-Model: Un modello indipendente di una diversa famiglia di architetture (ad esempio, Llama 3.3 insieme a Claude Sonnet) fornisce una prospettiva non correlata.
3. Tassonomia del Verdetto: I candidati devono selezionare da una tassonomia rigorosa a quattro valori: CONFIRMED_ISSUE (Problema Confermato), PLAUSIBLE_ISSUE (Problema Plausibile), INSUFFICIENT_EVIDENCE (Evidenza Insufficiente - critico per le capture troncate) e NO_ISSUE_FOUND (Nessun Problema Trovato).
4. Riconciliazione Basata sulle Evidenze: Inve invece del voto di maggioranza, un modello riconciliatore dedicato (ad esempio, Claude Opus) esamina tutti i candidati rispetto al testo PCAP grezzo e alle annotazioni opzionali di esperti umani (SME). Il riconciliatore sintetizza la diagnosi meglio supportata, confrontando esplicitamente le affermazioni del modello con le evidenze dei pacchetti e sovrascrivendo conclusioni conservative o allucinate.
5. Punteggio di Affidabilità Deterministico: Un punteggio di confidenza composito ($C$) viene calcolato senza fare affidamento sull'autovalutazione dell'LLM. Esso deriva da tre segnali misurabili:
   • Validità dell'Evidenza ($E$): Verifica che i frame citati esistano nel PCAP e che le evidenze citate supportino logicamente il verdetto (inclusa l'evidenza "contribuente" per i verdetti di INSUFFICIENT_EVIDENCE).
   • Stabilità tra le Esecuzioni ($S$): Misura l'accordo su frame chiave e verdetti attraverso esecuzioni indipendenti.
   • Accordo Cross-Model ($A$): Misura la convergenza tra l'ensemble primario e il modello di secondo parere.

Contributi Chiave

1. Una Pipeline Ensemble Multi-stadio: PROBE genera ipotesi diverse e impiega un passaggio di riconciliazione formale che valuta i candidati rispetto alle evidenze dei pacchetti anziché affidarsi ai conteggi dei voti. Questo include un framework di evidenza consapevole del verdetto in cui la definizione di "evidenza a supporto" si adatta alla conclusione diagnostica (ad esempio, l'assenza di un frame supporta un verdetto di INSUFFICIENT_EVIDENCE).
2. Punteggio di Affidabilità Deterministico: Il sistema introduce un punteggio composito derivato dalla validità delle evidenze, dalla stabilità e dall'accordo cross-model. Ciò elimina la necessità di l'autovalutazione non calibrata dell'LLM e consente un'escalation principiata alla revisione umana.
3. Framework di Valutazione Model-Agnostic: Gli autori propongono un metodo di valutazione basato sul matching delle asserzioni per campo. Questo separa i fatti verificabili (numeri di frame, tipi di protocollo, asserzioni sulla causa radice) dallo stile narrativo, eliminando il bias circolare inerente ai riferimenti "golden" co-prodotti da specifici modelli.

Risultati Sperimentali

Valutato su 104 coppie revisore-capture da 87 capture di Wi-Fi enterprise:

• Performance: L'analisi LLM a passaggio singolo (Config B) ha raggiunto un F1 pesato di 0,912, superando la baseline dell'SME umano (0,871) nella copertura dei frame, ma mancando frame diagnostici critici nel 35% dei casi.
• Fallimento dell'Ensemble: Il voto di maggioranza ingenuo (Config D) ha causato un calo delle prestazioni a 0,842, poiché l'ensemble convergeva su verdetti conservativi di "nessun problema", mancando il 50% dei guasti confermati.
• Successo della Riconciliazione: L'incorporazione del passaggio di riconciliazione (Config F, Full PROBE) ha elevato le prestazioni a 0,957, raggiungendo un tasso di auto-accettazione del 96%. Il riconciliatore ha recuperato con successo le diagnosi minoritarie corrette che erano state superate in votazione dall'ensemble.
• Calibrazione della Confidenza: La confidenza auto-riportata dall'LLM non era informativa (il 71% dei valori era esattamente 0,95). Il punteggio composito deterministico si distribuiva su un intervallo più ampio ma non era predittivo della correttezza nel dataset attuale perché il riconciliatore era così efficace (tasso di errore del 4%) che non c'era sufficiente varianza nei risultati per predire. Inveve, la bassa confidenza fungeva da indicatore della difficoltà/ambiguità della capture.
• Efficienza dei Costi: Il passaggio di riconciliazione domina il costo (circa $0,345/capture), mentre la diversità dell'ensemble aggiunge un costo minimo. La Config C (one-shot + reconcile) ha offerito il miglior rapporto costo-efficienza (0,964 Wt F1), mentre la Config F ha fornito segnali di robustezza e affidabilità con un premio di costo del 23%.

Significato e Rivendicazioni

Il documento sostiene che la riconciliazione rispetto all'evidenza sorgente è il decisivo leva di qualità, non la dimensione dell'ensemble o la diversità dei modelli. L'intuizione architettonica centrale è che un modello giudice con accesso ai dati originali può selezionare l'ipotesi corretta da un insieme di candidati generati indipendentemente, anche se la maggioranza di tali candidati è errata.

Gli autori evidenziano diverse implicazioni più ampie:

• Ragionamento Diagnostico vs. Auto-coerenza: La standard auto-coerenza (voto di maggioranza) è controproducente per i compiti diagnostici a causa del bias del verdetto conservativo. La riconciliazione basata sulle evidenze è un'alternativa necessaria.
• L'Assenza come Evidenza: Un framework in cui l'assenza di dati attesi è trattata come evidenza valida è fondamentale per gestire tracce incomplete o troncate.
• Integrità della Valutazione: I riferimenti "golden" co-prodotti dagli LLM richiedono una valutazione basata sulle asserzioni per evitare il bias circolare.
• Riformulazione della Confidenza: In pipeline diagnostiche altamente efficaci, i punteggi di confidenza dovrebbero essere riformulati come indicatori della difficoltà dei dati (per l'arricchimento del dataset) piuttosto che come gate di qualità per il filtraggio dell'output.

Gli autori concludono che una diagnosi automatizzata affidabile è ottenibile non attraverso un singolo modello superiore, ma attraverso un'architettura principiata che separa la generazione di ipotesi dalla valutazione basata sulle evidenze. Notano che, sebbene il sistema sia dimostrato su 802.11, la metodologia è generalizzabile a qualsiasi dominio con verità di base strutturata e deterministica (ad esempio, imaging medico, audit finanziari, analisi di casi legali).