🤖 machine learning

Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring

Le document introduit PROBE, un pipeline multi-étapes qui combine la normalisation déterministe des PCAP, le raisonnement d'ensemble fondé sur des preuves et un cadre d'évaluation agnostique du modèle afin de parvenir à un diagnostic automatisé de haute précision, fiable et sans biais des captures de paquets 802.11, surmontant ainsi l'hallucination, la confiance non calibrée et le biais d'évaluation inhérents aux approches classiques par LLM.

Auteurs originaux : Jerome Henry, Swadhin Pradhan, Miroslav Popovic

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jerome Henry, Swadhin Pradhan, Miroslav Popovic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu d'une scène de crime, votre preuve est un enregistrement numérique d'une conversation sur un réseau Wi-Fi (appelé « capture de paquets »). Votre objectif est de comprendre pourquoi la connexion internet d'un utilisateur a échoué.

Pendant longtemps, ce travail exigeait un expert humain possédant une connaissance approfondie des protocoles réseau. Il devait lire l'enregistrement, repérer les indices infimes et rédiger un rapport. Mais les humains sont lents, coûteux et divergent parfois dans leurs analyses.

Récemment, des gens ont tenté d'utiliser l'IA (plus précisément des modèles de langage étendus, ou LLM) pour automatiser cela. Le papier argumente que, bien que ces modèles d'IA soient rapides, ils sont comme des stagiaires trop sûrs d'eux qui inventent parfois des choses. Si l'enregistrement est coupé prématurément, l'IA peut inventer une raison à l'échec qui n'est pas réellement présente. Si on lui demande son degré de certitude, elle affirmera avec assurance être « sûre à 95 % », même lorsqu'elle ne fait que deviner.

Les auteurs de ce papier, travaillant chez Cisco, ont construit un nouveau système appelé PROBE pour corriger ces problèmes. Considérez PROBE non pas comme un simple détective, mais comme une agence de détectives hautement organisée dotée d'un flux de travail strict.

Voici comment fonctionne PROBE, en utilisant des analogies simples :

1. La Traduction (Normalisation des données)

D'abord, le système prend l'enregistrement numérique brut et désordonné et le traduit en un rapport textuel propre et lisible. Crucialement, cette traduction est déterministe, ce qui signifie qu'elle produit toujours exactement le même texte pour un même enregistrement. C'est comme transformer la photo d'une scène de crime chaotique en une liste numérotée de chaque objet trouvé, afin que personne ne puisse dire plus tard : « Je n'ai pas vu cet objet ».

2. La Session de « Brainstorming » (L'Ensemble)

Au lieu de demander à une seule IA de résoudre l'affaire, PROBE demande à plusieurs IA d'examiner la même affaire, mais avec des instructions différentes :

Le Détective de la « Cause Racine » : Cherche uniquement la raison principale de l'échec de la connexion.
Le Détective de la « Séquence » : Vérifie si les étapes se sont déroulées dans le bon ordre.
Le Détective de l'« Évidence » : Commence par lister les choses étranges qu'il voit et remonte jusqu'à une conclusion.

Ils demandent également à un autre type d'IA (un « deuxième avis ») d'examiner l'affaire de manière indépendante. C'est comme faire appel à un détective d'un autre commissariat pour s'assurer qu'ils ne font pas tous la même erreur.

3. Le « Test de Réalité » (Réconciliation)

Dans une réunion normale, si 5 détectives sur 9 disent « Aucun crime n'a eu lieu » et que 4 disent « C'était un braquage », le groupe pourrait voter pour « Aucun crime ». Le papier a découvert que les IA ont tendance à être lâches ; elles votent souvent « Aucun crime » juste par sécurité, même quand il y a effectivement un crime.

PROBE ne se contente pas de prendre un vote. Il fait appel à un Juge Senior (un modèle d'IA puissant). Le Juge ne se contente pas d'écouter les détectives ; le Juge a devant lui l'enregistrement original, non édité.

Le Juge examine les 9 rapports différents.
Le Juge vérifie chaque affirmation par rapport à l'enregistrement réel.
Si un détective dit : « La trame 12 montre une défaillance », le Juge vérifie : « Est-ce que la trame 12 existe réellement ? Montre-t-elle une défaillance ? »
Le Juge choisit le meilleur rapport, même s'il s'agissait de l'« opinion minoritaire » que les autres détectives ont ignorée.

4. Le « Score de Confiance » (Évaluation de la fiabilité)

Au lieu de demander à l'IA : « À quel point êtes-vous sûr de vous ? » (ce qui, selon le papier, est inutile car elles disent toujours être sûres à 95 %), PROBE calcule un Score de Confiance basé sur les mathématiques :

Ont-ils cité des preuves réelles ? (Ont-ils pointé des trames qui existent réellement ?)
Les détectives étaient-ils d'accord ? (Les différentes exécutions de l'IA sont-elles arrivées à la même conclusion ?)
Le deuxième avis était-il d'accord ? (Le commissariat différent est-il d'accord ?)

Si le score est élevé, le système accepte automatiquement le diagnostic. Si le score est bas, il signale le cas pour une révision humaine.

Ce qu'ils ont trouvé (Les Résultats)

Le papier a testé cela sur 104 cas réels de défaillances Wi-Fi. Voici ce qui s'est passé :

L'« Intern » (IA unique) : A raison environ 91 % du temps mais a manqué des indices critiques dans 35 % des cas.
Le « Groupe de Vote » (Ensemble sans Juge) : A en fait été moins performant (tombant à 84 %). Parce que les IA étaient trop prudentes, elles ont voté « Pas de problème » trop souvent, manquant de réels échecs.
Le « Juge Senior » (PROBE) : Lorsque le Juge a examiné le travail du groupe, la précision est passée à 96 %.
Le « Piège de la Confiance » : Le papier confirme que demander à une IA « Quel est votre niveau de confiance ? » est une perte de temps. Elles sont toujours très confiantes, même lorsqu'elles ont tort. Le Score de Confiance de PRO, basé sur les mathématiques, est le seul moyen fiable de savoir si un diagnostic est sûr à utiliser.

La Grande Conclusion

Le papier conclut que pour les tâches de diagnostic complexes (comme réparer le Wi-Fi, mais potentiellement d'autres domaines aussi), vous n'avez pas besoin d'une IA unique « super intelligente ». Vous avez besoin d'un système qui :

Génère de nombreuses théories différentes.
Dispose d'un « Juge » qui vérifie ces théories par rapport aux faits réels (les données originales).
Ignore l'« opinion » de l'IA et calcule plutôt la confiance en fonction de la correspondance entre les preuves et les faits.

En bref : Ne faites pas confiance à l'opinion de l'IA ; faites confiance à la capacité de l'IA à vérifier son propre travail par rapport aux preuves.

Résumé technique : Diagnostic d'ensemble fondé sur des preuves pour les captures de paquets 802.11

Énoncé du problème

Le diagnostic des problèmes de connectivité à partir de captures de paquets 802.11 (PCAP) est une tâche gourmande en ressources nécessitant une expertise approfondie des protocoles. C'est un processus lent, incohérent entre les ingénieurs et manquant de scalabilité. Bien que les modèles de langage étendus (LLM) offrent une voie vers l'automatisation, l'analyse par passage unique des LLM présente trois modes d'échec critiques :

Hallucination de complétion : Les modèles infèrent des événements de protocole inexistants (par exemple, en supposant un échec de la poignée de main lorsqu'une capture est tronquée au milieu d'un échange) pour combler les lacunes, entraînant des faux positifs.
Confiance non calibrée : Les modèles génèrent des scores de confiance auto-déclarés qui se regroupent artificiellement de manière élevée (par exemple, 0,95) quel que soit le niveau de difficulté du diagnostic, ce qui les rend inutilisables pour les décisions d'aiguillage.
Biais de la référence d'or : Les cadres d'évaluation qui reposent sur des références « d'or » co-produites par la même famille de LLM introduisent un biais circulaire, pénalisant la divergence stylistique plutôt que l'erreur de diagnostic.

De plus, les méthodes d'ensemble naïves (vote majoritaire) dégradent souvent les performances dans les contextes de diagnostic. Parce que les LLM présentent un biais conservateur vers l'absence de problème ou l'insuffisance de preuves face à l'ambiguïté, le vote majoritaire amplifie ces verdicts conservateurs, faisant en sorte que l'ensemble manque plus souvent des échecs confirmés qu'un modèle à passage unique.

Méthodologie : Le pipeline PROBE

Les auteurs introduisent PROBE (Protocol Reasoning Over evidence-Based Ensembles), un pipeline de diagnostic multi-étapes conçu pour rectifier ces échecs grâce à un raisonnement déterministe fondé sur des preuves. Le système fonctionne en cinq étapes :

Normalisation du PCAP : Les fichiers PCAP binaires sont convertis en une représentation textuelle déterministe et structurée à l'aide de tshark et PDML. Cela préserve la vérifiabilité au niveau de la trame, incluant les numéros de trame, les horodatages, les types de protocoles, les codes d'état et les métadonnées RF. Chaque affirmation factuelle faite par le système peut être mécaniquement vérifiée par rapport à ce texte.
Génération d'ensemble de brouillon : Le système génère une matrice $N \times M$ $N \times M$ de diagnostics candidats.
- Diversité d'exécution ( $N$ ) : Plusieurs exécutions indépendantes utilisent des invites analytiques différentes (par exemple, « focalisation sur la cause racine », « anomalies de séquence de protocole », « priorité aux preuves ») pour tester la stabilité du raisonnement.
- Diversité des candidats ( $M$ ) : Chaque exécution produit plusieurs hypothèses pour faire émerger l'ambiguïté interne.
- Obscurcissement progressif : Des champs clés (par exemple, RSSI, codes d'état) sont masqués dans les exécutions ultérieures pour garantir que les diagnostics reposent sur la logique structurelle du protocole plutôt que sur une correspondance superficielle de mots-clés.
- Deuxième opinion inter-modèles : Un modèle indépendant issu d'une autre famille d'architecture (par exemple, Llama 3.3 aux côtés de Claude Sonnet) fournit une perspective non corrélée.
Taxonomie des verdicts : Les candidats doivent choisir parmi une taxonomie stricte à quatre valeurs : CONFIRMED_ISSUE (problème confirmé), PLAUSIBLE_ISSUE (problème plausible), INSUFFICIENT_EVIDENCE (preuves insuffisantes — critique pour les captures tronquées) et NO_ISSUE_FOUND (aucun problème trouvé).
Réconciliation fondée sur les preuves : Au lieu du vote majoritaire, un modèle réconciliateur dédié (par exemple, Claude Opus) examine tous les candidats par rapport au texte brut du PCAP et aux annotations optionnelles d'experts humains (SME). Le réconciliateur synthétise le meilleur diagnostic supporté, comparant explicitement les affirmations du modèle aux preuves de paquets et outrepassant les conclusions conservatrices ou hallucinées.
Score de fiabilité déterministe : Un score de confiance composite ( $C$ $C$ ) est calculé sans dépendre de l'auto-évaluation du LLM. Il est dérivé de trois signaux mesurables :
- Validité de la preuve ( $E$ ) : Vérifie que les trames citées existent dans le PCAP et que les éléments de preuve soutiennent logiquement le verdict (incluant les preuves « contributives » pour les verdicts INSUFFICIENT_EVIDENCE).
- Stabilité d'exécution à exécution ( $S$ ) : Mesure l'accord sur les trames clés et les verdicts à travers les exécutions indépendantes.
- Accord inter-modèles ( $A$ ) : Mesure la convergence entre l'ensemble primaire et le modèle de deuxième opinion.

Contributions clés

Un pipeline d'ensemble multi-étapes : PROBE génère des hypothèses diverses et emploie une étape de réconciliation formelle qui évalue les candidats par rapport aux preuves de paquets plutôt que de se fier aux décomptes de votes. Cela inclut un cadre de preuve sensible au verdict où la définition de la « preuve de soutien » s'adapte à la conclusion du diagnostic (par exemple, l'absence d'une trame soutient un verdict INSUFFICIENT_EVIDENCE).
Score de fiabilité déterministe : Le système introduit un score composite dérivé de la validité des preuves, de la stabilité et de l'accord inter-modèles. Cela élimine le besoin de l'auto-évaluation non calibrée des LLM et permet une escalade principielle vers une revue humaine.
Cadre d'évaluation agnostique au modèle : Les auteurs proposent une méthode d'évaluation basée sur la correspondance d'assertions par champ. Cela sépare les faits vérifiables (numéros de trame, types de protocoles, assertions de cause racine) du style narratif, éliminant le biais circulaire inhérent aux références d'or co-produites par des modèles spécifiques.

Résultats expérimentaux

Évalué sur 104 paires examinateur-capture issues de 87 captures Wi-Fi d'entreprise :

Performance : L'analyse par LLM en passage unique (Config B) a atteint un F1 pondéré de 0,912, surpassant la base de référence de l'expert humain (0,871) en couverture de trames, mais manquant des trames de diagnostic critiques dans 35 % des cas.
Échec de l'ensemble : Le vote majoritaire naïf (Config D) a provoqué une chute de performance à 0,842, car l'ensemble convergeait vers des verdicts conservateurs de « aucun problème », manquant 50 % des échecs confirmés.
Succès de la réconciliation : L'incorporation de l'étape de réconciliation (Config F, PROBE complet) a élevé la performance à 0,957, atteignant un taux d'acceptation automatique de 96 %. Le réconciliateur a réussi à récupérer des diagnostics minoritaires corrects que l'ensemble avait rejetés par vote.
Calibration de la confiance : La confiance auto-déclarée du LLM n'était pas informative (71 % des valeurs étaient exactement 0,95). Le score composite déterministe se répartissait sur une plage plus large mais n'était pas prédictif de la justesse dans l'ensemble du jeu de données car le réconciliateur était si efficace (taux d'erreur de 4 %) qu'il y avait une variance insuffisante dans les résultats pour prédire. Au lieu de cela, une faible confiance servait d'indicateur de la difficulté ou de l'ambiguïté de la capture.
Efficacité des coûts : L'étape de réconciliation domine le coût (environ 0,345 $/capture), tandis que la diversité de l'ensemble ajoute un coût minimal. La Config C (one-shot + réconciliation) offrait le meilleur ratio d'efficacité de coût (0,964 Wt F1), tandis que la Config F fournissait des signaux de robustesse et de fiabilité avec une prime de coût de 23 %.

Signification et affirmations

L'article affirme que la réconciliation par rapport aux preuves sources est le levier de qualité décisif, et non la taille de l'ensemble ou la diversité des modèles. L'intuition architecturale centrale est qu'un modèle juge ayant accès aux données originales peut sélectionner l'hypothèse correcte parmi un ensemble de candidats générés indépendamment, même si la majorité de ces candidats est erronée.

Les auteurs soulignent plusieurs implications plus larges :

Raisonnement diagnostique vs Auto-cohérence : L'auto-cohérence standard (vote majoritaire) est contre-productive pour les tâches de diagnostic en raison du biais de verdict conservateur. La réconciliation fondée sur les preuves est une alternative nécessaire.
L'absence comme preuve : Un cadre où l'absence de données attendues est traitée comme une preuve valide est crucial pour gérer les traces incomplètes ou tronquées.
Intégrité de l'évaluation : Les références d'or co-produites par des LLM nécessitent une évaluation par assertion pour éviter le biais circulaire.
Recadrage de la confiance : Dans les pipelines de diagnostic hautement efficaces, les scores de confiance devraient être recadrés comme des indicateurs de la difficulté des données (pour l'enrichissement des jeux de données) plutôt que comme des barrières de qualité pour le filtrage des sorties.

Les auteurs concluent qu'un diagnostic automatisé fiable est réalisable non pas grâce à un seul modèle supérieur, mais grâce à une architecture principielle qui sépare la génération d'hypothèses de l'évaluation fondée sur les preuves. Ils notent que bien que le système soit démontré sur le 802.11, la méthodologie est généralisable à tout domaine possédant une vérité de terrain structurée et déterministe (par exemple, l'imagerie médicale, l'audit financier, l'analyse de cas juridiques).