Resumen Técnico: Diagnóstico de Conjunto Basado en Evidencia de Capturas de Paquetes 802.11

Planteamiento del Problema

El diagnóstico de problemas de conectividad a partir de capturas de paquetes 802.11 (PCAPs) es una tarea que requiere un uso intensivo de recursos y un profundo conocimiento de protocolos. Es lento, inconsistente entre ingenieros y carece de escalabilidad. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen una vía hacia la automatización, el análisis de un solo paso exhibe tres modos críticos de falla:

1. Completitud Alucinada: Los modelos infieren eventos de protocolo inexistentes (por ejemplo, asumiendo un fallo en el intercambio de manos cuando una captura se truncó a mitad del intercambio) para llenar vacíos, lo que conduce a falsos positivos.
2. Confianza No Calibrada: Los modelos generan puntuaciones de confianza autoinformadas que se agrupan artificialmente alto (por ejemplo, 0.95) independientemente de la dificultad diagnóstica, lo que las vuelve inútiles para la toma de decisiones de enrutamiento.
3. Sesgo de Referencia de Oro: Los marcos de evaluación que dependen de referencias "de oro" coproducidas por la misma familia de LLMs introducen un sesgo circular, penalizando la divergencia estilística en lugar del error diagnóstico.

Además, los métodos de conjunto ingenuos (votación por mayoría) a menudo degradan el rendimiento en contextos de diagnóstico. Debido a que los LLMs exhiben un sesgo conservador hacia "sin problemas" o "evidencia insuficiente" cuando se enfrentan a la ambigüedad, la votación por mayoría amplifica estos veredictos conservadores, causando que el conjunto pierda fallos confirmados con más frecuencia que un modelo de un solo paso.

Metodología: El Pipeline PROBE

Los autores presentan PROBE (Protocol Reasoning Over evidence-Based Ensembles), un pipeline de diagnóstico de múltiples etapas diseñado para rectificar estas fallas mediante un razonamiento determinista basado en evidencia. El sistema opera en cinco etapas:

1. Normalización de PCAP: Los archivos binarios PCAP se convierten en una representación de texto determinista y estructurada utilizando tshark y PDML. Esto preserva la verificabilidad a nivel de trama, incluyendo números de trama, marcas de tiempo, tipos de protocolo, códigos de estado y metadatos de RF. Cada afirmación fáctica realizada por el sistema puede ser verificada mecánicamente contra este texto.
2. Generación de Conjunto de Borrador: El sistema genera una matriz de $N \times M$ diagnósticos candidatos.
   • Diversidad de Ejecución ($N$): Múltiples ejecuciones independientes utilizan diferentes prompts analíticos (por ejemplo, "enfoque en causa raíz", "anomalías de secuencia de protocolo", "primero la evidencia") para probar la estabilidad del razonamiento.
   • Diversidad de Candidatos ($M$): Cada ejecución produce múltiples hipótesis para sacar a la luz la ambigüedad interna.
   • Ofuscación Progresiva: Campos clave (por ejemplo, RSSI, códigos de estado) se enmascaran en ejecuciones posteriores para asegurar que los diagnósticos dependan de la lógica estructural del protocolo en lugar de un emparejamiento superficial de palabras clave.
   • Segunda Opinión de Modelo Cruzado: Un modelo independiente de una familia de arquitectura diferente (por ejemplo, Llama 3.3 junto a Claude Sonnet) proporciona una perspectiva no correlacionada.
3. Taxonomía de Veredicto: Los candidatos deben seleccionar de una taxonomía estricta de cuatro valores: CONFIRMED_ISSUE (Problema Confirmado), PLAUSIBLE_ISSUE (Problema Plausible), INSUFFICIENT_EVIDENCE (Evidencia Insuficiente - crítico para capturas truncadas) e NO_ISSUE_FOUND (No se Encontró Problema).
4. Reconciliación Basada en Evidencia: En lugar de la votación por mayoría, un modelo reconciliador dedicado (por ejemplo, Claude Opus) revisa todos los candidatos contra el texto bruto del PCAP y las anotaciones opcionales de expertos humanos (SME). El reconciliador sintetiza el mejor diagnóstico soportado, comparando explícitamente las afirmaciones del modelo contra la evidencia del paquete y anulando conclusiones conservadoras o alucinadas.
5. Puntuación de Fiabilidad Determinista: Se computa una puntuación de confianza compuesta ($C$) sin depender de la autoevaluación del LLM. Se deriva de tres señales medibles:
   • Validez de la Evidencia ($E$): Verifica que las tramas citadas existen en el PCAP y que los elementos de evidencia soportan lógicamente el veredicto (incluyendo la evidencia "contribuyente" para los veredictos de INSUFFICIENT_EVIDENCE).
   • Estabilidad de Ejecución a Ejecución ($S$): Mide el acuerdo sobre tramas y veredictos clave a través de ejecuciones independientes.
   • Acuerdo de Modelo Cruzado ($A$): Mide la convergencia entre el conjunto primario y el modelo de segunda opinión.

Contribuciones Clave

1. Un Pipeline de Conjunto de Múltiples Etapas: PROBE genera hipótesis diversas y emplea un paso de reconciliación formal que evalúa los candidatos contra la evidencia del paquete en lugar de depender de recuentos de votos. Esto incluye un marco de evidencia consciente del veredicto donde la definición de "evidencia de soporte" se adapta a la conclusión diagnóstica (por ejemplo, la ausencia de una trama soporta un veredicto de INSUFFICIENT_EVIDENCE).
2. Puntuación de Fiabilidad Determinista: El sistema introduce una puntuación compuesta derivada de la validez de la evidencia, la estabilidad y el acuerdo de modelo cruzado. Esto elimina la necesidad de la confianza autoinformada no calibrada del LLM y permite la escalada principista a la revisión humana.
3. Marco de Evaluación Agnóstico al Modelo: Los autores proponen un método de evaluación basado en el emparejamiento de aserciones por campo. Esto separa los hechos verificables (números de trama, tipos de protocolo, aserciones de causa raíz) del estilo narrativo, eliminando el sesgo circular inherente a las referencias de oro coproducidas por modelos específicos.

Resultados Experimentales

Evaluado en 104 pares de captura-revisor de 87 capturas de Wi-Fi empresarial:

• Rendimiento: El análisis de un solo paso del LLM (Config B) logró un F1 ponderado de 0.912, superando la línea base del experto humano (SME) (0.871) en cobertura de tramas, pero omitiendo tramas diagnósticas críticas en el 35% de los casos.
• Falla del Conjunto: La votación por mayoría ingenua (Config D) causó una caída en el rendimiento a 0.842, ya que el conjunto convergió en veredictos conservadores de "sin problema", perdiendo el 50% de los fallos confirmados.
• Éxito de la Reconciliación: La incorporación del paso de reconciliación (Config F, Full PROBE) elevó el rendimiento a 0.957, logrando una tasa de auto-aceptación del 96%. El reconciliador recuperó con éxito diagnósticos minoritarios correctos que habían sido anulados por el conjunto.
• Calibración de Confianza: La confianza autoinformada del LLM fue poco informativa (el 71% de los valores eran exactamente 0.95). La puntuación compuesta determinista se distribuyó en un rango más amplio pero no fue predictiva de la corrección en el conjunto de datos actual porque el reconciliador fue tan efectivo (tasa de error del 4%) que no hubo suficiente varianza en los resultados para predecir. En su lugar, la baja confianza sirvió como indicador de la dificultad/ambigüedad de la captura.
• Eficiencia de Costos: El paso de reconciliación domina el costo (aprox. $0.345/captura), mientras que la diversidad del conjunto añade un costo mínimo. La Config C (un solo paso + reconciliación) ofreció la mejor relación de eficiencia de costos (0.964 Wt F1), mientras que la Config F proporcionó señales de robustez y fiabilidad con una prima de costo del 23%.

Significado y Reivindicaciones

El artículo afirma que la reconciliación contra la evidencia de origen es el pivote de calidad decisivo, no el tamaño del conjunto o la diversidad de los modelos. La idea arquitectónica central es que un modelo juez con acceso a los datos originales puede seleccionar la hipótesis correcta de un conjunto de candidatos generados independientemente, incluso si la mayoría de esos candidatos son erróneos.

Los autores destacan varias implicaciones más amplias:

• Razonamiento Diagnóstico vs. Autoconsistencia: La autoconsistencia estándar (votación por mayoría) es contraproducente para tareas de diagnóstico debido al sesgo de veredicto conservador. La reconciliación basada en evidencia es una alternativa necesaria.
• La Ausencia como Evidencia: Un marco donde la ausencia de datos esperados se trata como evidencia válida es crucial para manejar trazas incompletas o truncadas.
• Integridad de la Evaluación: Las referencias de oro coproducidas por LLMs requieren una evaluación basada en aserciones para evitar el sesgo circular.
• Reencuadre de la Confianza: En pipelines de diagnóstico altamente efectivos, las puntuaciones de confianza deben reencuadrarse como indicadores de la dificultad de los datos (para el enriquecimiento de datasets) en lugar de puertas de calidad para el filtrado de salidas.

Los autores concluyen que el diagnóstico automatizado confiable es alcanzable no a través de un único modelo superior, sino a través de una arquitectura de principios que separa la generación de hipótesis de la evaluación basada en evidencia. Observan que, aunque el sistema se demuestra en 802.11, la metodología se generaliza a cualquier dominio con verdad fundamental estructurada y determinista (por ejemplo, imágenes médicas, auditorías financieras, análisis de casos legales).