Resumo Técnico: Diagnóstico de Capturas de Pacotes 802.11 Baseado em Evidências via Ensemble

Declaração do Problema

O diagnóstico de problemas de conectividade a partir de capturas de pacotes 802.11 (PCAPs) é uma tarefa que exige alto investimento de recursos e profundo conhecimento de protocolos. É um processo lento, inconsistente entre engenheiros e carente de escalabilidade. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam um caminho para a automação, a análise de passagem única (single-pass) dos LLMs apresenta três modos críticos de falha:

1. Conclusão Alucinada: Os modelos inferem eventos de protocolo inexistentes (por exemplo, assumindo uma falha de handshake quando a captura está truncada no meio de uma troca) para preencher lacunas, levando a falsos positivos.
2. Confiança Descalibrada: Os modelos geram pontuações de confiança autorrelatadas que se agrupam artificialmente em valores altos (ex: 0,95), independentemente da dificuldade diagnóstica, tornando-as inúteis para decisões de roteamento.
3. Viés de Referência de Ouro (Golden Reference Bias): Estruturas de avaliação que dependem de referências "de ouro" coproduzidas pela mesma família de LLMs introduzem um viés circular, penalizando a divergência estilística em vez do erro diagnóstico.

Além disso, métodos de ensemble ingênuos (votação por maioria) frequentemente degradam o desempenho em contextos diagnósticos. Como os LLMs exibem um viés conservador para "sem problemas" ou "evidência insuficiente" diante de ambiguidades, a votação por maioria amplifica esses vereditos conservadores, fazendo com que o ensemble perca falhas confirmadas com mais frequência do que um modelo de passagem única.

Metodologia: O Pipeline PROBE

Os autores apresentam o PROBE (Protocol Reasoning Over evidence-Based Ensembles), um pipeline de diagnóstico de múltiplos estágios projetado para retificar essas falhas por meio de um raciocínio determinístico baseado em evidências. O sistema opera em cinco estágios:

1. Normalização de PCAP: Arquivos binários PCAP são convertidos em uma representação de texto estruturada e determinística usando tshark e PDML. Isso preserva a verificabilidade ao nível de quadro (frame), incluindo números de quadros, carimbos de data/hora (timestamps), tipos de protocolo, códigos de status e metadados de RF. Cada afirmação factual feita pelo sistema pode ser mecanicamente verificada contra este texto.
2. Geração de Ensemble de Rascunho (Draft Ensemble): O sistema gera uma matriz $N \times M$ de diagnósticos candidatos.
   • Diversidade de Execução ($N$): Múltiplas execuções independentes utilizam diferentes prompts analíticos (ex: "foco em causa raiz", "anomalias de sequência de protocolo", "prioridade à evidência") para testar a estabilidade do raciocínio.
   • Diversidade de Candidatos ($M$): Cada execução produz múltiplas hipóteses para evidenciar ambiguidades internas.
   • Ofuscação Progressiva: Campos cruciais (ex: RSSI, códigos de status) são mascarados em execuções posteriores para garantir que os diagnósticos dependam da lógica estrutural do protocolo, e não de uma correspondência superficial de palavras-chave.
   • Segunda Opinião de Modelo Cruzado: Um modelo independente de uma família de arquitetura diferente (ex: Llama 3.3 junto com Claude Sonnet) fornece uma perspectiva não correlacionada.
3. Taxonomia de Veredito: Os candidatos devem selecionar de uma taxonomia estrita de quatro valores: CONFIRMED_ISSUE (Problema Confirmado), PLAUSIBLE_ISSUE (Problema Plausível), INSUFFICIENT_EVIDENCE (Evidência Insuficiente — crítico para capturas truncadas) e NO_ISSUE_FOUND (Nenhum Problema Encontrado).
4. Reconciliação Baseada em Evidências: Em vez de votação por maioria, um modelo reconciliador dedicado (ex: Claude Opus) revisa todos os candidatos contra o texto bruto do PCAP e anotações opcionais de especialistas humanos (SME). O reconciliador sintetiza o melhor diagnóstico suportado, comparando explicitamente as afirmações do modelo contra a evidência do pacote e sobrepondo conclusões conservadoras ou alucinadas.
5. Pontuação de Confiabilidade Determinística: Uma pontuação de confiança composta ($C$) é computada sem depender da autoavaliação do LLM. Ela é derivada de três sinais mensuráveis:
   • Validade da Evidência ($E$): Verifica se os quadros citados existem no PCAP e se os itens de evidência suportam logicamente o veredito (incluindo evidência "contribuinte" para vereditos de INSUFFICIENT_EVIDENCE).
   • Estabilidade entre Execuções ($S$): Mede o acordo sobre quadros-chave e vereditos entre execuções independentes.
   • Concordância entre Modelos Cruzados ($A$): Mede a convergência entre o ensemble primário e o modelo de segunda opinião.

Principais Contribuições

1. Um Pipeline de Ensemble de Múltiplos Estágios: O PROBE gera hipóteses diversas e emprega uma etapa de reconciliação formal que avalia os candidatos contra a evidência do pacote, em vez de depender de contagens de votos. Isso inclui um framework de evidência consciente do veredito, onde a definição de "evidência de suporte" se adapta à conclusão diagnóstica (ex: a ausência de um quadro suporta um veredito de INSUFFICIENT_EVIDENCE).
2. Pontuação de Confiabilidade Determinística: O sistema introduz uma pontuação composta derivada de validade de evidência, estabilidade e concordância entre modelos. Isso elimina a necessidade de autoavaliação descalibrada do LLM e permite a escalada principiada para revisão humana.
3. Framework de Avaliação Agnóstico a Modelos: Os autores propõem um método de avaliação baseado no pareamento de asserções por campo. Isso separa fatos verificáveis (números de quadros, tipos de protocolo, afirmações de causa raiz) do estilo narrativo, eliminando o viés circular inerente às referências de ouro produzidas por modelos específicos.

Resultados Experimentais

Avaliado em 104 pares de captura-revisor de 87 capturas de Wi-Fi empresarial:

• Desempenho: A análise de LLM de passagem única (Config B) alcançou um F1 ponderado de 0,912, superando a linha de base do especialista humano (0,871) em cobertura de quadros, mas perdendo quadros diagnósticos críticos em 35% dos casos.
• Falha do Ensemble: A votação por maioria ingênua (Config D) causou uma queda de desempenho para 0,842, pois o ensemble convergiu para vereditos conservadores de "sem problema", perdendo 50% das falhas confirmadas.
• Sucesso da Reconciliação: A incorporação da etapa de reconciliação (Config F, PROBE Completo) elevou o desempenho para 0,957, atingindo uma taxa de aceitação automática de 96%. O reconciliador recuperou com sucesso diagnósticos minoritários corretos que haviam sido vencidos pelo ensemble.
• Calibragem de Confiança: A confiança autorrelatada do LLM foi pouco informativa (71% dos valores eram exatamente 0,95). A pontuação composta determinística espalhou-se por uma gama mais ampla, mas não foi preditiva de correção no conjunto de dados atual porque o reconciliador foi tão eficaz (taxa de erro de 4%) que não houve variância suficiente nos resultados para prever. Em vez disso, a baixa confiança serviu como um indicador de dificuldade/ambiguidade da captura.
• Eficiência de Custo: A etapa de reconciliação domina o custo (aprox. $0,345/captura), enquanto a diversidade do ensemble adiciona um custo mínimo. A Config C (one-shot + reconcile) ofereceu a melhor razão de eficiência de custo (0,964 Wt F1), enquanto a Config F forneceu sinais de robustez e confiabilidade com um prêmio de custo de 23%.

Significância e Alegações

O artigo alega que a reconciliação contra a evidência de origem é o alavancador de qualidade decisivo, e não o tamanho do ensemble ou a diversidade de modelos. A percepção arquitetônica central é que um modelo juiz com acesso aos dados originais pode selecionar a hipótese correta de um conjunto de candidatos gerados independentemente, mesmo que a maioria desses candidatos esteja errada.

Os autores destacam várias implicações mais amplas:

• Raciocínio Diagnóstico vs. Autoconsistência: A autoconsistência padrão (votação por maioria) é contraproducente para tarefas diagnósticas devido ao viés de veredito conservador. A reconciliação baseada em evidências é uma alternativa necessária.
• Ausência como Evidência: Um framework onde a ausência de dados esperados é tratada como evidência válida é crucial para lidar com traços incompletos ou truncados.
• Integridade da Avaliação: Referências de ouro coproduzidas por LLMs exigem avaliação baseada em asserções para evitar o viés circular.
• Reenquadramento de Confiança: Em pipelines diagnósticos altamente eficazes, as pontuações de confiança devem ser reenquadradas como indicadores da dificuldade dos dados (para enriquecimento de datasets) em vez de filtros de qualidade para filtragem de saída.

Os autores concluem que o diagnóstico automatizado confiável é alcançável não através de um único modelo superior, mas através de uma arquitetura principiada que separa a geração de hipóteses da avaliação baseada em evidências. Eles observam que, embora o sistema seja demonstrado em 802.11, a metodologia se generaliza para qualquer domínio com verdade fundamental estruturada e determinística (ex: imagens médicas, auditorias financeiras, análise de casos jurídicos).