Resumo Técnico: Sobre a Confiabilidade e Estabilidade de Métodos Seletivos em Tarefas de Classificação de Malware

Declaração do Problema

Classificadores de malware modernos, particularmente aqueles adaptados para o desvio de distribuição (distribution drift), frequentemente reportam métricas de desempenho promissoras (ex: F1, FPR). No entanto, essas métricas refletem primariamente a precisão preditiva basal sob condições de mudança estática ou isolada, negligenciando a confiabilidade operacional e a estabilidade em implantações do mundo real.

Em cenários operacionais (ex: aprendizado ativo ou classificação seletiva), as próprias estimativas de confiança do modelo servem como o único sinal para a tomada de decisão uma vez que os rótulos de verdade fundamental (ground-truth) não estão disponíveis. Um sistema confiável deve garantir que as predições de alta confiança sejam provavelmente corretas e que pontuações de baixa confiança (ou de alto Out-of-Distribution/OOD) sinalizem com precisão instâncias para revisão humana. Os paradigmas de avaliação atuais falham em verificar se as funções de confiança permanecem calibradas e estáveis sob um desvio temporal sustentado. Como observado por Goodhart [15], "Quando uma medida se torna um alvo, ela deixa de ser uma boa medida." Otimizar para métricas de destaque como o F1 muitas vezes mascara deficiências na classificação de confiança, levando a:

1. Recursos mal direcionados: Aprendizado ativo desperdiçando orçamentos de anotação em amostras não informativas.
2. Fragilidade operacional: Classificação seletiva falhando em rejeitar instâncias propensas a erros ou, inversamente, rejeitando predições corretas.
3. Cargas de trabalho imprevisíveis: Mecanismos de rejeição falhando em acompanhar as cotas de alvo sob desvio.

O artigo argumenta que, sob desvio de distribuição, as redes neurais são propensas a uma severa má calibração, atribuindo alta confiança a predições incorretas em entradas OOD, comprometendo assim o pressuposto central da classificação seletiva e do aprendizado ativo.

Metodologia: O Framework Aurora

Para abordar essas lacunas, os autores propõem o Aurora, um framework projetado para avaliar classificadores de malware com base na qualidade da confiança e na resiliência operacional, em vez de apenas na precisão pontual.

1. Cenário de Avaliação

O framework emprega um protocolo de avaliação não estacionário e temporal que simula a implantação no mundo real:

• Dados: Três conjuntos de dados de malware para Android (APIGraph, AndroZoo, Transcendent) com diferentes severidades de desvio.
• Protocolo: Um loop mensal onde um modelo é avaliado em novos dados de um mês ($M_i$), consulta um orçamento de anotação fixo ($B_{Mi}$) das amostras mais incertas, recebe rótulos e é atualizado.
• Restrições: Não há rótulos de verdade fundamental disponíveis durante a fase online; as decisões dependem exclusivamente das pontuações de confiança do modelo. Um limiar de rejeição fixo ($\rho$) é calibrado em uma janela deslizante de pontuações não rotuladas para simular um orçamento mensal de anotação ou uma taxa de erro alvo.

2. Métricas

O Aurora introduz um conjunto multidimensional de métricas categorizadas em três pilares:

• Confiabilidade (Qualidade da Confiança):

  • AURC (Área Sob a Curva de Risco-Cobertura): Mede o quão eficazmente as pontuações de confiança classificam as instâncias pela sua probabilidade real de erro de classificação. Um AURC menor indica um melhor ranking (erros são corretamente identificados como de baixa confiança).
  • AURC[F1]*: Uma variante operacional do AURC usando risco baseado em F1 ($1 - \text{F1}$) em vez de taxa de erro. Isso detecta se a abstenção prejudica desproporcionalmente uma classe (ex: rejeitando amostras de malware enquanto mantém as benignas), o que o AURC padrão poderia omitir.
  • Frequência de Benefício (BF):* A proporção de meses onde a classificação seletiva (abstenção) melhora o F1 em relação a uma linha de base sem rejeição.

• Estabilidade (Robustez Temporal):

  • $\sigma[\text{F1}]$: Desvio padrão das pontuações mensais de F1, medindo a volatilidade do desempenho.
  • Tendência de Mann-Kendall ($\tau$): Um teste não paramétrico que detecta tendências de desempenho monotônicas (melhoria, degradação ou estabilidade) ao longo do tempo.
  • Consistência de Rejeição:
    • $\Delta\text{Rej}^*$: Viés entre as cotas de rejeição reais e o alvo.
    • $\sigma[\text{Rej}]^*$: Desvio padrão das rejeições realizadas, medindo a previsibilidade da carga de trabalho do analista.

3. Modelos Avaliados

O framework avalia quatro frameworks de código aberto de última geração (SOTA):

• Drebin: SVM linear em características estáticas.
• DeepDrebin: Rede totalmente conectada em características do Drebin.
• CADE: Aprendizado contrastivo com pontuação de OOD baseada em distância.
• HCC: Aprendizado contrastivo hierárquico com restrições de nível de família.

O estudo também investiga o impacto da curadoria de dados, comparando modelos treinados no conjunto de dados inicial completo ($B_0 = \text{Full}$) versus um conjunto subamostrado ($B_0 = 4800$).

Principais Resultados

A avaliação revela uma desconexão significativa entre as métricas de desempenho de destaque e a confiabilidade operacional.

1. Calibração de Confiança vs. Precisão

• F1 não implica confiabilidade: Modelos com pontuações de F1 semelhantes frequentemente exibem valores de AURC vastamente diferentes (até 10x de diferença). Por exemplo, no conjunto de dados APIGraph, o CADE e o DeepDrebin tinham pontuações de F1 comparáveis, mas o AURC do CADE foi 6x pior, indicando que suas pontuações de confiança falharam em classificar os erros corretamente.
• Desequilíbrio de Classe na Rejeição: O AURC[F1]* revelou que alguns modelos (ex: HCC) classificaram bem os erros totais, mas rejeitaram desproporcionalmente uma classe (ex: malware), degradando a qualidade da detecção equilibrada.
• Falha de Pontuação OOD: A pontuação de OOD baseada em distância do CADE (assumindo que os erros correlacionam-se com a distância dos centros de cluster) falhou empiricamente. As curvas de Risco-Cobertura mostraram que as classificações incorretas ocorriam frequentemente perto dos centros de cluster (alta confiança), contradizendo o pressuposto central do CADE.

2. Estabilidade Temporal e Consistência de Rejeição

• Instabilidade Catastrófica: O CADE exibiu uma instabilidade extrema no comportamento de rejeição. No conjunto de dados Transcendent, o CADE-MSP ultrapassou sua cota de rejeição em uma média de 3.375 amostras (alvo de 400) com uma variabilidade massiva ($\sigma[\text{Rej}]^* \approx 3347$), tornando-o inadequado para operações de orçamento fixo.
• Oscilação Frágil vs. Adaptação Robusta: Embora alguns modelos tenham mostrado F1 alto, suas métricas de estabilidade ($\sigma[\text{F1}]$ e $\tau$) revelaram degradação sistemática ou oscilação errática sob desvio. O DeepDrebin, por outro lado, demonstrou uma adaptação robusta com tendências de melhoria constantes em certos conjuntos de dados.
• Benefício da Abstenção: A classificação seletiva não foi universalmente benéfica. O CADE alcançou uma Frequência de Benefício (BF*) de <5% em várias configurações, o que significa que a abstenção prejudicou ativamente o desempenho na maioria dos meses.

3. A Perspectiva de Pareto

Ao avaliar os métodos através de múltiplas dimensões (F1, AURC, $\sigma[\text{F1}]$, $\tau$), nenhum método único dominou todas as condições.

• DeepDrebin (com subamostragem) e HCC-MSP (com subamostragem) emergiram consistentemente como Pareto-ótimos, oferecendo os melhores equilíbrios entre desempenho, estabilidade e confiabilidade.
• Vantagem da Subamostragem: Contra-intuitivamente, treinar em um conjunto de dados inicial subamostrado ($B_0 = 4800$) frequentemente superou o treinamento no primeiro ano completo de dados, sugerem que grandes volumes de dados históricos podem impedir a adaptação a novos padrões de desvio.
• Complexidade vs. Utilidade: A abordagem mais simples de rede neural (DeepDrebin) frequentemente superou frameworks complexos (CADE, HCC) que dependem de rótulos de família custosos e treinamento extensivo, consumindo uma fração do orçamento computacional.

Significância e Alegações

O artigo afirma que a dependência atual de métricas de precisão estática (F1, FPR) é insuficiente para avaliar a confiabilidade dos classificadores de malware em ambientes dinâmicos.

1. Revisando Pressupostos: A fragilidade observada nos frameworks SOTA sugere que os pressupostos subjacentes sobre calibração de confiança e detecção de OOD (ex: métricas baseadas em distância) podem precisar de revisão.
2. Realidade Operacional: O comportamento de um modelo em implantação é condicionado pela qualidade e estabilidade de sua classificação de confiança, não apenas por sua precisão em laboratório.
3. Mudança Metodológica: Os autores defendem uma mudança na avaliação de modelos de segurança em direção à avaliação multidimensional que inclua calibração de confiança, estabilidade temporal e consistência de rejeição.
4. Implicações Práticas: Os achados sugerem que os "melhores" métodos dependem das prioridades operacionais (ex: previsibilidade da carga de trabalho vs. taxa bruta de detecção). Um método que domina sob F1 pode ser dominado quando a confiabilidade e a estabilidade são consideradas.
5. Simplicidade Vence: O estudo destaca que frameworks complexos, dependentes de rótulos de família, não traduzem necessariamente para robustez de implantação, e que baselines mais simples com curadoria estratégica de dados podem ser mais eficazes.

Em conclusão, o artigo postula que "quando o F1 se torna o alvo, ele deixa de ser uma boa medida de confiabilidade", e que frameworks como o Aurora são necessários para expor os riscos ocultos da implantação de métodos de classificação seletiva sob desvio de distribuição.