Mechanistic Anomaly Detection via Functional Attribution

1. O Problema: Detecção de Anomalias Mecanísticas (MAD)

O artigo aborda um desafio fundamental na implantação segura de redes neurais: a incapacidade de determinar se uma saída do modelo foi gerada por mecanismos internos normais ou anômalos, mesmo quando a saída em si parece correta (ou quando o rótulo de verdade é conhecido).

• Limitações das Abordagens Atuais:
  • Análise de Espaço Latente: Métodos existentes frequentemente dependem da análise de representações latentes (ativações) para distinguir amostras. No entanto, esses métodos são vulneráveis a ofuscação, onde adversários podem criar entradas que executam comportamentos maliciosos (como backdoors) enquanto mimetizam padrões de ativação normais.
  • Especificidade de Arquitetura: Muitas soluções são específicas para modalidades (visão vs. linguagem) ou arquiteturas específicas, limitando sua generalização.
  • Falta de Interpretabilidade: Não há uma maneira principial de verificar se o raciocínio interno do modelo é "normal" ou "enganoso" apenas olhando para a saída.

O objetivo da Detecção de Anomalias Mecanísticas (MAD) é identificar casos em que o modelo depende de processamento interno anormal (ex.: gatilhos de backdoor, exemplos adversariais, ou dados fora da distribuição - OOD) que merecem escrutínio.

2. Metodologia: Atribuição Funcional via Funções de Influência

Os autores reformulam o problema de detecção de anomalias como um problema de atribuição funcional. Em vez de analisar onde os dados residem no espaço latente, eles perguntam: "Até que ponto amostras de um conjunto de confiança (trusted set) podem explicar o comportamento do modelo em uma entrada de teste?"

Abordagem Técnica

A metodologia baseia-se em Funções de Influência Bayesianas (BIFs) e amostragem de parâmetros:

1. Conceito de Atribuição Funcional:

   • Assume-se que um modelo possui um conjunto de parâmetros treinados $w^*$ e um pequeno conjunto de amostras de confiança ($D_T$) onde o modelo se comporta normalmente.
   • Para uma amostra de teste $x_{test}$, o método verifica se o comportamento do modelo sobre $x_{test}$ é funcionalmente acoplado ao comportamento sobre as amostras de $D_T$.

2. Uso de Funções de Influência (Influence Functions):

   • As funções de influência medem como a mudança nos parâmetros do modelo afeta a perda (loss) em diferentes amostras.
   • Se duas amostras compartilham os mesmos mecanismos internos (ex.: ambos dependem de detectar "asas" para classificar um avião), suas perdas variarão de forma correlacionada quando os parâmetros forem perturbados.
   • Se uma amostra é anômala (ex.: um backdoor ativado por um gatilho específico), ela depende de mecanismos distintos que não afetam as amostras de confiança, resultando em baixa correlação.

3. Implementação Prática (Amostragem SGLD):

   • Como calcular a inversa da Hessiana (necessária para funções de influência clássicas) é inviável em redes profundas, o método utiliza Dinâmica Langevin de Gradiente Estocástico (SGLD).
   • O algoritmo amostra parâmetros $w_t$ a partir de uma distribuição posterior localizada ao redor dos parâmetros treinados $w^*$.
   • Para cada amostra (de confiança e de teste), calcula-se a perda ao longo dessas amostras de parâmetros, gerando "traços de perda" (loss traces).
   • A correlação (ou covariância) entre os traços de perda da amostra de teste e as amostras de confiança serve como pontuação de detecção. Baixa correlação indica anomalia.

4. Justificativa Teórica (Espaços Afiados vs. Planos):

   • O artigo demonstra teoricamente que mecanismos normais tendem a residir em direções "afiadas" (sharp) do espaço de parâmetros (onde pequenas mudanças afetam significativamente a precisão).
   • Mecanismos anômalos (como backdoors furtivos) devem operar em direções "planas" (flat) para não degradar o desempenho normal.
   • Como a covariância ponderada pela Hessiana (via SGLD) dá mais peso às direções planas, gradientes de mecanismos anômalos tornam-se ortogonais aos gradientes de mecanismos normais, resultando em baixa correlação detectável.

3. Contribuições Principais

1. Reformulação do Problema: Transforma a detecção de anomalias mecânicas em um problema de atribuição funcional a dados de confiança, eliminando a dependência de representações latentes.
2. Fundamentação Teórica: Fornece uma prova baseada no espectro de autovalores da Hessiana, mostrando que a energia do gradiente de amostras anômalas se concentra em direções planas, permitindo sua separação de amostras limpas.
3. Generalidade e Performance:
   • Funciona em múltiplas modalidades (Visão e Linguagem) e arquiteturas.
   • Detecta backdoors, exemplos adversariais e dados OOD.
   • Capaz de distinguir múltiplos mecanismos anômalos dentro de um único modelo.
4. Resultados Empíricos: Alcança o estado da arte (SOTA) em benchmarks de detecção de backdoors, superando métodos baseados em latência mesmo em cenários de ofuscação explícita.

4. Resultados Experimentais

Os autores avaliaram o método em diversos cenários:

A. Modelos de Visão (BackdoorBench)

• Configuração: Testado em modelos PreAct ResNet-18 treinados em CIFAR-10, CIFAR-100, GTSRB e Tiny-ImageNet com 7 tipos de ataques de backdoor.
• Métrica: Defense Effectiveness Rating (DER).
• Desempenho:
  • O método alcançou uma DER média de 0.93 em 7 ataques e 4 conjuntos de dados (com 5% de taxa de envenenamento).
  • O próximo melhor método (STRIP) teve uma DER média de 0.83.
  • O método offline (usando UMAP para agrupar correlações entre amostras de teste) atingiu uma DER de 0.975.
  • O método manteve alta performance mesmo em taxas de envenenamento baixas (0.1%).

B. Modelos de Linguagem (LLMs)

• Configuração: Testado em Gemma 2-2B e Llama 3.1 8B com backdoors simples, complexos (baseados em contexto) e explicitamente ofuscados.
• Desempenho:
  • Para backdoors ofuscados (projetados para enganar detectores baseados em espaço latente), os métodos de base (Mahalanobis, VAE, TED) falharam (AUROC próximo ao aleatório ou baixo).
  • O método proposto manteve AUROC > 0.98 (quase perfeito) em todos os tipos de backdoor, incluindo os ofuscados, demonstrando sua robustez contra ataques que manipulam ativações.

C. Detecção de Outros Patologias

• Exemplos Adversariais e OOD: O método conseguiu separar visualmente (via UMAP) amostras limpas, adversariais, backdoored e OOD em clusters distintos baseados em suas correlações funcionais.
• Múltiplos Mecanismos: Em um modelo com dois backdoors diferentes, o método conseguiu distinguir os dois comportamentos anômalos entre si e do comportamento normal.

5. Significado e Limitações

Significado:
Este trabalho estabelece a atribuição funcional como uma ferramenta eficaz e agnóstica à modalidade para detectar comportamentos anômalos em modelos implantados. Ao evitar a análise de espaço latente, o método oferece um sinal de detecção decorrelacionado, complementando defesas existentes e oferecendo resistência contra ataques de ofuscação que exploram a vulnerabilidade de métodos baseados em ativações. É um passo importante para garantir a confiabilidade de sistemas de IA em domínios de alto risco.

Limitações:

• Custo Computacional: O método é mais caro que métodos de espaço latente (que exigem apenas uma passagem direta). Requer múltiplas passagens diretas e cálculos de gradiente durante a amostragem SGLD (aprox. 0.12s por imagem em GPU H100 vs. 3ms para STRIP).
• Dependência de Dados de Confiança: Requer um conjunto de amostras de confiança onde se sabe que o mecanismo é normal. Embora o artigo mostre robustez a pequenas contaminações, a obtenção desse conjunto pode ser um desafio em alguns cenários.
• Hiperparâmetros: Ajustes de temperatura e força de localização na amostragem SGLD são necessários, embora o método seja estável em uma ampla faixa de valores.

Em resumo, o artigo propõe uma mudança de paradigma na segurança de ML: em vez de vigiar o que o modelo vê (ativações), vigia-se como o modelo processa (dependência funcional dos parâmetros), oferecendo uma defesa mais robusta contra ameaças internas sutis.