Resumo Técnico: Autoencoders Esparsos para Detecção de Fora da Distribuição Interpretável

Declaração do Problema

Modelos de aprendizado de máquina, particularmente redes neurais profundas (DNNs), operam sob a premissa de que os dados em tempo de teste seguem a mesma distribuição dos dados de treinamento. Quando essa premissa é violada (Fora da Distribuição ou OOD - Out-of-Distribution), os modelos frequentemente produzem previsões excessivamente confiantes e incorretas. Os métodos existentes de detecção de OOD sofrem de duas limitações primárias:

1. Dependência das Camadas Finais: A maioria dos métodos utiliza apenas as representações das camadas finais (ex: logits ou embeddings), negligenciando a rica informação hierárquica presente nas camadas intermediárias da rede. Conforme demonstrado no artigo, as estruturas discriminativas que distinguem entradas ID (Dentro da Distribuição) de OOD aparecem em camadas anteriores, mas tornam-se obscurecidas ou comprimidas nas representações finais.
2. Falta de Interpretabilidade: Mesmo quando os escores de detecção são eficazes, eles tipicamente oferecem pouca compreensão sobre o porquê de uma amostra ser OOD ou quais representações internas distinguem entradas ID de OOD. Isso dificulta o diagnóstico de se os desvios de distribuição derivam de corrupções visuais de baixo nível ou de incompatibilidades semânticas de alto nível.

Metodologia: SAID

Os autores propõem o SAID (Sparse Autoencoders for Interpretable Detection), um framework de detecção de OOD post-hoc que utiliza Autoencoders Esparsos (SAEs) treinados em ativações intermediárias de um modelo de visão pré-treinado congelado.

1. Treinamento de SAE em Camadas Intermediárias

O SAID treina SAEs separados nas ativações de características intermediárias ($a = f_l(x)$) de camadas $l$ selecionadas de um modelo de base (backbone) congelado (ex: ViT ou ResNet).

• Arquitetura: Os autores utilizam Top-k SAEs, que impõem esparsidade ao zerar explicitamente todas as dimensões latentes, exceto as $k$ mais ativas. Isso evita a necessidade de uma penalidade de esparsidade L1 na função de perda.
• Objetivo: Os SAEs são treinados para minimizar o Erro Quadrático Médio (MSE) entre a ativação de entrada e a ativação reconstruída ($D(E(a)) \approx a$).
• Interpretabilidade: A restrição de esparsidade incentiva as características aprendidas a serem "monossemânticas", onde cada característica ativa corresponde a um conceito distinto e interpretável por humanos.

2. Pontuação de OOD Baseada em Similaridade

No tempo de inferência, o SAID compara a codificação esparsa de uma amostra de teste contra a distribuição aprendida das classes In-Distribution (ID):

1. Construção de Protótipos: Para cada classe ID $c$ e cada camada $l$, a média da codificação latente $\mu_{c,l}$ é computada e armazenada a partir do conjunto de treinamento.
2. Codificação: Para uma entrada de teste $x$, o classificador pré-treinado prevê uma classe $\hat{c}$. O SAE para cada camada $l$ codifica a ativação intermediária de $x$ em um vetor esparso $z_l$.
3. Pontuação: Um escore de OOD específico da camada $s_l(x)$ é calculado como a similaridade de cosseno entre $z_l$ e a codificação média da classe prevista $\mu_{\hat{c},l}$.
4. Agregação: O escore de OOD final $S(x)$ é a média das similaridades de cosseno através de todas as camadas selecionadas.
5. Decisão: Amostras com $S(x) \geq \tau$ são classificadas como ID; caso contrário, são OOD.

3. Anotação de Conceitos via VLM

Para fornecer interpretabilidade, os autores empregam um Modelo de Linguagem-Visão (VLM, especificamente GPT-5.5) para anotar as características latentes do SAE.

• Para cada característica latente, as 25 melhores imagens ID que a ativam mais fortemente são recuperadas.
• Essas imagens são passadas ao VLM com um prompt para descrever os padrões visuais compartilhados, gerando um rótulo de conceito legível por humanos (ex: "Pelagem cinza", "Asas").
• Isso permite a análise de se as entradas ID e OOD ativam conceitos semanticamente consistentes.

Principais Contribuições

1. Framework de Detecção Inovador: Introdução do SAID, um método post-hoc que utiliza codificações de SAE de camadas intermediárias para melhorar o desempenho da detecção de OOD.
2. Demonstração da Utilidade das Camadas Intermediárias: Evidência empírica mostrando que as camadas intermediárias contêm informações discriminativas que frequentemente se perdem nas representações de camada final, levando a uma melhor detecção tanto em desvios semânticos quanto de covariável.
3. Interpretabilidade e Diagnóstico: O uso de rótulos de conceitos derivados de SAE como uma ferramenta de diagnóstico. Os autores mostram que as entradas ID ativam conceitos que são semanticamente consistentes com a imagem, enquanto as entradas OOD ativam conceitos inconsistentes ou incompatíveis, fornecendo uma visão camada por camada dos desvios de distribuição.

Resultados Experimentais

O método foi avaliado no ImageNet-1K (ID) contra vários conjuntos de dados OOD (SSB-Hard, NINCO, ImageNet-C, ImageNet-R, etc.) usando backbones ViT-B/16 e ResNet-50.

• Desempenho: O SAID alcança o estado da arte (SOTA) em desempenho médio em ambos os benchmarks de desvio semântico e de covariável.
  • No backbone ViT, o SAID alcançou o melhor AUROC médio para ambos os tipos de desvio (ex: 92,4% de AUROC em desvio semântico, 83,5% em desvio de covariável), superando baselines como VIM, RMDS e KNN.
  • No ResNet-50, o SAID também alcançou o maior AUROC médio, embora a margem sobre os métodos existentes tenha sido menor.
• Impacto das Camadas Intermediárias: Estudos de ablação confirmaram que adicionar SAEs de camadas intermediárias melhora consistentemente o AUROC em comparação com o uso apenas da camada final. A camada mais informativa varia conforme o dataset (ex: camadas iniciais para desvios de textura/covariável, camadas posteriores para desvios semânticos), justificando a estratégia de agregação.
• Análise de Conceito: A análise quantitativa mostrou que as amostras ID exibem maior "concordância de conceito" (fração de conceitos ativados semanticamente consistentes com a imagem) do que as amostras OOD. Essa lacuna é particularmente pronunciada em camadas posteriores, sugerindo que os desvios de distribuição são altamente visíveis em representações de conceitos de alto nível.

Significância e Limitações

Significância:
O artigo argumenta que o SAID oferece um benefício duplo: melhora a precisão da detecção ao aproveitar a informação distribuída por toda a hierarquia da rede e fornece um mecanismo para interpretar como os desvios de distribuição afetam as representações aprendidas. Ao ir além dos logits de "caixa preta" para características esparsas baseadas em conceitos, o SAID permite que profissionais diagnostiquem se um modelo está falhando devido a corrupções de baixo nível ou incompatibilidades semânticas de alto nível.

Limitações:
Os autores reconhecem várias restrições:

• Escopo de Domínio: A avaliação é atualmente limitada ao domínio da visão.
• Esparsidade Fixa: O uso de uma restrição de esparsidade fixa-$k$ assume um número constante de características ativas por entrada, o que pode não se adaptar à complexidade variável de diferentes pontos de dados.
• Custo Computacional: Treinar SAEs de alta capacidade para múltiplas camadas intermediárias é intensivo em recursos, o que pode limitar a aplicabilidade em modelos extremamente grandes ou ambientes com restrição de recursos.