Uncertainty-Aware Subset Selection for Robust Visual Explainability under Distribution Shifts

Este artigo apresenta um novo framework que combina seleção de subconjuntos submodulares com estimativa de incerteza baseada em gradientes para melhorar a robustez e a fidelidade da explicabilidade visual sob mudanças de distribuição, superando as limitações dos métodos existentes em cenários fora da distribuição (OOD) e também em cenários dentro da distribuição (ID).

O essencial

Imagine que você tem um detetive de inteligência artificial (uma rede neural) que é muito bom em identificar coisas em fotos. Se você mostrar a ele uma foto de um pássaro comum, ele diz: "É um pardal!" e aponta para o bico e as asas. Isso é fácil.

Mas o que acontece se você mostrar uma foto de um pássaro estranho, que ele nunca viu antes, ou uma foto borrada, ou de um animal que nem é pássaro? O detetive pode começar a alucinar. Ele pode dizer "É um pardal!" (mesmo sendo um cachorro) e apontar para a grama ao fundo ou para uma mancha aleatória na foto.

O problema é que os métodos atuais de "explicação" (que tentam mostrar por que o detetive tomou aquela decisão) falham feio nessas situações estranhas. Eles continuam apontando para coisas erradas, como se estivessem cegos para o fato de que a situação mudou.

A Solução: O "Detetive Cético"

Os autores deste paper criaram um novo método chamado Seleção de Subconjunto Consciente da Incerteza. Vamos traduzir isso para uma analogia do dia a dia:

1. O Problema: O Detetive Confiante demais

Imagine que o detetive atual é como um turista que visitou Paris apenas uma vez. Se você mostrar a ele uma foto de Paris em um dia de chuva (algo diferente do que ele viu), ele ainda vai apontar para a Torre Eiffel com 100% de certeza, mesmo que a foto esteja borrada ou seja de um parque diferente. Ele não sabe que está "fora de casa" (fora da distribuição de dados). Quando ele erra, a explicação dele é inútil e confusa.

2. A Ideia: Testar a "Sanidade" do Detetive

Os autores propuseram uma ideia genial: antes de confiar na explicação, vamos testar o detetive.

Eles criaram um processo onde perturbam levemente a "mente" do detetive (os pesos da rede neural) várias vezes, como se estivessem dando pequenos "empurrões" ou "tremores" na sua lógica.

• Se o detetive for estável: Mesmo com os empurrões, ele continua apontando para o bico do pássaro. Isso significa que a explicação é sólida.
• Se o detetive for instável: Com o mínimo empurrão, ele começa a apontar para a grama, depois para o céu, depois para o bico. Isso é um sinal de incerteza. O sistema percebe: "Ei, essa região da foto é confusa para mim".

3. A Seleção Inteligente (O Filtro de Qualidade)

Agora, em vez de escolher as regiões da foto baseadas apenas no que o detetive acha que é importante, o novo método usa essa medida de incerteza como um filtro.

Imagine que você está montando uma equipe para um projeto.

• Método antigo: Escolhe os membros que gritam mais alto ("Eu sei! É o bico!").
• Método novo: Escolhe os membros que, mesmo quando você os questiona ou muda o cenário, continuam dando a mesma resposta lógica. Se um membro começa a gaguejar e mudar de ideia quando você o "perturba", o novo método o ignora.

Isso é feito usando uma técnica matemática chamada otimização submodular. Pense nisso como um jogo de "juntar as melhores peças do quebra-cabeça" onde você só aceita uma peça se ela for:

1. Única (não repetida).
2. Estável (não muda de ideia quando testada).
3. Informativa (ajuda a entender a imagem).

Por que isso é importante?

• Segurança: Em carros autônomos ou diagnósticos médicos, não podemos confiar em explicações que mudam de um segundo para o outro. Se o carro diz "pare porque há um pedestre", mas a explicação muda para "pare porque há uma sombra" quando a luz muda, é perigoso.
• Confiança: O novo método funciona bem tanto em fotos normais (onde os outros já funcionavam) quanto em fotos estranhas, borradas ou de objetos desconhecidos. Ele evita que o sistema "alucine" explicações.
• Leveza: A mágica é que eles não precisam re-treinar o detetive ou adicionar um novo "cérebro" para calcular isso. Eles apenas fazem o detetive existente "pensar um pouco mais" (fazer pequenas perturbações) antes de dar a resposta.

Resumo da Ópera

O papel mostra que, quando a inteligência artificial encontra situações estranhas (dados fora da distribuição), as explicações antigas viram bagunça. A solução proposta é fazer o sistema duvidar de si mesmo de forma controlada. Ao medir o quanto a explicação "treme" quando o sistema é levemente perturbado, conseguimos filtrar as explicações ruins e manter apenas as que são sólidas, estáveis e realmente úteis, mesmo quando o mundo lá fora muda de repente.

É como ter um detector de mentiras embutido nas explicações da IA: se a explicação não aguenta um pequeno teste de estresse, ela é descartada.

Resumo técnico

Resumo Técnico: Seleção de Subconjuntos Consciente da Incerteza para Explicabilidade Visual Robusta sob Deslocamentos de Distribuição

1. O Problema

Os métodos de explicação visual baseados em seleção de subconjuntos (subset selection) são amplamente utilizados para atribuir previsões de modelos de visão profunda, destacando as regiões mais influentes de uma imagem. Embora esses métodos funcionem bem em cenários de distribuição in-distribution (ID), o artigo demonstra que sua confiabilidade degrada-se drasticamente sob condições de distribuição out-of-distribution (OOD).

As principais falhas identificadas em cenários OOD incluem:

• Redundância e Instabilidade: Os métodos existentes tendem a selecionar regiões redundantes ou fragmentadas.
• Sensibilidade à Incerteza: As explicações tornam-se instáveis e mudam abruptamente sob pequenas perturbações de imagem ou pesos.
• Falha de Generalização: Em dados OOD (como imagens com ruído, classes não vistas ou domínios relacionados), os mapas de saliência falham em destacar características semânticas relevantes (ex.: um modelo que identifica "gato" pode falhar em destacar orelhas e bigodes em uma imagem OOD, focando em fundos irrelevantes).

O desafio central é criar um framework de atribuição que seja robusto a deslocamentos de distribuição sem exigir treinamento adicional ou modelos auxiliares complexos.

2. Metodologia Proposta

Os autores propõem um framework leve que combina otimização submodular com estimativa de incerteza baseada em gradientes e perturbações adaptativas de pesos. O objetivo é priorizar regiões de imagem que sejam estáveis e informativas, mesmo sob deslocamento de distribuição.

Componentes Principais:

• Estimativa de Incerteza Adaptativa (Score de Confiança $s_{conf}$):

  • Em vez de depender de probabilidades de softmax (que falham em OOD), o método estima a incerteza epistêmica simulando um ensemble de modelos no espaço de pesos.
  • Perturbação de Pesos: Adiciona ruído gaussiano aos pesos da rede ($\theta$) durante a inferência.
  • Modulação Adaptativa: O ruído não é fixo; é escalado dinamicamente com base nas estatísticas da camada ($\sigma_\ell$) e na distância da entrada em relação ao centróide dos dados de treinamento. Isso permite perturbações mais fortes em camadas profundas para dados OOD e mais suaves em camadas rasas para evitar ruído irrelevante.
  • Cálculo do Score: Calcula-se a norma do gradiente da saída em relação às perturbações ao longo de várias passagens estocásticas. Uma distância de Mahalanobis regularizada é usada para quantificar o quão "atípico" é o descritor de sensibilidade da amostra em relação aos dados de treinamento. Um score de confiança é derivado como $s_{conf} = 1 - \text{incerteza}$.

• Funções Objetivo Submodulares Conscientes da Incerteza:
  O problema de explicação é formulado como a maximização de uma função submodular $F(S)$ sobre um subconjunto de regiões $S$. O artigo define duas funções para diferentes tarefas:

  1. Atribuição Visual Robusta ($F_{attr}$): Baseada no trabalho de Chen et al., mas substituindo o termo de confiança original pelo novo score baseado em gradientes. Combina pontuações de Eficácia, Consistência, Colaboração e a nova Confiança.
  2. Interpretação de Nível de Objeto ($F_{obj}$): Adaptada para modelos fundacionais (ex.: GroundingDINO), integrando o score de confiança ao método Visual Precision Search (VPS), combinando pontuações de "Dica" (Clue) e Colaboração.

• Otimização Gananciosa (Greedy):
  Devido à submodularidade das funções, um algoritmo ganancioso é utilizado para selecionar iterativamente as regiões que oferecem a maior contribuição marginal, garantindo uma solução próxima do ótimo com complexidade computacional viável.

3. Contribuições Chave

1. Evidência Empírica de Falha: Demonstração rigorosa de que os métodos atuais de seleção de subconjuntos sofrem degradação severa (queda de até 40% nos scores) em cenários OOD, revelando uma lacuna crítica de robustez.
2. Framework de Atribuição Unificado: Proposta de um novo método que integra otimização submodular com estimativa de incerteza derivada de perturbações de pesos, sem necessidade de retreinamento ou modelos auxiliares.
3. Leveza e Generalização: O método opera apenas sobre o modelo base (fine-tuned), sendo adaptável a diferentes arquiteturas e tarefas (classificação e detecção de objetos).
4. Melhoria Dual: O método não apenas fecha a lacuna de robustez em dados OOD, mas também melhora a fidelidade da atribuição em cenários de distribuição in-distribution (ID).

4. Resultados Experimentais

Os experimentos foram conduzidos em dois cenários principais:

• Classificação de Espécies de Pássaros (CUB-200-2011): Comparado com métodos baseados em HSIC e seleção submodular (SMDL).
  • Desempenho OOD: O método proposto superou consistentemente os baselines em todos os tipos de deslocamento (Relacionado, Complementar e Transformado).
  • Métricas: Houve aumentos significativos no Insertion AUC (ex.: +13.7% em NABirds com SEEDS) e reduções no Deletion AUC, indicando explicações mais precisas e estáveis.
• Detecção de Objetos (COCO com GroundingDINO): Comparado com o método Visual Precision Search (VPS).
  • Ganhos Dramáticos: Em dados OOD relacionados (CIFAR-100), o método mais que dobrou o Insertion AUC (+80% com SEEDS).
  • Qualidade Visual: As explicações geradas focaram em características semânticas coerentes (ex.: partes do objeto), enquanto os baselines selecionavam regiões fragmentadas ou de fundo.

Tabela de Resumo de Desempenho (Exemplo CUB):

• ID (CUB): Melhoria de +1.7% a +5.0% no Insertion AUC.
• OOD (NABirds): Melhoria de +6.2% a +13.7% no Insertion AUC.
• OOD (CIFAR-100): Melhoria de +10.1% a +12.3% no Insertion AUC.

5. Significado e Conclusão

Este trabalho é significativo porque aborda a fragilidade das explicações de IA em cenários do mundo real, onde os dados raramente seguem perfeitamente a distribuição de treinamento. Ao integrar a estimativa de incerteza diretamente no processo de seleção de subconjuntos, os autores criam um mecanismo de "segurança" que penaliza regiões instáveis e prioriza evidências robustas.

A abordagem é plug-and-play, não requerendo re-treinamento, o que a torna altamente prática para aplicações críticas como diagnóstico médico e veículos autônomos, onde a confiança na explicação é tão importante quanto a precisão da previsão. O estudo estabelece que a otimização guiada por incerteza é fundamental para tornar a IA interpretável e confiável sob deslocamentos de distribuição.