Resumo Técnico: A Escala de Modelos de Visão Não Melhora Consistentemente a Qualidade de Explicações Baseadas em Localização

Declaração do Problema

Enquanto os modelos de inteligência artificial são cada vez mais escalados para aprimorar a precisão preditiva, permanece incerto se o aumento da profundidade do modelo e da contagem de parâmetros melhora a qualidade das explicações post-hoc. Em domínios críticos para a segurança, como saúde e finanças, a transparência é primordial; no entanto, redes neurais profundas (CNNs e Vision Transformers) frequentemente funcionam como "caixas pretas". Uma suposição predominante sugere que modelos maiores aprendem características com estrutura semântica mais forte, potencialmente gerando explicações que se alinham melhor com interpretações humanas. Este estudo desafia essa suposição ao investigar se a escala da profundidade arquitetônica e da contagem de parâmetros leva consistentemente a explicações visuais de maior qualidade, especificamente quanto à sua capacidade de localizar regiões relevantes da imagem.

Metodologia

Os autores conduziram uma avaliação empírica abrangente envolvendo 11 modelos de visão computacional em três famílias distintas: ResNet, DenseNet e Vision Transformers (ViT). Os modelos variaram em profundidade e complexidade, indo de ResNet-18 a ResNet-101, DenseNet-121 a DenseNet-201, e ViT-B/16 a ViT-L/16. O estudo incluiu tanto modelos treinados do zero quanto aqueles que utilizaram pesos pré-treinados (ImageNet-1k, CheXpert, ImageNet-21k).

Conjuntos de Dados:
Os experimentos foram realizados em três conjuntos de dados com máscaras de segmentação de verdade fundamental (ground-truth):

1. COVID-QU-Ex: Radiografias de tórax para detecção de COVID-19.
2. Oxford-IIIT Pet: Imagens de animais para localização de objetos.
3. Chest X Pneumothorax: Radiografias de tórax para detecção de pneumotórax.

Métodos de IA Explicável (XAI):
Cinco métodos de explicação post-hoc foram aplicados para gerar mapas de saliência:

• Mapas de Saliência
• GradientSHAP
• Integrated Gradients
• Permutação de Características
• Grad-CAM (adaptado para ViTs)

Métricas de Avaliação:
A qualidade da explicação foi quantificada medindo o alinhamento entre os mapas de atribuição gerados e as máscaras de verdade fundamental, utilizando duas métricas:

1. Precisão de Classificação de Relevância (RRA): Mede a fração dos pixels de atribuição de maior classificação que caem dentro da máscara de verdade fundamental.
2. Precisão de Dupla Polaridade (DPP): Uma métrica nova proposta pelos autores. Diferentemente de avaliações baseadas apenas na magnitude, o DPP mede explicitamente a precisão espacial tanto das atribuições positivas (evidências de suporte dentro da máscara) quanto das atribuições negativas (contra-evidências fora da máscara). Ele penaliza atribuições contraditórias ou ruído de fundo.

Análise Estatística:
O estudo empregou testes H de Kruskal-Wallis e testes U de Mann-Whitney com correção de Benjamini-Hochberg para avaliar a significância estatística entre escalas de modelos e regimes de pré-treinamento. A fidelidade foi ainda avaliada por meio de verificações de sanidade envolvendo randomização de pesos nível a nível e permutação de pixels de entrada.

Principais Contribuições

1. Avaliação Sistemática de Escala: Os autores examinaram a relação entre complexidade do modelo (contagem de parâmetros) e desempenho de classificação em 11 arquiteturas e três conjuntos de dados.
2. Quantificação dos Efeitos de Pré-treinamento: O estudo quantificou como o pré-treinamento influencia a qualidade da explicação XAI, comparando modelos treinados do zero com suas contrapartes pré-treinadas.
3. Introdução da Precisão de Dupla Polaridade (DPP): O artigo introduz o DPP para abordar limitações em métricas existentes, avaliando a precisão espacial de atribuições positivas e negativas, garantindo que explicações sejam penalizadas por ruído de fundo contraditório.
4. Evidência Empírica de Divergência: O estudo fornece evidências de que o desempenho preditivo e a qualidade da explicação podem divergir, notando cenários onde modelos alcançam alta precisão, mas precisão de localização próxima de zero.

Resultados

Escala do Modelo e Qualidade da Explicação:
Em todos os conjuntos de dados e métodos XAI, o aumento da profundidade arquitetônica e da contagem de parâmetros não melhorou consistentemente a qualidade da explicação.

• Em comparações estatísticas, modelos maiores (por exemplo, ResNet-101, DenseNet-201, ViT-L/16) não superaram sistematicamente variantes menores (por exemplo, ResNet-18, DenseNet-121, ViT-B/16).
• Em casos onde diferenças significativas foram encontradas, modelos menores igualaram ou superaram o desempenho de modelos maiores em 34% das comparações, enquanto o maior modelo alcançou a pontuação mais alta em apenas 12%.
• Os tamanhos de efeito para diferenças relacionadas à escala foram tipicamente negligenciáveis a pequenos.

Impacto do Pré-treinamento:
O pré-treinamento geralmente melhorou o desempenho preditivo, mas não aumentou consistentemente as pontuações de localização (RRA ou DPP).

• Embora modelos pré-treinados mostrassem maior dependência de pesos aprendidos (indicado por maior degradação sob randomização de camadas) e maior sensibilidade à estrutura de entrada, isso não se traduziu em um ganho sistemático nas métricas de localização.
• Em muitas comparações significativas, modelos treinados do zero performaram tão bem ou melhor do que modelos pré-treinados.

Desempenho Preditivo vs. Qualidade da Explicação:
Uma descoberta crítica foi o desacoplamento entre precisão e interpretabilidade. No conjunto de dados Chest X Pneumothorax, os modelos alcançaram desempenho de classificação razoável (AUC ~0,77–0,87) enquanto produziam pontuações de localização próximas de zero. Isso sugere que alta precisão pode ser alcançada ao confiar em correlações espúrias ou artefatos de aquisição, em vez das regiões anatômicas anotadas.

Verificações de Sanidade:

• Randomização de Camadas: Modelos mais profundos e, especialmente, pré-treinados mostraram maior degradação quando os pesos foram randomizados, indicando uma dependência mais forte de parâmetros aprendidos em vez de apenas da estrutura da rede.
• Randomização de Entrada: A maioria dos métodos baseados em gradiente mostrou baixa sensibilidade à embaralhamento de pixels, embora o Grad-CAM tenha exibido desvios maiores. Modelos pré-treinados geralmente mostraram maior sensibilidade a mudanças na estrutura de entrada em comparação com modelos treinados do zero.

Significado e Alegações

O artigo conclui que modelos maiores não fornecem consistentemente explicações de maior qualidade. A suposição de que escalar modelos melhora inerentemente o alinhamento semântico dos mapas de saliência não é apoiada pelos dados. Em vez disso, modelos menores frequentemente fornecem explicações que se alinham tão bem quanto, ou melhor do que, suas contrapartes mais profundas.

Os autores argumentam que a explicabilidade deve ser avaliada explicitamente durante a seleção do modelo, particularmente para implantações sensíveis à segurança. Confiar apenas na precisão preditiva é insuficiente, pois os modelos podem alcançar alto desempenho enquanto falham em localizar as regiões de interesse pretendidas. A introdução da Precisão de Dupla Polaridade (DPP) oferece uma maneira mais rigorosa de avaliar essas explicações, levando em conta tanto evidências de suporte quanto contra-evidências.

O estudo enfatiza que os procedimentos de seleção de modelos devem considerar custos computacionais e requisitos operacionais juntamente com o desempenho, pois modelos menores podem oferecer qualidade de explicação comparável com demandas de recursos significativamente menores. As descobertas sugerem que, em configurações superparametrizadas, a precisão preditiva e a interpretabilidade podem divergir, tornando necessária uma avaliação explícita da fidelidade da explicação, em vez de assumir que ela melhora com a escala.