🤖 AI

Position: Explanation Stability Is a Property of the Model Method Pair, Not the Model

Este artigo de posição argumenta que a estabilidade da explicação não é uma propriedade intrínseca de um modelo, mas sim uma característica emergente do par modelo-método específico, necessitando de validação cruzada entre métodos para evitar alegações enganosas de segurança ou confiabilidade.

Autores originais: Kabilan Elangovan, Daniel Ting

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kabilan Elangovan, Daniel Ting

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descobrir por que um robô chef decidiu queimar sua torrada. Você pergunta ao robô: "Por que você fez isso?". Ele aponta um dedo brilhante para o pão. Mas aqui está o detalhe: o robô tem duas maneiras diferentes de apontar. Um jeito, vamos chamá-lo de "O Laser Pointer", destaca o ponto exato onde o pão estava mais quente. O outro, "O Spotlight", lança um feixe amplo sobre toda a torradeira, enfatizando a área geral. Se você usar apenas o Laser Pointer, pode pensar que o robô é muito consistente. Mas se você mudar para o Spotlight, o robo pode subitamente apontar para uma parte completamente diferente da cozinha! Este é o cerne de um problema crescente no mundo da Inteligência Artificial (IA), especificamente em um campo chamado IA Explicável (XAI).

No mundo da IA, construímos "modelos" (pense neles como cérebros digitais superinteligentes) para tomar decisões, como detectar doenças em imagens de raio-X. Mas esses modelos são frequentemente "caixas pretas" — sabemos o que entra e o que sai, mas não sempre sabemos como eles decidiram. Para corrigir isso, cientistas usam "métodos de atribuição". Essas são ferramentas que agem como canetas marca-texto, mostrando-nos quais partes de uma imagem (como uma mancha escura em um raio-X) foram mais importantes para a decisão da IA. Por muito tempo, pesquisadores assumiram que, se um modelo de IA fosse estável e confiável, seu marcador sempre apontaria para o mesmo lugar, não importa qual ferramenta você usasse para fazer o destaque. Este artigo argumenta que essa suposição está errada. Ele sugere que a "estabilidade" de uma explicação não é uma propriedade do próprio cérebro da IA, mas sim um resultado da ferramenta de destaque específica que você por acaso esteja usando. Se você mudar a ferramenta, a história que a IA conta pode mudar completamente, mesmo que a resposta final da IA permaneça a mesma.

A Grande Troca de Marcadores

Os autores deste artigo, Kabilan Elangovan e Daniel Ting, decidiram colocar essa ideia à prova com um experimento controlado usando raios-X de tórax. Eles pegaram três modelos famosos de IA — DenseNet201, ResNet50V2 e InceptionV3 — e os ensinaram a detectar cinco diferentes condições pulmonares, incluindo pneumonia e COVID-19. Eles treinaram esses modelos até que fossem incrivelmente bons em seu trabalho, alcançando uma taxa de sucesso (AUC) superior a 99% para os três. Em outras palavras, todos eram igualmente brilhantes em diagnosticar a doença.

Então veio a reviravolta. Os pesquisadores pediram que esses modelos explicassem por que fizeram seus diagnósticos usando duas ferramentas de destaque muito diferentes: LayerCAM e Grad-CAM++.

LayerCAM é como um microscópio de alta definição. Ele observa a imagem pixel por pixel, preservando detalhes finos e texturas locais.
Grad-CAM++ é mais como uma lente grande-angular. Ele observa o quadro geral, usando matemática complexa para pesar diferentes partes da imagem com base em sua importância global.

Os pesquisadores queriam ver: se eles ajustassem levemente os modelos (um processo chamado "ajuste fino" ou fine-tuning), os destaques permaneceriam constantes? Eles continuariam apontando para os mesmos pontos do pulmão?

A Reviravolta na Trama: Depende da Ferramenta

É aqui que a história fica selvagem. Os resultados mostraram que a "estabilidade" da explicação dependia inteiramente de qual ferramenta de destaque você usava. Era como pedir a três pessoas diferentes para descrever uma pintura; uma pessoa pode dizer: "Esta pintura é estável porque as cores não mudam", enquanto outra diz: "Não, as formas estão mudando drasticamente". Ambos podem estar certos, mas estão usando regras diferentes.

A Surpresa do InceptionV3: Quando os pesquisadores usaram o LayerCAM (o microscópio), o InceptionV3 pareceu o modelo mais estável. Ele manteve seu foco apertado, com uma pontuação de estabilidade (chamada IoU) de 0,777. Parecia o modelo de IA perfeito e confiável.
O Choque do Grad-CAM++: Mas quando eles trocaram para o Grad-CAM++ (a lente grande-angular), o InceptionV3 desmoronou. Sua pontuação de estabilidade caiu para 0,643, uma degradação massiva de 17,3%. De repente, o modelo que parecia tão constante era, na verdade, muito instável, apenas porque a ferramenta mudou.
O Herói DenseNet201: Por outro lado, o DenseNet201 foi a calma na tempestade. Quer eles usassem o microscópio ou a lente grande-angular, sua pontuação de estabilidade mal mudou. Foi de 0,699 para 0,690, uma variação minúscula de 1,3%. Este modelo parecia ter uma natureza "agnóstica ao método", o que significa que suas explicações permaneciam consistentes independentemente da ferramenta.
A Luta do ResNet50V2: O ResNet50V2 passou por um momento difícil. Começou com uma pontuação moderada de 0,519 sob o LayerCAM, mas despencou para 0,383 sob o Grad-CAM++. Era instável de qualquer maneira, mas a queda foi especialmente dramática.

A parte mais chocante? Todos os três modelos ainda estavam acertando o diagnóstico 99% das vezes. Suas "respostas" eram perfeitas, mas seus "motivos" estavam se movendo como castelos de areia ao vento, dependendo de qual ferramenta você usava para observá-los.

Por Que Isso Importa: A Armadilha da "Segurança Ilusória"

O artigo argumenta que esta descoberta quebra uma regra importante na forma como confiamos na IA. Atualmente, se um pesquisador diz: "Nosso modelo de IA é estável e confiável", ele frequentemente prova isso mostrando resultados de apenas uma ferramenta de destaque. Este artigo diz que isso é cientificamente inválido. É como alegar que um carro é "seguro" porque passou em um teste de colisão com um tipo específico de airbag, mas nunca testá-lo com um diferente.

Os autores apontam que, se você olhar apenas para o InceptionV3 através da lente do LayerCAM, poderá pensar que ele é a melhor escolha para um hospital. Mas se o hospital realmente usar o Grad-CAM++ (ou se o software atualizar e trocar de ferramenta), as explicações da IA podem se tornar pouco confiáveis, potencialmente induzindo médicos ao erro. O artigo sugere que a estabilidade da explicação não é um traço do próprio modelo, mas uma propriedade do par "Modelo + Método". Você não pode separar os dois.

A Lição: Verifique Suas Ferramentas

Então, o que devemos fazer? Os autores propõem algumas mudanças na forma como estudamos e regulamentamos a IA:

Não confie em uma única ferramenta: Pesquisadores nunca devem alegar que um modelo é "estável" a menos que tenham testado com pelo menos dois métodos de destaque diferentes. Se os resultados mudarem drasticamente, o modelo não é estável; ele é apenas sortudo com aquela ferramenta específica.
Os reguladores precisam ser específicos: Quando dispositivos médicos são aprovados por agências como a FDA, a ferramenta de destaque específica usada para gerar a explicação deve ser travada. Se um hospital mudar a ferramenta mais tarde, o dispositivo pode precisar de uma nova aprovação, porque o "motivo" que a IA fornece pode mudar.
Escolha a arquitetura certa: Se você está construindo uma IA médica, pode querer escolher um modelo como o DenseNet201, que parece manter sua posição diante de diferentes ferramentas, em vez do InceptionV3, que é frágil e depende fortemente do método específico usado.

Em suma, este artigo é um chamado de atenção. Ele nos diz que, no mundo da IA, a "verdade" de uma explicação não depende apenas do cérebro da IA; depende também dos óculos que usamos para olhá-la. Se quisermos confiar na IA em situações de vida ou morte, como na medicina, precisamos garantir que nossas explicações se sustentem, não importa quais óculos coloquemos.

Resumo Técnico: A Estabilidade da Explicação é uma Propriedade do Par Modelo–Método, Não do Modelo

Definição do Problema
O artigo argumenta que as atuais alegações de "estabilidade de explicação" em IA Explicável (XAI) são cientificamente inválidas quando derivadas de avaliações de método único. Assim como a significância estatística exige a especificação de uma estatística de teste, a estabilidade da explicação deve ser delimitada ao método de atribuição específico utilizado. Os autores postulam que a estabilidade não é uma propriedade intrínseca de um modelo de aprendizado de máquina, mas uma propriedade emergente da interação entre a arquitetura do modelo e o método de atribuição. Sem a validação cruzada de métodos, os pesquisadores correm o risco de confundir comportamentos específicos do método com comportamentos do modelo, levando a garantias de segurança ilusórias em domínios críticos, como o diagnóstico por imagem médica.

Metodologia
Para demonstrar essa dependência de método, os autores realizaram experimentos controlados em classificação de radiografias de tórax envolvendo cinco classes (Normal, Pneumonia, Tuberculose, COVID-19, Opacidade Pulmonar).

Arquiteturas: Três modelos pré-treinados no ImageNet foram avaliados: DenseNet201, ResNet50V2 e InceptionV3.
Protocolo de Treinamento: Os modelos passaram por um processo de treinamento de duas fases: transferência de aprendizado (épocas 1–10, backbone congelado) e ajuste fino/fine-tuning (épocas 11–20, camadas descongeladas).
Métodos de Atribuição: Dois métodos de atribuição baseados em gradiente com objetivos matemáticos distintos foram aplicados às camadas convolucionais penúltimas:
- LayerCAM: Utiliza gradientes por pixel para preservar detalhes espaciais finos.
- Grad-CAM++: Incorpora gradientes de ordem superior com ponderação adaptativa para localização de múltiplas instâncias.
Controles Experimentais:
- Análise de Deriva Semântica: O estudo comparou mapas de atribuição da época 8 (platô da transferência de aprendizado) e da época 19 (convergência do ajuste fino) para quantificar a evolução da explicação.
- Filtragem de Verdadeiros Positivos: Para isolar a evolução da explicação da mudança na qualidade da predição, a análise foi restrita a amostras classificadas corretamente por todas as três arquiteturas em ambas as fases de treinamento (2.430 amostras).
- Métricas: As mudanças na explicação foram quantificadas usando Sobreposição IoU (primária), Deslocamento Espacial, Correlação de Padrão e Mudança de Concentração. Os resultados foram ponderados pela frequência inversa da classe para abordar o severo desequilíbrio de classes.

Resultos Principais
Os experimentos revelaram que a escolha do método de atribuição inverte completamente os rankings de estabilidade percebidos das arquiteturas, apesar de todos os modelos atingirem desempenho preditivo equivalente (AUC >99%) após o ajuste fino.

Rankings Dependentes de Método:
- Sob LayerCAM: A InceptionV3 demonstrou estabilidade superior (IoU = 0,777), superando a DenseNet201 (0,699) e a ResNet50V2 (0,519).
- Sob Grad-CAM++: O ranking se inverteu. A DenseNet201 tornou-se a mais estável (IoU = 0,690), enquanto a InceptionV3 caiu significativamente (0,643), e a ResNet50V2 exibiu uma degradação catastrófica (0,383).
Robustez Cruzada de Métodos:
- DenseNet201: Mostrou estabilidade agnóstica ao método, com apenas 1,3% de variação no IoU entre os métodos, sugerindo que a conectividade densa promove uma evolução coerente da explicação.
- InceptionV3: Exibiu uma degradação de 17,3% na estabilidade ao mudar de LayerCAM para Grad-CAM++, indicando que seus caminhos multiescala produzem ativações locais estáveis, mas interações entre escalas voláteis.
- ResNet50V2: Demonstrou instabilidade universal em ambos os métodos, com uma degradação cruzada de método de 26,2%, sugerindo que os atalhos residuais permitem uma reorganização dramática sem coerência estrutural.
Significância Estatística: Todas as comparações de arquitetura atingiram $p < 0,001$ . A diferença cruzada de método da InceptionV3 mostrou um tamanho de efeito grande (Cohen's $d = 1,47$ ).

Principais Contribuições

Demonstração Empírica da Dependência de Método: O artigo fornece evidência controlada de que os rankings de estabilidade de explicação não são traços fixos do modelo, mas dependem inteiramente do operador de atribuição utilizado.
Filtragem de Verdadeiros Positivos: Ao filtrar amostras onde as predições permaneceram corretas, os autores isolaram a evolução da explicação da correção de erros, provando que a instabilidade surge da reorganização da representação interna mesmo quando a precisão é mantida.
Análise de Mecanismo Arquitetural: O estudo vincula características arquiteturais específicas (conectividade densa, caminhos multiescala, atalhos residuais) à sua suscetibilidade a variações de estabilidade dependentes de método.

Significância e Alegações
O artigo afirma que o campo não pode justificar alegações gerais de estabilidade de explicação a partir de avaliações de método único. Os autores argumentam que:

Estabilidade é uma Propriedmente do Par: A estabilidade da explicação é uma propriedade emergente do par modelo–método, não um traço intrínseco do modelo.
Necessidade Regulatória: Submissões regulatórias para IA médica devem especificar explicitamente o operador de atribuição. Alegações de segurança ou confiabilidade baseadas em um único método são insuficientes e potencialmente enganosas.
Reforma de Avaliação: Benchmarks e pesquisas de XAI devem adotar a validação cruzada de métodos. Relatar resultados sob apenas um paradigma (ex: LayerCAM) cria uma falsa sensação de robustez, como demonstrado pela alta estabilidade da InceptionV3 sob LayerCAM mascarando sua fragilidade sob Grad-CAM++.
Seleção Arquitetural: Para implementações críticas à explicação, as arquiteturas devem ser selecionadas com base na robustez cruzada de métodos (ex: DenseNet201) em vez de apenas na precisão preditiva, uma vez que a precisão equivalente pode mascarar diferenças fundamentais na confiabilidade da explicação.

Os autores concluem que as alegações baseadas em explicações exigem o mesmo rigor metodológico que a avaliação preditiva, necessitando de condicionamento explícito ao paradigma de atribuição utilizado.

A Grande Troca de Marcadores

A Reviravolta na Trama: Depende da Ferramenta

Por Que Isso Importa: A Armadilha da "Segurança Ilusória"

A Lição: Verifique Suas Ferramentas

Resumo Técnico: A Estabilidade da Explicação é uma Propriedade do Par Modelo–Método, Não do Modelo

Mais como este