🤖 machine learning

Inpainting Insights: Elevating Visual XAI with Photorealistic Perturbations

Este artigo propõe o aprimoramento do método de explicabilidade LIME ao substituir as perturbações tradicionais baseadas em pixels por inpainting generativo para produzir amostras fotorrealistas e dentro da distribuição que melhoram significativamente a qualidade e a confiabilidade das explicações visuais para modelos de aprendizado de máquina.

Autores originais: Josef Lindl, Mariana Chaves, Damien Garreau

Publicado 2026-07-20

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Josef Lindl, Mariana Chaves, Damien Garreau

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descobrir como um robô superinteligente vê o mundo. Você pergunta a ele: "O que faz esta foto parecer um cachorro?" e ele responde: "As orelhas!". Mas como você sabe que ele não está apenas chutando por causa de uma sombra estranha ou de uma cor específica? Este é o mundo da IA Explicável (XAI). É o campo dedicado a espiar dentro da "caixa preta" da inteligência artificial para ver o que realmente está acontecendo. Uma maneira popular de fazer isso é chamada de perturbação. Pense nisso como jogar um jogo de "E se?" com uma foto. Você cobre partes da imagem — talvez as orelhas ou a cauda do cachorro — e pergunta ao robô: "Ele ainda acha que isso é um cachorro?". Se o robô subitamente parar de reconhecer o cachorro quando você cobre as orelhas, você sabe que as orelhas são importantes.

No entanto, há uma pegadinha. Se você apenas cobrir as orelhas com um grande e feio quadrado cinza, você não está realmente testando a compreensão do robô sobre um cachorro; você está testando a reação dele a um enorme bloco cinza. O robô pode ficar confuso com o quadrado estranho e não natural, dando a você uma resposta errada sobre o que é importante. Este artigo aborda esse problema. Ele sugere que, em vez de usar quadrados cinzas chatos e falsos para esconder partes de uma imagem, devemos usar um "apagador mágico" que preenche os espaços vazios com detalhes fotorrealistas que parecem pertencer ao local. Dessa forma, o robô só ficará confuso pela ausência do objeto, e não por um artefato estranho, proporcionando-nos uma resposta muito mais clara sobre o que ele está realmente observando.

O Problema: Quadrados Feios e Robôs Confusos

No mundo da visão computacional, os modelos de IA estão ficando incrivelmente bons em detectar coisas, mas também estão ficando mais difíceis de entender. Para corrigir isso, pesquisadores usam ferramentas como o LIME (Explicações Locais Interpretáveis Agnósticas ao Modelo). O LIME funciona pegando uma imagem, cortando-a em pequenos pedaços de quebra-cabeça chamados "superpixels", e depois escondendo alguns desses pedaços para ver como a previsão da IA muda.

A maneira tradicional de esconder uma peça é pintá-la com uma cor sólida, como cinza ou preto. Os autores deste artigo argumentam que isso é um pouco como tentar testar a habilidade de um chef de reconhecer um bolo substituindo a cobertura por um bloco de concreto. O concreto não faz parte do bolo e não parece nada natural. Quando a IA vê este "concreto", ela pode entrar em pânico e fazer uma previsão que nada tem a ver com o bolo, levando a uma explicação confusa.

O artigo mostra que esses "quadrados feios" (oclusão determinística) frequentemente falham. Por exemplo, em um teste com uma imagem de um curativo (band-aid), os métodos padrão usando quadrados cinzas ou outras substituições de cores simples perderam completamente o curativo como a parte mais importante da imagem. Eles foram distraídos demais pelos blocos cinzas não naturais que criaram.

A Solução: O Truque da "Inpainting Mágica"

Para resolver isso, os autores introduzem um novo método chamado LILI (Leveraging Inpainting for Local Interpretability). Em vez de pintar as peças ocultas com tinta cinza, o LILI usa um modelo de IA generativa chamado LaMa para fazer o "inpainting" da imagem.

Pense no inpainting como um artista muito talentoso que consegue olhar para um buraco em uma foto e pintar exatamente o que deveria estar lá com base no entorno. Se você esconder um curativo, o LaMa não coloca um quadrado cinza; ele pinta um remendo de pele que parece exatamente com a pele ao redor do curativo. Isso cria uma "perturbação fotorrealista". O modelo de IA vê uma imagem que parece natural, exceto pelo fato de o objeto estar ausente. Isso força a IA a depender de seu conhecimento real sobre o que é um curativo, em vez de reagir a um quadrado cinza estranho.

Mas havia um segundo problema. Mesmo com o artista mágico, as bordas da área escondida às vezes deixavam pistas minúsculas e invisíveis (artefatos) que a IA ainda conseguia ver. Para corrigir isso, os autores adicionaram uma etapa de "expansão de máscara". Imagine se, em vez de apenas esconder o curativo, você também escondesse um pouquinho da pele ao redor dele. Isso garante que o artista mágico tenha que preencher toda a área com uma nova pele de fundo, apagando completamente qualquer vestígio do objeto original.

O Que Eles Descobriram: O Realismo Vence

A equipe testou o LILI contra o método antigo (LIME com quadrados cinzas) e uma tentativa anterior que usou um modelo de inpainting diferente chamado DeepFill (LIME-G). Eles realizaram centenas de testes em imagens do conjunto de dados ImageNet, usando um modelo de IA padrão chamado InceptionV3 para o reconhecimento.

1. As Imagens Parecem Melhores
Os autores mediram o quão "reais" as imagens falsas pareciam usando uma pontuação chamada Distância de Fréchet Inception (FID). Uma pontuação mais baixa significa que as imagens falsas são mais semelhantes às fotos reais.

O antigo método LIME (quadrados cinzas) pontuou 30.532.
O método de inpainting anterior (LIME-G com DeepFill) pontuou 56.524 (o que foi surpreendentemente pior, provavelmente porque o modelo não era tão bom).
O novo método LILI pontuou 6.727.
Essa queda enorme na pontuação prova que o LILI cria imagens que são muito mais próximas da distribuição de dados reais. Elas parecem naturais, não como uma foto com um bloco cinza colado nela.

2. As Explicações São Mais Precisas
Para ver se as explicações eram realmente melhores, eles usaram uma "métrica de saliência". Isso mede o quão bem a explicação destaca as partes mais importantes da imagem. Pontuações mais baixas são melhores aqui.

O LILI com uma expansão de máscara de 3 pixels alcançou as melhores pontuações, superando tanto o antigo LIME quanto o método LIME-G.
Por exemplo, no caso do curativo, apenas o LILI identificou corretamente o curativo como a característica mais importante. Os outros métodos foram distraídos pelo fundo ou pelos artefatos.

3. Estabilidade e Velocidade
Os pesquisadores também verificaram se as explicações eram consistentes. Se você rodar o teste dez vezes, obtém a mesma resposta?

O antigo LIME foi o mais estável (pontuação de concordância de 0.889), seguido de perto pelo LILI (0.852).
O LIME-G foi menos estável (0.723).
Os autores observam que o LILI é ligeiramente menos estável que o antigo método de quadrados cinzas porque o "artista mágico" (LaMa) pode às vezes pintar fundos ligeiramente diferentes dependendo da máscara exata. No entanto, este é um pequeno preço a pagar para obter a resposta correa.
Quanto à velocidade, o LILI leva um pouco mais de tempo. O antigo LIME levou cerca de 4.4 segundos por imagem, enquanto o LILI levou cerca de 12.5 segundos. Isso ocorre porque o "artista mágico" tem que fazer trabalho extra para pintar as partes ausentes, mas ainda é muito mais rápido do que outros métodos de alta tecnologia que utilizam modelos de difusão.

A Conclusão

O artigo conclui que, ao substituir os quadrados cinzas falsos e feios por um preenchimento de fundo realista gerado por IA, podemos obter explicações muito melhores de como a IA vê o mundo. O método LILI sugere que as perturbações fotorrealistas se alinham melhor com a forma como a IA foi treinada, levando a resultados mais confiáveis. Embora exija um pouco mais de poder computacional e precise de um ajuste cuidadoso da "expansão de máscara" para evitar deixar pistas, a compensação vale a pena. Os autores sugerem que essa abordagem nos ajuda a confiar mais na IA, especialmente em situações em que precisamos saber exatamente por que um computador tomou uma decisão, sem a confusão causada por artefatos não naturais.

Resumo Técnico: Inpainting Insights: Elevando o XAI Visual com Perturbações Fotorealistas

Definição do Problema
A crescente complexidade dos modelos de aprendizado de máquina de última geração tornou necessárias avanços em Inteligência Artificial explicável (XAI). Métodos baseados em perturbação, como o LIME (Local Interpretable Model-agnostic Explanations), são ferramentas fundamentais para interpretar classificadores de imagens. Esses métodos geram explicações ocultando sistematicamente partes de uma imagem de entrada (por exemplo, substituindo superpixels por uma cor constante como cinza ou preto) e observando a mudança nas previsões do modelo.

No entanto, as técnicas de perturbação determinísticas tradicionais geram amostras irreais, fora da distribuição (out-of-distribution). Ao substituir regiões da imagem por cores uniformes ou médias simples, essas abordagens introduzem artefatos visíveis e conteúdo não natural. Isso pode enganar o modelo subjacente, levando a um comportamento imprevisível e atribuições de características ambíguas. Mesmo estratégias determinísticas refinadas (por exemplo, usando cores medianas de vizinhos) frequentemente falham em produzir conteúdo plausível, particularmente quando a própria forma da região ocluída revela informações sobre o conteúdo do objeto.

Metodologia: Aproveitando o Inpainting para Interpretabilidade Local (LILI)
Os autores propõem o LILI (Leveraging Inpainting for Local Interpretability), um método que adapta o framework LIME para utilizar inpainting generativo na criação de amostras perturbadas. A metodologia central envolve duas modificações primárias ao processo padrão do LIME:

Substituição Generativa via LaMa: Em vez de substituir superpixels mascarados por uma cor média, o LILI utiliza um modelo de inpainting generativo para preencher as regiões ocluídas. Os autores selecionaram o LaMa (Resolution-robust Large Mask Inpainting with Fourier Convolutions) em vez de modelos anteriores como o DeepFill (usado no LIME-G) ou modelos baseados em difusão. O LaMa foi escolhido pelo seu equilíbrio entre qualidade perceptual e eficiência computacional, utilizando Convoluções de Fourier Rápida (FFC) para lidar com grandes máscaras e imagens de alta resolução de forma eficaz. A amostra perturbada $x_i$ é gerada como $x_i = I(\xi, M^{(i)})$ , onde $I$ é o modelo LaMa, $\xi$ é a imagem original e $M^{(i)}$ é a máscara de perturbação.
Expansão da Máscara de Perturbação: Os autores identificaram que algoritmos de segmentação padrão (por exemplo, quickshift) frequentemente deixam pequenos artefatos nas bordas dos objetos. Esses sinais residuais podem permitir que o modelo de inpainting "alucine" ou reconstrua o objeto ocluído, invalidando o propósito da perturbação. Para mitigar isso, o LILI introduz um hiperparâmetro $m$ para expandir a máscara de perturbação em $m$ pixels ao redor das bordas originais do superpixel antes do inpainting. Isso garante que os artefatos residuais sejam ocultados, forçando o modelo a gerar conteúdo que se alinhe com o fundo circundante em vez de reconstruir a característica ocluída.

Principais Contribuições

Introdução do LILI: Um novo método integrando inpainting generativo (especificamente o LaMa) ao framework LIME para gerar amostras perturbadas fotorealistas.
Estratégia de Expansão de Máscara: A proposta de uma técnica de expansão de máscara para ocultar artefatos de borda, evitando que o modelo de inpainting reconstrua inadvertidamente as características ocluídas e garantindo uma oclusão mais eficaz.
Validação Empírica: Uma avaliação abrangente demonstrando que o LILI produz perturbações que melhor se alinham com a distribuição original dos dados e geram explicações de maior qualidade em comparação com o LIME padrão e a abordagem existente LIME-G.

Resultados e Avaliação
Os autores avaliaram o LILI contra o LIME e o LIME-G usando o conjunto de dados ImageNet-1k e um modelo InceptionV3. A avaliação focou em quatro critérios:

Qualidade de Inpainting (FID): Usando a Distância de Inception de Fréchet (FID) para medir a similaridade entre imagens reais e amostras perturbadas, o LILI alcançou uma pontuação significativamente menor (6.727) em comparação ao LIME-G (56.524) e ao LIME padrão (30.532). Isso indica que o LILI gera perturbações que são perceptualmente mais próximas da distribuição original dos dados.
Qualidade da Explicação (Métrica de Saliência): Usando uma métrica de saliência que mede a concentração de informação em patches recortados, o LILI com uma expansão de máscara de 3 pixels obteve as melhores pontuações em a maioria das medidas estatísticas (média, mediana, quartis), superando tanto o LIME quanto o LIME-G. Isso sugere que o LILI fornece uma identificação mais fiel das regiões críticas.
Estabilidade da Explicação: Medida via coeficiente de concordância de Kendall's W através de múltiplas execuções, o LIME mostrou a maior estabilidade (0.889), seguido pelo LILI (0.852), com o LIME-G sendo o menos estável (0.723). Os autores observam que a ligeira redução na estabilidade do LILI em relação ao LIME pode advir da natureza estocástica do inpainting generativo e da natureza sobreposta das máscaras expandidas.
Tempo de Computação: O LIME continua sendo o método mais rápido (aprox. 4.4s por imagem). O LILI é mais lento (aprox. 12.4s) devido ao custo computacional da inferência do LaMa, mas permanece mais eficiente do que abordagens baseadas em difusão ou aquelas que utilizam Stable Diffusion.

Significância e Alegações
O artigo afirma que o LILI consegue elevar o XAI visual ao abordar o problema de "fora da distribuição" inerente aos métodos de perturbação tradicionais. Ao gerar perturbações fotorealistas, o LILI reduz o risco de enganar o modelo e melhora a consistência das atribuições de características de alto nível.

Os autores posicionam o LILI como uma solução equilibrada: oferece qualidade de explicação e realismo superiores em comparação ao LIME e ao LIME-G, mantendo um custo computacional que é inferior ao das alternativas de estado da arte baseadas em difusão. Eles concluem que o LILI é uma alternativa viável para explicações baseadas em perturbação em cenários onde os recursos computacionais são limitados, mas são necessárias perturbações realistas de alta qualidade. Os autores reconhecem que, embora o LILI melhore a qualidade, ele introduz um compromisso (trade-off) em estabilidade e tempo de computação, e sugerem que trabalhos futuros devem explorar a generalização através de diferentes hiperparâmetros e modelos.

O Problema: Quadrados Feios e Robôs Confusos

A Solução: O Truque da "Inpainting Mágica"

O Que Eles Descobriram: O Realismo Vence

A Conclusão

Mais como este