🤖 AI

The Confusion is Real: GRAPHIC -- A Network Science Approach to Confusion Matrices in Deep Learning

Este artigo apresenta o GRAPHIC, um método agnóstico à arquitetura que aplica a ciência de redes a matrizes de confusão derivadas de camadas intermediárias de redes neurais para visualizar e quantificar sistematicamente a dinâmica de confusão entre classes, a separabilidade linear e problemas de conjunto de dados ao longo do processo de treinamento.

Autores originais: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender como um estudante aprende a identificar diferentes animais em um álbum de fotos. Normalmente, você apenas olha para a nota final do teste: "Eles acertaram 90%!" Mas isso não diz por que eles erraram os 10%, ou se estão confundindo um gato com um cachorro porque se parecem, ou porque o estudante está apenas chutando.

Este artigo apresenta uma nova ferramenta chamada GRAPHIC (que é um acrônimo longo e sofisticado sobre grafos e confusão). Pense no GRAPHIC como um "Mapa de Confusão" que permite espiar o cérebro do estudante enquanto ele estuda, e não apenas no final.

Veja como funciona, usando analogias simples:

1. O "Teste Secreto" (O Classificador Linear)

Modelos de aprendizado profundo (os "estudantes") possuem muitas camadas ocultas onde processam informações. Não conseguimos ver facilmente o que estão pensando nessas camadas intermediárias.

O Truque: Os pesquisadores pegam as "anotações" que o modelo escreve nessas camadas intermediárias e as entregam a um professor muito simples e honesto (chamado de Classificador Linear).
O Teste: Este professor pergunta: "Se eu visse apenas essas anotações, conseguiria distinguir um 'peixe-chato' de um 'homem'?"
O Resultado: Isso cria uma Matriz de Confusão. É uma grade que mostra exatamente com que frequência o modelo erra uma coisa por outra. Por exemplo, pode mostrar que o modelo confunde "peixe-chato" com "homem" 20% das vezes.

2. Transformando a Grade em uma "Rede Social"

Em vez de apenas olhar para uma planilha chata de números, o GRAPHIC transforma essa grade em um mapa de rede social.

Os Nós (Pontos): Cada categoria (como "Maçã", "Urso" ou "Carro") é um ponto no mapa.
As Arestas (Linhas): Se o modelo frequentemente confunde duas coisas, uma linha as conecta.
- Uma linha grossa significa que há muita confusão (por exemplo, o modelo pensa que um "peixe-chato" é um "homem" com frequência).
- Uma linha fina significa que há pouca confusão.
- Setas mostram a direção do erro (por exemplo, "Homem" raramente é chamado de "Peixe-chato", mas "Peixe-chato" é frequentemente chamado de "Homem").

3. O Que Eles Descobriram?

Ao observar essa "rede social" mudar conforme o modelo aprende, os pesquisadores encontraram algumas coisas surpreendentes:

Os "Crianças Populares" do Primeiro Dia: No primeiro segundo do treinamento, algumas classes aleatórias (como "Teclado de Computador" ou "Mar") tornaram-se "hubs". O modelo adivinhou esses nomes para quase tudo. Isso não foi porque o modelo era inteligente; foi apenas devido à ordem em que as fotos foram apresentadas. É como se um professor mostrasse uma foto de um teclado primeiro, e você pudesse adivinhar "teclado" nas próximas 10 fotos apenas porque ficou preso nessa ideia.
Formando Cliquês: À medida que o treinamento avançava, os pontos começaram a se agrupar em "cliquês" baseados no significado real. "Animais" começaram a se juntar, e "Árvores" começaram a se juntar. O modelo estava aprendendo os conceitos, e não apenas memorizando pixels.
O Mistério do "Peixe-chato" vs. "Homem": O mapa mostrou uma linha forte conectando "Peixe-chato" e "Homem". Por quê? Os pesquisadores olharam as fotos e perceberam que o conjunto de dados era enviesado. Muitas fotos de "peixe-chato" mostravam pescadores segurando sua captura. O modelo aprendeu: "Se eu vejo um humano segurando um peixe, é um peixe-chato". Não era uma similaridade visual; era uma pista contextual de um conjunto de dados ruim.
O Desfoque entre "Bebê" vs. "Menino" vs. "Menina": O modelo ficou muito confuso entre bebês, meninos e meninas. Os pesquisadores pediram a 31 humanos que rotulassem essas mesmas fotos, e os humanos também ficaram confusos! As fotos eram apenas muito desfocadas ou as idades eram muito ambíguas. O modelo não era "estúpido"; os rótulos no conjunto de dados estavam apenas bagunçados.
O Viés da "Cor da Folha": O modelo confundiu "Árvores de bordo" com "Árvores de carvalho". Por quê? As fotos de bordos foram tiradas principalmente no outono (folhas vermelhas/amarelas), enquanto os carvalhos estavam verdes. O modelo aprendeu a identificar árvores pela estação, e não pelo tipo de árvore.

4. A Surpresa do "Transformer"

Os pesquisadores testaram dois tipos de modelos: um padrão (ResNet) e um mais novo e complexo (um Vision Transformer).

O Modelo Padrão: À medida que aprendia, ficou melhor em separar coisas linearmente (como separar maçãs de laranjas) do início ao fim.
O Transformer: Começou ficando melhor em separar coisas, mas depois, em seus estágios iniciais, ficou pior em separá-las antes de ficar melhor novamente. É como se o Transformer precisasse "desaprender" algumas regras simples para aprender regras mais complexas, enquanto o modelo padrão apenas continuava empilhando regras umas sobre as outras.

Resumo

GRAPHIC é como um microscópio para os "erros" que uma rede neural comete. Em vez de apenas dizer "o modelo tem 90% de precisão", ele desenha um mapa de quem está confundindo quem. Isso ajuda os pesquisadores a ver se o modelo está aprendendo as coisas certas, ou se está apenas pegando maus hábitos (como confundir um peixe com um homem por causa de um pescador ao fundo) ou se o próprio conjunto de dados está quebrado (como fotos desfocadas de bebês).

Ele transforma a "caixa preta" da IA em uma rede social visível de confusões, revelando que, às vezes, a confusão é real, e às vezes é culpa dos dados.

Resumo Técnico: GRAPHIC – Uma Abordagem de Ciência de Redes para Matrizes de Confusão em Aprendizado Profundo

Definição do Problema

A Inteligência Artificial Explicável (XAI) tornou-se crítica para abordar preocupações de confiabilidade no aprendizado profundo, particularmente em domínios de alto risco, como diagnósticos médicos e direção autônoma. No entanto, os métodos existentes de explicação post-hoc enfrentam limitações significativas:

Métodos locais (por exemplo, Grad-CAM, LIME) focam em amostras individuais, tornando-os vulneráveis a ruídos de rotulagem e viés de amostragem, e falhando em fornecer uma visão global do comportamento do modelo.
Métodos baseados em conceitos (por exemplo, TCAV) dependem de conceitos definidos por humanos, que podem não se alinhar com as representações abstratas realmente aprendidas pela rede.
Métodos estruturais globais frequentemente focam na organização do espaço de características, mas carecem de uma maneira sistemática de visualizar dinâmicas de confusão em nível de classe ao longo do tempo.
Visualizações de matriz de confusão existentes (por exemplo, ConfusionFlow) são frequentemente limitadas à camada final e ao modelo convergido, perdendo a evolução das dinâmicas de aprendizado e os comportamentos de camadas intermediárias.

Existe uma lacuna específica na construção e análise de matrizes de confusão (MCs) para camadas ocultas de redes neurais (NNs) para entender como a separabilidade de classes e a confusão evoluem durante o treinamento.

Metodologia: GRAPHIC

Os autores propõem o GRAPHIC (Representação Baseada em Grafos e Análise de Previsões e Interpretabilidade de Camadas Ocultas via Confusão), um framework agnóstico à arquitetura que trata a confusão em nível de classe como um problema de ciência de redes.

1. Geração de Matrizes de Confusão para Camadas Ocultas

Como as camadas ocultas não produzem previsões de classe diretamente, o GRAPHIC emprega Classificadores Lineares (LCs) treinados nos vetores de características de camadas intermediárias.

Estratégia de Treinamento: Os LCs são treinados usando uma função de perda de entropia cruzada personalizada que integra tanto os rótulos verdadeiros ( $y$ $y$ ) quanto as previsões da NN sob análise ( $\tilde{y}$ $\tilde{y}$ ):
$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$
- $\lambda = 1$ (Rótulos Verdadeiros): Mede a separabilidade linear intrínseca das características naquela camada.
- $\lambda = 0$ (Rótulos Previstos): Mede o "entendimento" atual do modelo e as dinâmicas de treinamento. O LC é treinado para reproduzir as previsões da NN, fornecendo insights sobre o aprendizado de classes sem depender da verdade fundamental.
Construção da MC: Os LCs treinados são aplicados a vetores de características não vistos (de uma parte retida do conjunto de treinamento ou do conjunto de validação) para gerar matrizes de confusão normalizadas $C$ .

2. Representação em Grafos

As matrizes de confusão são interpretadas como matrizes de adjacência de grafos direcionados:

Nós: Representam as classes no conjunto de dados.
Arestas: Representam a probabilidade de uma amostra da classe $i$ ser prevista como a classe $j$ .
Ponderação: A matriz de adjacência é definida como $C_{ad} = C - C \odot I_N$ , isolando previsões errôneas (elementos fora da diagonal) para focar na confusão.

3. Análise de Ciência de Redes

Os autores aplicam ferramentas padrão de ciência de redes a esses grafos:

Detecção de Comunidades: Usando a maximização da Modularidade ( $Q$ ) (via o algoritmo Louvain Direcionado) para identificar "Comunidades de Confusão" (CCs) — grupos de classes que são frequentemente confundidas entre si. Isso revela estruturas semânticas emergentes sem rótulos predefinidos.
Assortatividade: Cálculo do coeficiente de assortatividade para medir o quão bem a estrutura de confusão aprendida se alinha com agrupamentos predefinidos (por exemplo, "naturais" vs. "feitos pelo homem" ou superclasses do conjunto de dados).
Evolução Temporal: Análise desses grafos ao longo das épocas de treinamento e camadas da rede para rastrear a evolução das dinâmicas de aprendizado.

Contribuições Principais

Abordagem de Análise Inovadora: O GRAPHIC é o primeiro método agnóstico à arquitetura a gerar e analisar matrizes de confusão para camadas intermediárias usando LCs treinados em rótulos verdadeiros e previstos. Ele interpreta essas matrizes como grafos direcionados para aproveitar ferramentas de ciência de redes.
Diagnósticos de Conjunto de Dados e Rotulagem: O método identifica problemas ocultos no conjunto de dados, ambiguidades de rotulagem e vieses que são obscurecidos pelo grande número de classes. Essas descobertas são validadas por meio de um estudo humano.
Observação de Tendências de Separabilidade Linear: O estudo fornece evidências empíricas sobre a separabilidade linear de camadas intermediárias, observando notavelmente um declínio na separabilidade nos decodificadores iniciais de transformadores visuais, contrastando com o aumento monotônico observado em CNNs.

Resultados Experimentais

Os experimentos foram conduzidos no ResNet-50 (CNN) e no EffVit (Transformador Visual) usando CIFAR-100 e Tiny ImageNet.

1. Evolução das Comunidades de Confusão

Treinamento Inicial: Poucas classes dominantes atuam como "hubs de confusão" (por exemplo, "teclado de computador", "mar", "cangambá" no ResNet-50). Os hubs específicos dependem fortemente da ordem dos dados de treinamento, não apenas da inicialização do modelo.
Convergência: À medida que o treinamento progride, comunidades semanticamente significativas (por exemplo, animais, árvores, humanos) emergem. A confusão intergrupal diminui e a modularidade aumenta.
Diferenças entre Camadas: No ResNet-50, camadas mais profundas mostram agrupamentos mais claros e maior modularidade. No EffVit, os decodificadores iniciais inicialmente ganham separabilidade linear, mas depois perdem-na à medida que o treinamento progride, sugerindo uma dinâmica de aprendizado diferente em comparação com CNNs.

2. Problemas e Vieses do Conjunto de Dados

O GRAPHIC visualizou com sucesso artefatos específicos do conjunto de dados:

Viés de Cor da Folha: Árvores de bordo e carvalhos foram frequentemente confundidos. A análise revelou que o modelo confiava nas cores sazonais das folhas (vermelho/amarelo para bordo, verde para carvalho) em vez de características estruturais. A modificação das cores das folhas em imagens de teste corrigiu as previsões.
Viés Contextual: Foi encontrada uma forte confusão não recíproca entre "peixe-chato" e "homem". Isso foi rastreado até imagens do conjunto de dados onde pescadores seguram peixes-chatos, fazendo com que o modelo associasse o contexto (segurar um peixe) à classe "homem".
Ambiguidade de Rotulagem: Classes como "menino", "menina" e "bebê" formaram uma comunidade de confusão apertada. Um estudo humano (31 participantes) confirmou que essas classes são inerentemente ambíguas, mesmo para humanos, devido à qualidade da imagem e aos limites de definição de idade/gênero.
Problemas do Tiny ImageNet: Confusões entre "carro conversível" e "carro esportivo", e "gato malhado" e "gato egípcio" foram identificadas, revelando sobreposições de rótulos e inconsistências de definição no conjunto de dados.

3. Separabilidade Linear

ResNet-50: A separabilidade linear (medida pela precisão do LC em rótulos verdadeiros) aumentou monotonicamente com a profundidade e as épocas de treinamento, consistente com a literatura anterior.
EffVit: Embora decodificadores posteriores mostrassem separabilidade crescente, decodificadores iniciais exibiram um declínio na separabilidade linear após um aumento inicial. Isso sugere que os transformadores visuais podem aprender localidade e contexto global de maneira diferente das CNNs, potencialmente "desaprendendo" a separabilidade linear nos estágios iniciais para formar representações mais complexas.

Significado e Alegações

O artigo afirma que o GRAPHIC oferece uma nova perspectiva sobre como as redes neurais aprendem, descobrindo "confusões reais" por meio de uma abordagem estrutural orientada por dados.

Insights Acionáveis: Ao visualizar a confusão em nível de classe, o GRAPHIC ajuda a identificar vieses de conjunto de dados e erros de rotulagem que métricas padrão de precisão ignoram.
Compreensão Arquitetural: Revela diferenças fundamentais nas dinâmicas de aprendizado entre CNNs e Transformadores, especificamente em relação à estabilidade da separabilidade linear em camadas intermediárias.
Confiança e Confiabilidade: O método fornece visualizações interpretáveis que podem orientar o design de conjuntos de dados e melhorar a confiabilidade do modelo, o que é crucial para aplicações de alto risco, como imagem médica.
Limitações: Os autores reconhecem a sobrecarga computacional de treinar LCs em múltiplas camadas e épocas, embora sugiram estratégias como parada antecipada e reutilização de LCs para mitigar isso. Eles também observam que interpretar o significado semântico das confusões observadas ainda requer análise manual.

Em resumo, o GRAPHIC preenche a lacuna entre a explicabilidade local e a análise estrutural global, usando ciência de redes para fornecer uma visão sistemática, em nível de classe, do processo de treinamento e da integridade do conjunto de dados.