Empirical Evidence for Simply Connected Decision Regions in Image Classifiers

Resumo Técnico: Evidência Empírica para Regiões de Decisão Simplesmente Conectadas em Classificadores de Imagem

Declaração do Problema
Enquanto trabalhos empíricos anteriores estabeleceram que as regiões de decisão em redes neurais profundas são conectadas por caminhos (ou seja, quaisquer duas imagens da mesma classe prevista podem ser unidas por um caminho contínuo dentro dessa classe), a estrutura topológica de ordem superior permanece obscura. Especificamente, é desconhecido se essas regiões são simplesmente conectadas. Uma região é simplesmente conectada se cada laço fechado dentro dela puder ser continuamente contraído a um ponto sem sair da região. Se uma região de decisão contém "buracos" (laços não contráteis), isso implica uma topologia mais complexa e fragmentada que poderia impactar a interpretabilidade e a robustez adversarial. Este artigo aborda a seguinte questão: Laços fechados dentro de uma região de decisão prevista podem ser preenchidos por uma superfície que preserva o rótulo?

Metodologia
Os autores propõem um procedimento iterativo de preenchimento de malha quadriculada para construir superfícies de resolução finita e que preservam rótulos, delimitadas por um dado laço de imagens do mesmo rótulo.

1. Configuração do Problema: O espaço de entrada é o espaço de imagens normalizado. Dadas quatro imagens ($x_{00}, x_{10}, x_{01}, x_{11}$) atribuídas ao mesmo rótulo $y$, o objetivo é construir uma superfície $S: [0, 1]^2 \to X$ tal que a fronteira corresponda ao laço e o interior satisfaça $f(S(u, v)) = y$.
2. Construção da Fronteira: Os quatro cantos definem um laço. Como linhas retas entre imagens do mesmo rótulo podem cruzar fronteiras de decisão, os autores constroem um laço de fronteira linear por partes inicializando vértices ao longo dos lados e reparando vértices com rótulos incorretos usando uma projeção direcionada no estilo DeepFool de volta para a região de decisão alvo.
3. Preenchimento da Superfície (Subdivisão Adaptativa):
   • O método opera em uma grade dicotômica, começando com um único quadrilátero (quad) definido pela fronteira.
   • Verificação de Resolução: Um quad é aceito se seus vértices forem verificados como estando na região alvo e seu diâmetro geométrico (medido em unidades de RMS de cinza) estiver abaixo de um limiar $\tau$.
   • Verificação de Rótulo: Se o limiar de tamanho não for atendido, a interpolação bilinear do quad é amostrada em uma grade adaptativa. Se todos os pontos amostrados mantiverem o rótulo alvo, o quad é aceito.
   • Subdivisão: Se a verificação de rótulo falhar, o quad é subdividido em quatro quadros filhos. Novos pontos médios de arestas e pontos centrais são inicializados via interpolação linear.
   • Reparo: Qualquer vértice recém-criado que caia fora da região alvo é reparado usando uma atualização direcionada no estilo DeepFool seguida de um passo de biseção para projetá-lo de volta para a região.
4. Comparação Geométrica: Para avaliar a complexidade geométrica da superfície construída, os autores comparam-na com um patch de Coons canônico (uma interpolação geométrica padrão das quatro curvas de fronteira). Eles calculam a razão entre a área da superfície construída e a área do patch de Coons ($\rho$).

Configuração Experimental

• Conjuntos de Dados e Modelos: O método foi avaliado no conjunto de validação do ImageNet em seis arquiteturas diversas: ResNet-50, DenseNet-121, EfficientNet-B0, ConvNeXt-Tiny, ViT-B/16 e Swin-T.
• Escopo: Para cada modelo, 1.000 laços foram construídos (um para cada uma das 1.000 classes do ImageNet), totalizando 6.000 laços e 24.000 imagens.
• Parâmetros: O limiar de parada RMS de cinza foi definido como $\tau = 0,5$. Uma configuração de reparo padrão (50 iterações do DeepFool) foi utilizada, com uma configuração mais forte (200 iterações) aplicada apenas às falhas iniciais.

Principais Resultados

1. Sucesso Universal: Em todos os seis modelos e em todos os 6.000 laços testados, o procedimento construiu com sucesso uma superfície de resolução finita que preserva o rótulo. A taxa de sucesso final foi de 100% após a aplicação da configuração de reparo mais forte às poucas falhas iniciais.
2. Necessidade de Refinamento Adaptativo: Um diagnóstico de "nível raiz" mostrou que a interpolação bilinear ingênua (o quad inicial sem subdivisão) satisfazia apenas a restrição de rótulo para uma minoria dos laços (variando de 6,9% para o DenseNet-121 a 42,2% para o Swin-T). Isso confirma que o mecanismo de subdivisão e reparo adaptativo é essencial.
3. Simplicidade Geométrica: A razão de área $\rho$ entre a superfície construída e o patch de Coons concentrou-se próxima a 1. Isso indica que as superfícies que preservam o rótulo estão geometricamente próximas da interpolação natural da fronteira, em vez de serem altamente distorcidas ou convolutas.
4. Complexidade da Malha: O número de quads necessários para preencher os laços variou conforme a arquitetura. Modelos baseados em Transformers (Swin-T, ViT-B/16) e o ConvNeXt-Tiny exigiram significativamente menos quads (malhas menores) do que o ResNet-50 ou o DenseNet-121, sugerindo que suas regiões de decisão são localmente mais planas ou mais coerentes nessas áreas amostradas.

Significado e Alegações
O artigo fornece forte evidência empírica (em resolução finita) que apoia a hipótese de que as regiões de decisão em classificadores modernos de imagem não são apenas conectadas por caminhos, mas também simplesmente conectadas.

• Insight Topológico: As descobertas sugerem que as regiões de decisão são organizadas em estruturas globalmente coerentes onde os laços são contráteis, desafiando a noção de que a vulnerabilidade adversarial implica fragmentação topológica global.
• Limitações: Os autores afirmam explicitamente que esses resultados são evidência empírica de resolução finita, e não uma prova topológica formal. O método verifica pontos amostrados em uma escala específica de RMS de cinza e não pode excluir a existência de buracos em menor escala ou laços não contráteis fora da resolução testada ou da família de laços.
• Implicações: Os resultados oferecem uma nova imagem empírica das regiões de decisão de redes neurais, sugerindo que, apesar da fragilidade adversarial local, a topologia global dessas regiões pode ser surpreendentemente simples e bem-comportada.

O trabalho não afirma provar a conexão simples para todos os possíveis inputs ou em resolução infinita, mas sim estabelece um padrão robusto através de arquiteturas diversas e de todo o espaço de rótulos do ImageNet na resolução testada.