The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

Resumo Técnico: A Importância da Fase nas Representações Neurais

Enunciado do Problema
Imagens naturais exibem uma assimetria fundamental em sua representação de Fourier: o espectro de fase codifica bordas, contornos e arranjo espacial (identidade), enquanto o espectro de magnitude codifica um perfil de energia agnóstico ao conteúdo. O trabalho clássico de Oppenheim e Lim (1981) demonstrou que reconstruir uma imagem apenas a partir de sua fase produz um resultado reconhecível, enquanto a magnitude sozinha não o faz. Embora classificadores de imagens modernos sejam treinados de ponta a ponta em pixels sem restrições explícitas de Fourier, permanece incerto se essa assimetria entre fase e magnitude é recuperada em suas representações latentes. Estudos anteriores trataram fase e magnitude respectivamente como "conteúdo" e "estilo" em aumentos de dados ou adaptação de domínio, mas essas abordagens operam estritamente no espaço de pixels. Este artigo questiona se classificadores de imagens treinados codificam internamente a identidade da classe em um componente do tipo fase e se esse código é causal para a predição final.

Metodologia
Os autores adaptam o experimento de Oppenheim–Lim para um framework de intervenção causal aplicado às camadas ocultas de redes neurais treinadas. O procedimento central envolve:

1. Construção de Quimera: Dados dois conjuntos de imagens de classes diferentes ($A$ e $B$), os autores constroem um estado oculto "quimera" em uma camada específica $\ell$. Este estado retém a magnitude da imagem $A$ ($|h_A|$), mas adota o componente do tipo fase da imagem $B$ ($\phi(h_B)$).
2. Definições de Fase: A definição de "fase" adapta-se ao espaço de representação da arquitetura:
   • Fluxo Complexo: Para redes de valores complexos (PRISM2D), a fase é o ângulo complexo por canal ($h/|h|$).
   • Mapas de Características Reais: Para redes de valores reais, a fase é definida via uma transformada de Fourier 2D sobre a grade espacial (fase espectral-espacial).
   • Escalares Reais: Para ativações reais padrão, a fase degenera para o sinal ($\text{sign}(h)$), servindo como uma sonda universal através de todas as arquiteturas.
3. Intervenção: O estado quimera é injetado na rede, e o passo de propagação direta (forward pass) é completado. A predição é registrada para determinar se o modelo segue o "doador de magnitude" ($A$) ou o "doador de fase/sinal" ($B$).
4. Modelos Avaliados: O estudo abrange quatro arquiteturas para testar a generalidade:
   • PRISM2D: Um modelo de valores complexos com ativações que preservam a fase.
   • GFNet-Ti: Um modelo espectral de valores reais que filtra no domínio de Fourier.
   • ViT-B/16: Um Vision Transformer padrão.
   • ResNet-50: Uma rede convolucional padrão.
5. Controles: Para descartar explicações triviais (ex: magnitudes tornando-se não informativas com a profundidade), os autores empregam controles incluindo:
   • Substituição de Magnitude: Substituir todas as magnitudes específicas da imagem por uma magnitude média do lote (batch-mean).
   • Destruição de Fase: Randomizar a fase mantendo a magnitude.
   • Trocas de Apenas DC: Isolar a média global (termo DC) da estrutura espacial.
   • Verificações de Geometria: Medir a similaridade de cosseno entre as quimeras e os doadores para garantir que a quimera não está simplesmente reconstruindo o estado do doador.

Resultos Principais

1. Dominância de Fase/Sinal: Em todas as quatro arquiteturas, a predição segue o doador de fase (ou sinal) com alta probabilidade até o momento da leitura (readout).
   • ViT-B/16: Compromete-se com um código de identidade baseado em sinal logo no primeiro bloco, atingindo ~91% de seguimento de fase até a camada final.
   • PRISM2D & GFNet: Constroem a dependência de fase ao longo da profundidade inicial-média, atingindo ~75–76%.
   • ResNet-50: Inicialmente parece quebrar o padrão porque trocar os sinais após o ReLU não tem efeito (visto que o ReLU remove a informação de sinal). No entanto, intervir antes do último ReLU dos blocos residuais revela um forte código de sinal latente nos blocos tardios (~88%), semelhante ao ViT.
2. Invariância de Magnitude: Deletar toda a informação de magnitude específica da imagem (substituindo-a pela magnitude média do lote) deixa a acurácia próxima à linha de base para modelos espectrais e ViT. Por outro lado, destruir a fase colapsa a acurácia para próximo do acaso.
3. Diferenças Mecanísticas:
   • O ViT expressa o código de identidade precocemente e o mantém ao longo do tempo.
   • Modelos Espectrais consolidam a identidade na fase precocemente.
   • A ResNet transporta a identidade de uma estrutura espacial distribuída em camadas iniciais para um código de canal legível por agrupamento (pooling) no termo DC em blocos finais. O hiato "textura-forma" entre CNNs e modelos de atenção é reestruturado não como uma divisão categórica de fase vs. magnitude, mas como uma diferença em quando e em qual base o código de fase/sinal é expresso.

Significância e Alegações
O artigo afirma fornecer um relato unificado e consciente da leitura (readout-aware) de como diversos classificadores de imagem convergem para um código de identidade dominante de fase/sinal.

• Evidência Causal: Ao contrário de estudos anteriores baseados em aumento de dados, este trabalho estabelece causalidade ao mostrar que a identidade pode ser "transplantada" entre imagens via manipulação de fase/sinal dentro da rede.
• Reenquadramento do Hiato Textura-Forma: A diferença comportamental entre CNNs enviesadas para textura e modelos de atenção alinhados com a forma é explicada pelo tempo e pela geometria do código de identidade. CNNs (como a ResNet) escondem o código de sinal atrás da retificação e dependem da magnitude para o sinal até a camada final de pooling, enquanto modelos de atenção e espectrais se comprometem com a fase/sinal mais cedo.
• Interpretação Geométrica: Os achados sugerem que classificadores lineares leem o "ângulo" (fase/sinal) do vetor de características em vez de seu "comprimento" (magnitude). Isso se alinha com outras descobertas de interpretabilidade mecanística sobre representações periódicas e angulares em redes neurais.

Limitações
Os autores observam que o escopo é limitado a modelos de visão. Embora o método de transplante seja generalizável para modalidades, o teste mais limpo é em imagens. Além disso, a comparação entre modelos treinados em ImageNet-100 (PRISM2D, GFNet) e aqueles que utilizam pesos de ImageNet-1k (ViT, ResNet) introduz uma diferença de escala de treinamento, embora os autores argumentem que as tendências de profundidade dentro de cada modelo permanecem válidas. A definição de "fase" varia entre as arquiteturas (ângulo complexo, fase espectral ou sinal escalar), representando uma família de códigos relacionados, em vez de uma única quantidade unificada.