Resumo Técnico: A Relação Sinal-Ruído e o Tamanho da Amostra Governam o Alinhamento Representacional em Redes Neurais

Declaração do Problema

Modelos de aprendizado profundo treinados independentemente frequentemente convergem para representações internas estruturalmente semelhantes, um fenômeno conhecido como alinhamento representacional. Embora a evidência empírica para essa "Hipótese da Representação Platônica" seja robusta, os mecanismos teóricos que o governam permanecem elusivos. Especificamente, questões fundamentais persistem quanto a:

1. Como o alinhamento depende da qualidade (níveis de ruído) e da quantidade (tamanho da amostra) dos dados de treinamento.
2. Se os mecanismos que impulsionam o alinhamento diferem entre regimes subparametrizados e superparametrizados.
3. Se o alinhamento representacional é um preditor confiável da qualidade do modelo (erro de generalização).

Estudos existentes quantificam principalmente o alinhamento usando ferramentas como Análise de Similaridade Representacional (RSA), Análise de Correlação Canônica de Vetores Singulares (SVCCA) e Alinhamento de Kernel Centralizado (CKA). No entanto, essas métricas frequentemente assumem correspondências lineares e podem ser inadequadas para representações que residem em variedades altamente curvas e não lineares. Além disso, não está claro se um melhor desempenho de generalização implica necessariamente representações internas mais alinhadas.

Metodologia

Estrutura Teórica e Métrica

Os autores propõem uma nova medida estatística para alinhamento chamada Entropia de Cópula Condicional (CCE). Diferentemente de medidas simétricas (por exemplo, CKA), a CCE é assimétrica e quantifica o quão bem a estrutura de vizinhança de uma representação prevê a estrutura de vizinhança de outra.

• Definição: A CCE é derivada do Desequilíbrio de Informação (II) e definida como a entropia condicional negativa de variáveis de cópula: $CCE(A \to B) = -\lim_{\eta \to 0} H(c_B | c_A = \eta)$.
• Racional: Ela captura o alinhamento representacional local ao medir a redução na incerteza sobre distâncias no espaço $B$, dado que os pontos estão infinitesimalmente próximos no espaço $A$.
• Tratabilidade Analítica: Crucialmente, para projeções unidimensionais de vetores gaussianos, a CCE admite uma expressão de forma fechada dependente do coeficiente de correlação $\rho$: $CCE = -\frac{1}{2}\log(1-\rho^2) - \frac{1}{2}\rho^2$.

Configuração Experimental

O estudo emprega uma abordagem multinível para validar a teoria:

1. Configuração Linear Professor-Aluno (Analítica):
   • Modelo: Uma rede linear profunda de duas camadas treinada via descida de gradiente em uma tarefa de regressão linear ruidosa ($y = w^* \cdot x + \epsilon$).
   • Protocolo: Duas redes aluno idênticas são treinadas independentemente em conjuntos de dados independentes extraídos da mesma distribuição do professor.
   • Análise: Os autores derivam a correlação assintótica ($\rho^*$) entre as representações ocultas das duas redes no mínimo global. Isso permite o cálculo analítico da CCE como função da Relação Sinal-Ruído (SNR) e da razão entre amostras de treinamento e dimensão de entrada ($\alpha = n/d$).
2. Simulações Não Lineares (Numéricas):
   • Modelo: Redes de duas camadas com funções de ativação ReLU.
   • Tarefa: A mesma tarefa de regressão sintética do cenário linear.
   • Comparação: Comparação direta do alinhamento e do erro de generalização entre redes lineares e ReLU treinadas nos mesmos dados.
3. Classificação do Mundo Real:
   • Conjuntos de Dados: CIFAR-10 (usando uma CNN) e MNIST (usando uma Rede Neural totalmente conectada).
   • Protocolo: Redes são treinadas em subconjuntos independentes de dados com níveis variados de ruído nas etiquetas (atuando como SNR inverso).
   • Métrica: A CCE é computada entre as representações da penúltima camada.

Principais Contribuições

1. Derivação Teórica: O artigo estabelece uma estrutura teórica para analisar o alinhamento representacional em redes lineares profundas, derivando expressões de forma fechada para a CCE baseadas na correlação dos pesos aprendidos.
2. Fatores de Governança: Os autores demonstram que o alinhamento é governado por dois fatores primários:
   • Relação Sinal-Ruído (SNR): O alinhamento aumenta monotonicamente com o SNR em todos os regimes (linear e não linear, regressão e classificação).
   • Tamanho da Amostra: O alinhamento varia de forma não monotônica com o tamanho da amostra de treinamento. Ele atinge um mínimo próximo ao limiar de interpolação ($n \approx d$ ou $n \approx p$), espelhando o comportamento de "dupla descida" observado no erro de generalização.
3. Desacoplamento entre Alinhamento e Generalização: O estudo fornece evidências de que alto desempenho de generalização não implica necessariamente alto alinhamento representacional.
   • No regime subparametrizado, redes com diferentes SNRs podem alcançar erros de generalização idênticos, mas exibem graus diferentes de alinhamento.
   • No regime superparametrizado, redes com SNR mais baixo (melhor generalização) podem ter representações menos alinhadas do que aquelas com SNR mais alto.
4. Informatividade vs. Desempenho: O artigo mostra que uma rede pode alcançar maior desempenho na tarefa enquanto aprende representações internas menos informativas do que uma rede com desempenho inferior. Isso destaca que o desempenho na tarefa é um proxy insuficiente para a qualidade da representação.

Resultados

Redes Lineares

• Erro de Generalização: Exibe a curva característica de dupla descida, atingindo o pico no limiar de interpolação ($\alpha = 1$).
• Alinhamento (CCE): Também exibe uma dependência não monotônica do tamanho da amostra, atingindo um mínimo (alinhamento próximo de zero) no limiar de interpolação.
• Dependência do SNR: SNR mais alto leva consistentemente a um alinhamento mais forte. Notavelmente, no regime subparametrizado ($\alpha > 1$), diferentes SNRs produzem o mesmo erro de generalização, mas níveis distintos de alinhamento.

Redes Não Lineares (ReLU)

• Semelhança Qualitativa: O comportamento da CCE e do erro de generalização em redes ReLU espelha qualitativamente o caso linear: dependência não monotônica do tamanho da amostra com um mínimo próximo ao limiar de interpolação, e melhoria monotônica com o SNR.
• Diferenças Quantitativas: Diferentemente do caso linear, o erro de generalização não diverge no limiar de interpolação, e a CCE não colapsa para zero. Em vez disso, ela converge para um valor dependente do SNR, sugerindo que, mesmo no limiar, redes não lineares retêm alguma informação compartilhada.
• Comparação Linear vs. ReLU: Quando treinadas no mesmo conjunto de dados, a rede linear alcança menor erro de generalização (mais próximo do aprendiz ótimo de Bayes para este problema linear), mas aprende representações menos informativas (CCE mais baixa) em comparação com a rede ReLU. A rede ReLU, apesar de maior erro, captura informações estruturais mais ricas.

Dados do Mundo Real (CIFAR-10, MNIST)

• Ruído nas Etiquetas: A introdução de ruído nas etiquetas (SNR inverso) aumenta o erro de generalização e reduz o alinhamento representacional.
• Tamanho da Amostra: A relação não monotônica entre tamanho da amostra e alinhamento se mantém, com um mínimo próximo ao limiar de interpolação.
• Consistência: As descobertas estendem-se de cenários lineares sintéticos para tarefas complexas de classificação do mundo real usando arquiteturas padrão.

Significado e Afirmações

O artigo afirma fornecer uma dependência não trivial do alinhamento em relação à qualidade e quantidade de dados, que é desacoplada do desempenho de generalização. Ao introduzir a CCE, os autores oferecem uma métrica capaz de capturar alinhamento em variedades altamente curvas onde medidas lineares tradicionais (CKA, SVCCA) podem falhar ou relatar similaridades espúrias.

O significado central reside em desafiar a suposição de que melhor desempenho na tarefa equivale a representações internas melhores ou mais alinhadas. Os autores argumentam que:

• O desempenho na tarefa é um proxy insuficiente para a qualidade da representação. Uma rede pode superar outra em uma tarefa específica, mas codificar representações internas menos estruturadas ou informativas.
• O alinhamento não é um indicador universal de aprendizado "bom". Os mecanismos que impulsionam o alinhamento (SNR, tamanho da amostra) operam independentemente dos mecanismos que impulsionam o erro de generalização em certos regimes.

Essas descobertas contribuem para a construção de uma teoria principial do aprendizado de representação, identificando condições específicas (SNR e tamanho da amostra relativos à dimensionalidade) sob as quais redes treinadas independentemente convergem para representações internas estruturalmente semelhantes. O trabalho sugere que a convergência "platônica" das representações não é garantida, mas é estritamente governada pelas propriedades estatísticas dos dados e do regime de treinamento.