Task complexity shapes internal representations and robustness in neural networks

Resumo Técnico: A Complexidade da Tarefa Molda Representações Internas e Robustez em Redes Neurais

Enunciado do Problema
As redes neurais alcançaram sucesso generalizado, mas permanecem amplamente opacas como "caixas pretas", particularmente no que diz respeito à forma como suas representações internas são moldadas pela complexidade dos dados de entrada e pelos problemas que resolvem. Embora a interpretabilidade mecânica (MI) busque reverter a engenharia dos parâmetros da rede, há uma necessidade de compreender como a dificuldade da tarefa influencia a topologia e a robustez das representações aprendidas. Especificamente, não está claro se a precisão das magnitudes dos pesos ou a organização estrutural das conexões (por exemplo, padrões de sinal) é mais crítica para o desempenho do modelo em tarefas de dificuldade variável.

Metodologia
Os autores abordam os Perceptrons Multicamada (MLPs) a partir de uma perspectiva de ciência de redes, representando cada camada como um grafo bipartido ponderado e sinalizado. Eles contrastam tarefas de classificação "fáceis" e "difíceis" usando os conjuntos de dados MNIST e Fashion-MNIST. A dificuldade da tarefa é inicialmente identificada usando a Medida de Similaridade Estrutural (SSIM) para selecionar pares de classes com alta similaridade visual (difícil) e baixa similaridade visual (fácil), embora a definição central de complexidade seja posteriormente definida pela resposta da rede a perturbações.

O estudo emprega cinco sondas agnósticas a dados para quantificar como a dificuldade da tarefa influencia a robustez da rede:

1. Poda: Remoção iterativa de arestas com os pesos absolutos mais pequenos.
2. Binarização: Redução de todos os pesos para $\pm 1$ (preservando apenas o sinal).
3. Injeção de Ruído: Adição de ruído uniforme de média zero de amplitude variável aos pesos.
4. Inversão de Sinal: Inversão dos sinais dos pesos de menor magnitude.
5. Randomização de Rede Bipartida: Embaralhamento das conexões enquanto se preservam propriedades estruturais específicas (por exemplo, distribuições de grau, preservação de sinal).

Essas sondas são aplicadas a MLPs treinados em tarefas de classificação binária fáceis e difíceis. Além disso, os autores aplicam essas sondas a camadas individuais de um modelo DistilBERT pré-treinado, ajustado para Reconhecimento de Entidades Nomeadas (NER), para testar a generalizabilidade além de MLPs simples.

Principais Resultados

• Binarização e Robustez: A binarização dos pesos em modelos treinados em tarefas difíceis faz com que a precisão colapse para níveis de acaso. Em contraste, modelos treinados em tarefas fáceis permanecem robustos à binarização.
• Transições de Fase na Poda: Quando arestas de baixa magnitude são podadas de modelos binarizados de tarefas difíceis, observa-se uma transição de fase aguda no desempenho em um nível característico de esparsidade. Curiosamente, a poda pode às vezes melhorar a precisão de modelos binarizados de tarefas difíceis, sugerindo a remoção de ruído prejudicial.
• Ressonância Estocástica: A injeção de ruído moderado em modelos binarizados pode aumentar a precisão, assemelhando-se a um efeito de ressonância estocástica. Esse pico de desempenho corresponde à inversão ótima de sinais para pesos de pequena magnitude.
• Estrutura de Sinal vs. Magnitude: Experimentos de randomização bipartida revelam que preservar a estrutura de sinal (conexões positivas versus negativas) e as distribuições de grau é suficiente para manter alta precisão em tarefas fáceis, enquanto preservar magnitudes de pesos precisas não o é. Se a estrutura de sinal for perturbada, a precisão cai para o acaso.
• Robustez por Camada em Transformers: No estudo de caso do DistilBERT, as camadas iniciais são encontradas como as menos robustas à binarização e poda, com o desempenho caindo rapidamente. Camadas mais profundas exibem resiliência notável, mantendo altas pontuações F1 mesmo quando binarizadas ou randomizadas, provavelmente devido a conexões residuais.
• Quantificando a Complexidade da Tarefa: Os autores propõem uma medida agnóstica a modelo e modalidade de complexidade da tarefa definida pela lacuna de desempenho entre redes de precisão total e suas contrapartes binarizadas ou embaralhadas. Uma lacuna maior indica uma tarefa mais difícil.

Significado e Alegações
O artigo afirma definir uma nova medida agnóstica a dados de complexidade da tarefa baseada na robustez das representações aprendidas a perturbações estruturais. As descobertas destacam que, para tarefas mais fáceis, a organização específica de conexões positivas e negativas (a topologia bipartida sinalizada) é mais crítica para a função do que os valores de ponto flutuante precisos dos pesos. Por outro lado, tarefas difíceis dependem mais fortemente de magnitudes de pesos precisas.

Na prática, os autores sugerem que essas percepções oferecem estratégias para compressão de modelos e interpretabilidade alinhadas com a complexidade da tarefa. Especificamente, camadas ou modelos treinados em tarefas onde a estrutura de sinal domina (por exemplo, tarefas mais fáceis ou camadas mais profundas de transformers) podem ser candidatos para binarização no momento da inferência sem perda significativa de precisão. O trabalho une ciência de redes e aprendizado profundo, aplicando ferramentas como modelos nulos e randomização de grafos para revelar comportamentos semelhantes a transições de fase nos espaços de pesos de redes neurais dependentes da dificuldade da tarefa.