Resumo Técnico: Populações de Neurônios Exibem Seletividade Divergente com a Escala

Problema

Embora as leis de escala neural tenham estabelecido relações previsíveis entre o tamanho do modelo e observáveis macroscópicos (ex: perda/loss), a organização interna das representações ao nível do neurônio permanece pouco compreendida. Uma questão central no aprendizado profundo e na neurociência é como os neurônios codificam a estrutura: se as representações são localizadas em unidades únicas ou distribuídas em populações, e como essas estruturas evoluem conforme os modelos escalam. Especificamente, não está claro se populações de neurônios recorrentes entre modelos seguem leis sistemáticas em relação ao seu tamanho, seletividade (monossemântica vs. polissemântica) e especialização.

Metodologia

Os autores investigam essas questões usando Neurônios Rosetta, uma classe de neurônios definida por Dravid et al. (2023) como unidades cujos padrões de ativação recorrem em modelos treinados independentemente. O estudo emprega a seguinte metodologia:

1. Identificação de Neurônios Rosetta:

   • Os autores analisam modelos de linguagem baseados em Transformer (Pythia, GPT-2, OPT, Qwen2.5; 80M–30B parâmetros) e modelos de visão (OpenCLIP, DINOv2, Pixio, modelos de Difusão; 80M–5B parâmetros).
   • Eles alinham as ativações por token entre os modelos (usando fronteiras de bytes compartilhadas para texto e grades espaciais reamostradas para imagens).
   • Eles computam correlações de Pearson pareadas entre neurônios entre modelos e identificam pares de vizinhos mais próximos mútuos ($k=1$) como Neurônios Rosetta. Isso filtra correspondências assimétricas ou ruidosas.

2. Análise de Escala:

   • Eles plotam o número de Neurônios Rosetta descobertos contra o número total de neurônios no modelo para derivar leis de escala.
   • Eles comparam essas tendências contra basais nulas, incluindo redes aleatórias não treinadas e conjuntos de dados com permutação de entrada, para garantir que a escala é uma propriedade das representações aprendidas e não um artefato arquitetural.

3. Modelagem Analítica:

   • Os autores propõem um modelo de alocação de capacidade baseado na teoria da superposição (Elhage et al., 2022).
   • O modelo assume um espectro de importância de característica de potência (power-law) ($w_r \propto r^{-\beta}$) onde as características competem por um número finito de coordenadas de neurônios.
   • Ele postula que características de alta importância recebem um isolamento "limpo" (monossemântica) para reduzir a perda, enquanto características de menor importância permanecem em superposição (polissemântica).
   • O modelo deriva que o número de características detectáveis e isoladas (Neurônios Rosetta) deve escalar como uma lei de potência sublinear ($N^{1/\beta}$) e prevê um Efeito de Polarização de Neurônios.

4. Avaliação de Propriedades:

   • Seletividade: Medida via curtose de projeção no espaço do vocabulário para modelos de linguagem e avaliações de VLM-como-juiz para modelos de visão.
   • Especialização: Analisada categorizando os contextos de maior ativação dos Neurônios Rosetta (ex: código, matemática, prosa geral) através de diferentes escalas de modelos.
   • Utilidade: Um estudo de caso filtra dados para pré-treinamento contínuo usando um único Neurônio Rosetta para recuperar um domínio específico (JavaScript).

Principais Resultados

1. Escalonamento de Lei de Potência Sublinear

Em ambos os modelos de linguagem e visão, a população de Neurônios Rosetta cresce previsivelmente com o tamanho do modelo, mas segue uma lei de potência sublinear ($|R| \propto N^\alpha$ com $\alpha \approx 0.5\text{--}0.7$).

• Implicação: Embora modelos maiores contenham mais unidades compartilhadas em números absolutos, essas unidades ocupam uma fração decrescente da população total de neurônios.
• Validação: Essa tendência está ausente em redes aleatórias não treinadas e basais de permutação de entrada, confirmando que ela surge de representações aprendidas.

2. O Efeito de Polarização de Neurônios

O estudo observa uma divergência nas propriedades dos neurônios conforme a escala aumenta:

• Neurônios Rosetta: Tornam-se cada vez mais seletivos e monossêmicos. Em modelos de linguagem, suas projeções no espaço do vocabulário mostram aumento de curtose excessiva; em modelos de visão, juízes VLM os identificam respondendo a características visuais coerentes com mais frequência.
• Neurônios Não-Rosetta: Permanecem menos seletivos e cada vez mais polissemânticos, formando um plano de fundo congestionado de características mistas.
• Alinhamento Teórico: Isso coincide com a previsão do modelo analítico, onde a "fronteira Rosetta" se move para fora, isolando características de alta importância de forma mais limpa, enquanto a cauda de características de menor importância permanece em superposição.

3. Especialização de Domínio

Os Neurônios Rosetta deslocam-se para domínios especializados com a escala.

• Nos modelos de linguagem, o disparo de Neurônios Rosetta torna-se cada vez mais concentrado em categorias de texto especializadas (ex: código, matemática) em relação à sua frequência no corpus de treinamento.
• Esse deslocamento não é observado em neurônios não-Rosetta, que mantêm preferências estáveis de tipo de documento através das escalas.

4. Utilidade Funcional na Filtragem de Dados

Um único Neurônio Rosetta seletivo para JavaScript (identificado em um Pythia-6.9B) foi usado para filtrar um corpus de código multilíngue.

• Recuperação: O filtro alcançou um F1 score de 0.98 na recuperação do subconjunto de JavaScript real, quase igualando um oráculo.
• Desempenho Downstream: O pré-treinamento contínuo nos dados filtrados reduziu a perplexidade para 3.02, quase igualando a linha de base do oráculo (3.01) e superando significativamente a filtragem aleatória (3.59) ou a filtragem por neurônio não-Rosetta (3.23).

Significância e Alegações

O artigo afirma estabelecer uma lei de escala para a estrutura de neurônio compartilhada e interpretável. Suas principais contribuições são:

1. Vinculando Escala à Estrutura Interna: Demonstra que o tamanho do modelo altera sistematicamente a universalidade, seletividade e especialização das populações de neurônios compartilhados, estendendo as leis de escala além das métricas de perda macroscópicas.
2. Mecanismo de Polarização: Fornece evidência empírica e teórica para um "Efeito de Polarização de Neurônio", onde a escalação impulsiona uma separação entre uma população crescente de unidades compartilhadas altamente seletivas e um plano de fundo polissemântico.
3. Interpretabilidade Prática: Mostra que os Neurônios Rosetta não são apenas curiosidades teóricas, mas unidades funcionais que podem ser usadas para tarefas direcionadas como filtragem de dados e especialização de domínio sem treinamento auxiliar ou conceitos alvo.
4. Generalização: Os achados sustentam-se através de arquiteturas heterogêneas (Transformers, Diffusion Transformers) e modalidades (linguagem, visão), sugerindo um princípio fundamental em como redes neurais organizam representações sob restrições de capacidade.

Os autores concluem que os Neurônios Rosetta servem como um observável tratável para estudar a estrutura compartilhada interna, oferecendo uma ponte entre o comportamento de escala macroscópico e a organização microscópica das representações aprendidas.