Inverse Depth Scaling From Most Layers Being Similar

Resumo Técnico: Escalonamento de Profundidade Inversa Devido à Semelhança da Maioria das Camadas

Enunciado do Problema
As leis de escalonamento neural estabeleceram que o desempenho de modelos de linguagem de grande escala (LLMs) melhora previsivelmente com aumentos no tamanho do modelo e no tamanho do conjunto de dados, tipicamente seguindo relações de lei de potência. No entanto, essas leis de escalonamento frequentemente tratam o tamanho do modelo como uma quantidade monolítica, obscurecendo as contribuições distintas de largura e profundidade. Embora frameworks teóricos proponham que a profundidade poderia contribuir para o desempenho através de montagem composicional (abstração hierárquica), montagem procedural (discretização de dinâmicas suaves) ou média de ensemble (estimativa redundante), o mecanismo real pelo qual os LLMs utilizam sua profundidade permanece incerto. Estudos empíricos sugerem que as camadas dos LLMs são frequentemente redundantes, mas um framework quantitativo vinculando essa redundância a leis de escalonamento específicas carecia de existência. Este artigo investiga a relação quantitativa entre a profundidade do LLM e a perda para determinar qual regime teórico domina.

Metodologia
Os autores empregam uma abordagem de três frentes combinando análise empírica de LLMs reais, experimentos controlados com modelos de brinquedo (toy models) e análise teórica:

1. Análise do Estado Oculto de LLMs: Os autores analisaram a dinâmica dos estados ocultos através de camadas em vários modelos Pythia (variando de 410M a 12B de parâmetros) e outras famílias (Qwen-2.5, OPT) usando o conjunto de dados FineWeb. Eles mediram a mudança angular entre estados ocultos vizinhos, $\theta(h_l, h_{l+1})$, e a correlação entre atualizações incrementais, $\theta(\Delta h_l, \Delta h_{l+1})$. A Análise de Componentes Principais (PCA) foi utilizada para identificar clusters comportamentais distintos entre os tokens.
2. Decomposição Empírica da Perda: Os autores propuseram uma lei de escalonamento decomposta para a perda ($L$) separando as contribuições de largura ($m$), profundidade ($\ell$) e tamanho do conjunto de dados ($D$):
   $$L = \frac{c_m}{m^{\alpha_m}} + \frac{c_\ell}{\ell^{\alpha_\ell}} + \frac{c_D}{D^{\alpha_D}} + L_0$$
   Eles ajustaram este modelo aos dados reconstruídos de experimentos de escalonamento Chinchilla (aproximadamente 200 pontos de dados) para estimar o expoente de escalonamento de profundidade $\alpha_\ell$.
3. Experimentos com Modelos de Brinquedo (Toy Models): Para isolar mecanismos, um setup professor-aluno foi desenhado onde uma rede estudante aprende a imitar um professor mais profundo. A dinâmica do professor foi controlada via amarração de pesos (weight tying, induzindo dinâmicas suaves para montagem procedural) ou pesos independentes (induzindo dinâmicas de passeio aleatório não suaves para média de ensemble). A profundidade do estudante foi variada, e o treinamento foi conduzido sob diferentes temperaturas de distribuição alvo para observar convergência e comportamentos de escalonamento.

Principais Contribuições e Resultados

• Escalonamento de Profundidade Inversa: O principal achado é que a perda do LLM escala aproximadamente de forma inversamente proporcional à profundidade ($\alpha_\ell \approx 1$). O expoente ajustado para o termo dependente da profundidade é $\alpha_\ell = 1.2 \pm 0.3$, sugerindo um decaimento de lei de potência onde dobrar a profundidade reduz aproximadamente pela metade o componente de erro limitado pela profundidade.
• Dominância da Média de Ensemble: A análise dos estados ocultos revela que, para a vasta maioria dos tokens (99,6%) e camadas, as atualizações são incrementais e uniformes no meio da rede. Crucialmente, a correlação entre as atualizações de camadas vizinhas é fraca (ângulos próximos a $\pi/2$), o que contradiz as dinâmicas suaves necessárias para a montagem procedural. Em vez disso, essas assinaturas alinham-se com a média de ensemble, onde as camadas atuam como estimadores redundantes e ruidosos que reduzem o erro através da média.
• Rejeição da Dominância Composicional e Procedural:
  • Montagem Composicional: Os dados não mostram o "parada precoce" (early stopping) ou padrões distintos de abstração hierárquica (ex: sintaxe $\to$ semântica $\to$ raciocínio) previstos por este regime para a maioria dos dados.
  • Montagem Procedural: Embora a montagem procedural (discretização de ODEs suaves) possa teoricamente gerar escalonamento inverso sob condições específicas (ex: baixa temperatura/treinamento incompleto), os experimentos de modelos de brinquedo dos autores mostram que, uma vez que o treinamento converge com dinâmicas suaves, o expoente de escalonamento muda para $\alpha_\ell \approx 3$. Como os LLMs reais exibem $\alpha_\ell \approx 1$, a montagem procedural é improvável de ser o mecanismo dominante em LLMs convergidos.
• Explicação Mecanística: O artigo conclui que a ineficiência da profundidade dos LLMs surge porque a maioria das camadas realiza transformações funcionalmente similares. Adicionar profundidade aumenta o tamanho desses grupos funcionais, e a redução da perda é impulsionada pela lei dos grandes números (mediando erros) em vez da construção de novas abstrações mais profundas.

Significância e Alegações
Os autores alegam que este trabalho fornece uma explicação quantitativa para o uso "ineficiente" da profundidade observado em estudos empíricos anteriores. Ao estabelecer que os LLMs operam primariamente em um regime de média de ensemble, o artigo sugere que:

1. Implicações Arquiteturais: As atuais arquiteturas de redes residuais podem inerentemente enviesar os modelos para a média de ensemble em vez do aprendizado composicional. Melhorar a eficiência pode exigir inovações arquiteturais que incentivem o uso composicional da profundidade.
2. Leis de Escalonamento: O escalonamento de profundidade inversa observado ($\alpha_\ell \approx 1$) combinado com o escalonamento de largura ($\alpha_m \approx 1$) implica uma relação ideal de largura-profundidade de $m \propto \ell$ sob um orçamento fixo de parâmetros. Isso se alinha ao escalonamento empírico $N^{-1/3}$ observado em modelos Chinchilla.
3. Limitações: Os autores notam modestamente que sua decomposição de perda foi proposta com base em ajustes empíricos e não derivada de primeiros princípios. Eles reconhecem que, embora tenham descartado o papel dominante da montagem composicional e procedural, outros mecanismos que produzem comportamentos de escalonamento semelhantes não podem ser rigorosamente excluídos sem derivações de primeiros princípios. Além disso, o estudo foca no "corpo" (bulk) das camadas, reconhecendo que a primeira e a última camadas podem exibir comportamentos diferentes, potencialmente composicionais.

Em resumo, o artigo postula que o sucesso atual do escalonamento de LLMs é, em grande parte, o resultado da adição de camadas redundantes que realizam a média de erros, em vez de aprofundar a hierarquia representacional, e que o progresso arquitetural futuro pode depender da quebra deste viés em direção à média de ensemble.