How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

Título: Quanto Vale Uma Recorrência? Leis de Escala Iso-Profundidade para Modelos de Linguagem em Loop

1. O Problema

Os Transformers em Loop (ou com profundidade recorrente) são uma arquitetura onde um bloco compartilhado de camadas é iterado múltiplas vezes ($r$) para processar cada token, em vez de usar camadas únicas e distintas. A motivação principal é desacoplar o número de parâmetros únicos da profundidade efetiva, permitindo que o modelo gaste mais computação por token (inferência) sem aumentar o custo de memória de parâmetros.

No entanto, uma questão fundamental permanece sem resposta quantitativa direta: quanto vale uma recorrência extra em termos de capacidade do modelo?

• Um bloco compartilhado repetido $r$ vezes equivale a $r$ blocos únicos não compartilhados (equivalência total, $\phi=1$)?
• Ou o compartilhamento de pesos impõe um custo tão grande que a recorrência extra não agrega capacidade (equivalência zero, $\phi=0$)?

Trabalhos anteriores não conseguiram isolar o custo do compartilhamento de parâmetros do aumento da profundidade efetiva, pois variavam múltiplas variáveis simultaneamente. Este artigo visa medir diretamente o "custo de compartilhamento" de parâmetros em modelos de linguagem em loop.

2. Metodologia

Os autores propõem um experimento rigoroso de escala iso-profundidade (iso-depth) para isolar o efeito do compartilhamento de parâmetros.

• Arquitetura: Utilizam o template prelude-recur-coda (prólogo-recursão-coda).
  • Profundidade Efetiva Fixa: Todos os modelos têm 20 camadas efetivas ($L_{eff} = n_{prelude} + r \cdot n_{recur} + n_{coda} = 20$).
  • Variação de $r$: Testam quatro configurações com contagem de recorrência $r \in \{1, 2, 4, 8\}$.
    • $r=1$: Modelo padrão não em loop (baseline).
    • $r>1$: O bloco de recursão é compartilhado e executado $r$ vezes.
  • Custo de Computação: Em largura fixa, o custo de FLOPs por token (treino e inferência) é mantido constante entre as arquiteturas (com uma pequena correção para a camada de injeção de entrada).
• Sweep de Computação: Realizaram 116 execuções de pré-treinamento cobrindo um espectro de ~50x em computação de treino (de $4.64 \times 10^{17}$ a $2.15 \times 10^{19}$ FLOPs).
• Lei de Escala Conjunta: Propõem uma nova lei de escala que incorpora um expoente de equivalência de recorrência ($\phi$):
  $$L = E + A (N_{once} + r^\phi N_{rec})^{-\alpha} + B D^{-\beta}$$
  Onde:
  • $N_{once}$: Parâmetros únicos do prólogo e coda (executados uma vez).
  • $N_{rec}$: Parâmetros do bloco recorrente (compartilhado).
  • $\phi$: O expoente chave. Se $\phi=1$, a recorrência é totalmente equivalente a blocos únicos. Se $\phi=0$, não há ganho de capacidade. O valor encontrado foi $\phi \approx 0.46$.

3. Contribuições Principais

1. Lei de Escala Conjunta: Introduzem uma lei de escala unificada que relaciona a perda de validação ($L$) com parâmetros únicos, tokens de treino e a contagem de recorrência através de um único expoente $\phi$. Isso permite comparar arquiteturas em loop e não em loop sob a mesma métrica.
2. Medição do Custo de Compartilhamento: Determinam empiricamente que, para a arquitetura padrão, $\phi = 0.46$. Isso significa que um bloco compartilhado repetido 4 vezes contribui com a capacidade de apenas $4^{0.46} \approx 1.86$ blocos únicos, e não 4.
3. Comportamento de Alocação Ótima: Descobrem que, para um orçamento de computação fixo, os modelos em loop preferem larguras maiores e menos tokens de treino por parâmetro em comparação com modelos não em loop, mas ainda assim sofrem uma perda de validação maior.
4. Avaliação Downstream: Criaram uma suíte de avaliação de cinco eixos para entender onde o custo de compartilhamento afeta as capacidades do modelo.

4. Resultados Chave

• O Valor de $\phi = 0.46$:

  • O ajuste da lei conjunta alcançou um $R^2 = 0.997$.
  • O valor de $\phi$ situa-se entre a equivalência total ($1$) e o custo puro de compartilhamento ($0$).
  • Exemplo Prático: Um modelo em loop com $r=4$ e 410M parâmetros únicos performa tão bem quanto um modelo não em loop de 580M parâmetros, mas paga o custo de treino de um modelo não em loop de 1B parâmetros. Ou seja, há um "desconto" significativo na capacidade de armazenamento de conhecimento devido ao compartilhamento.

• Fronteira de Perda de Validação:

  • Em todos os orçamentos de computação, os modelos em loop ($r > 1$) têm uma perda de validação maior do que o baseline não em loop ($r=1$).
  • A lacuna de perda aumenta monotonicamente com $r$ (maior $r$ = maior perda).

• Desempenho Downstream (5 Eixos):

  • Conhecimento Paramétrico (QA fechada): A lacuna persiste e cresce com $r$. Modelos em loop têm menos capacidade de armazenar fatos únicos devido à redução de parâmetros.
  • Compreensão de Leitura e Simbólico Compositivo: A lacuna se fecha. Em tarefas de "livro aberto" (onde o contexto é fornecido), os modelos em loop conseguem competir com os não em loop, sugerindo que o compartilhamento de pesos não prejudica tanto a manipulação de contexto imediato.
  • Raciocínio: Em orçamentos de computação atuais, não foi possível resolver sinais claros de vantagem para modelos em loop em tarefas de raciocínio complexo (como matemática ou primitivas de raciocínio), possivelmente porque os modelos são muito pequenos para exibir esse comportamento emergente.

5. Significado e Conclusão

• Custo de Projeto: O estudo estabelece que, na configuração atual, loopar um bloco não é uma substituição perfeita por blocos únicos. Cada recorrência extra aumenta a perda de validação de forma previsível.
• Métrica de Referência: O valor $\phi = 0.46$ serve como uma linha de base. Futuras pesquisas que propõem métodos para melhorar modelos em loop (como truncated backpropagation, early exit, ou retrofitting) devem visar aumentar esse valor de $\phi$ acima de 0.46 para justificar o uso da arquitetura.
• Foco de Pesquisa: Para modelos em escala de desenvolvimento atual, a perda de validação é o alvo mais confiável para otimização, pois as métricas de downstream (especialmente raciocínio) ainda são ruidosas ou não resolvem a diferença entre arquiteturas.
• Implicações: Embora os modelos em loop ofereçam flexibilidade de implantação e potencial para computação em tempo de teste (test-time compute), eles impõem um custo de eficiência no treinamento que deve ser mitigado por novas técnicas de treinamento ou arquiteturas para que se tornem competitivos com os Transformers densos tradicionais.

Em resumo, o paper quantifica matematicamente o "preço" de reutilizar pesos em Transformers, mostrando que, embora útil, a reutilização atual não é eficiente o suficiente para igualar a capacidade de modelos com parâmetros únicos equivalentes.