From Growing to Looping: A Unified View of Iterative Computation in LLMs

Título: Do Crescimento ao Looping: Uma Visão Unificada da Computação Iterativa em LLMs

1. O Problema

A melhoria do desempenho de Grandes Modelos de Linguagem (LLMs) tem sido historicamente impulsionada pelo escalonamento simultâneo de parâmetros e dados. No entanto, as capacidades de raciocínio (deduções lógicas de múltiplos passos) não escalam linearmente apenas com o aumento do número de parâmetros.
Duas abordagens distintas surgiram para melhorar o raciocínio, mas sua relação permanecia obscura:

1. Modelos em Loop (Looped Models): Reutilizam um bloco de camadas repetidamente durante a inferência (recorrência), desacoplando o tamanho do modelo da profundidade computacional.
2. Modelos de Crescimento de Profundidade (Depth-Grown Models): São treinados começando com uma rede rasa e crescendo em profundidade durante o treinamento, duplicando camadas do meio (ex: MIDAS, LIDAS).

A questão central é: As melhorias de raciocínio observadas em ambos os tipos de modelos derivam do mesmo mecanismo subjacente? Além disso, como essas técnicas podem ser combinadas para criar modelos mais eficientes e capazes?

2. Metodologia

Os autores realizaram uma análise mecanicista e empírica abrangente, comparando modelos padrão, modelos em loop e modelos de crescimento de profundidade em duas configurações de tamanho: 360M e 1.7B de parâmetros.

• Benchmarks: Avaliação em 22 tarefas, incluindo QA (aberto/fechado), modelagem de linguagem, problemas matemáticos e "Primitivas de Raciocínio" (tarefas sintéticas como cópia de palavras e atribuição de variáveis).
• Análise Mecanicista:
  • Diagnósticos de Utilização de Profundidade: Uso de Depth Score, sobreposição de vocabulário (Top-5) e precisão de saída antecipada (early-exit) via Tuned Lens para medir quão indispensáveis são as camadas tardias.
  • Intervenções no Fluxo Residual: Remoção da contribuição de camadas específicas para medir efeitos locais e padrões de uso de subcamadas (atenção vs. MLP).
  • Intervenções de Troca (Swapping): Testar a robustez ao trocar a ordem das camadas.
• Estratégias de Adaptação:
  • Looping em tempo de inferência: Aplicar repetição de blocos em modelos que nunca foram treinados para isso.
  • Cooldown de Alta Qualidade: Uso de misturas de dados ricos em matemática (ex: Nemotron-CC-Math) no final do treinamento.
  • Recorrência Retrofitada: Treinar modelos de crescimento com um bloco do meio em loop durante a fase de cooldown.

3. Principais Contribuições

1. Unificação Mecanicista: O trabalho demonstra que modelos em loop e modelos de crescimento de profundidade exibem assinaturas computacionais convergentes. Ambos deslocam a computação indispensável para camadas tardias e induzem padrões periódicos no fluxo residual alinhados ao tamanho do bloco repetido/crescido. Isso sugere que ambos induzem uma forma comum de computação iterativa.
2. Trade-offs Empíricos:
   • Looping: Melhora o raciocínio sob orçamentos fixos de parâmetros e é competitivo sob orçamentos fixos de inferência.
   • Crescimento: Alcança desempenho de raciocínio similar ou superior com menos FLOPs de treinamento (devido ao início com redes rasas).
3. Robustez e Design: Modelos totalmente em loop são sensíveis à ordem das camadas. No entanto, modelos que mantêm camadas únicas no início e no fim (encoder/decoder) e apenas "enlaçam" o meio (ex: Loop (4-4x4-4)) recuperam a robustez observada nos modelos de crescimento.
4. Composabilidade ("Grow First, Loop Later"): A descoberta mais prática é que modelos de crescimento de profundidade podem ser enlaçados em tempo de inferência (repetindo um bloco do meio) sem nunca terem sido treinados com pesos atados, resultando em ganhos significativos.

4. Resultados Chave

• Desempenho em Raciocínio:
  • Modelos em loop e de crescimento superam consistentemente os baselines padrão em tarefas de raciocínio pesado (QA aberto, problemas matemáticos, primitivas de raciocínio).
  • Modelos de crescimento (LIDAS) alcançam os maiores ganhos de raciocínio com cerca de 80% do custo computacional de pré-treinamento dos baselines.
• Assinaturas Internas:
  • Ambos os tipos de modelos mostram um crescimento mais lento da norma do fluxo residual e padrões cíclicos de contribuição de subcamadas (a cada 4 camadas, correspondendo ao tamanho do bloco), indicando iteração interna.
  • Modelos totalmente em loop são menos robustos a trocas de camadas do que os modelos de crescimento ou modelos híbridos (loop apenas no meio).
• Adaptabilidade:
  • Modelos em loop e de crescimento adaptam-se melhor a In-Context Learning (mais exemplos) e Supervised Fine-Tuning (SFT) do que os baselines.
  • O uso de misturas de cooldown focadas em matemática de alta qualidade (Nemotron-CC-Math) gera os maiores ganhos, especialmente para o modelo LIDAS.
• Escala de Inferência (Looping em Tempo de Execução):
  • Aplicar looping a um bloco do meio de um modelo de crescimento (LIDAS) sem treinamento prévio aumenta a precisão em primitivas de raciocínio em até 2x.
  • A estratégia de "Crescer primeiro, Loopar depois" (treinar com crescimento, adaptar um bloco para loop durante o cooldown, e repetir na inferência) produziu o melhor desempenho geral entre todas as configurações testadas, sob dados e FLOPs de inferência equivalentes.

5. Significado e Conclusão

O artigo estabelece que crescimento de profundidade e looping não são apenas técnicas distintas, mas métodos complementares que induzem o mesmo viés indutivo para computação iterativa.

• Implicação Teórica: A melhoria no raciocínio não vem apenas de mais parâmetros, mas da capacidade do modelo de realizar refinamentos iterativos sobre representações latentes, algo que ambas as arquiteturas facilitam de formas mecanicamente similares.
• Implicação Prática: A estratégia proposta de "Grow First, Loop Later" oferece um "receita" simples e eficiente para escalar o raciocínio:
  1. Treinar um modelo crescendo a profundidade (eficiente em FLOPs de treino).
  2. Adaptar um bloco do meio para recorrência durante o cooldown com dados matemáticos de alta qualidade.
  3. Utilizar repetição desse bloco durante a inferência para tarefas complexas.

Essa abordagem permite alcançar capacidades de raciocínio superiores com custos computacionais reduzidos, posicionando o crescimento de profundidade e o looping como pilares fundamentais para o desenvolvimento de LLMs mais eficientes e inteligentes.