Resumo Técnico: Supervisão Densa Não é Suficiente: O Ponto Cego de Leitura em Modelos de Linguagem em Loop

1. Declaração do Problema

Modelos de linguagem em loop (LLMs) reutilizam o mesmo bloco transformer através da profundidade recorrente, permitindo que a profundidade em tempo de teste funcione como um controle dinâmico de computação (por exemplo, interrompendo precocemente para predições fáceis). Nesta arquitetura, um estado oculto $H_k$ desempenha um papel duplo: ele é decodificado para predição (a interface de "leitura" ou readout) e alimentado de volta como entrada para computação futura (o estado "recorrente").

O problema central identificado é um descompasso entre visibilidade e atividade. Embora a supervisão densa (aplicar perda de entropia cruzada em cada loop) garanta que os estados intermediários sejam utilizáveis para predição, ela não controla necessariamente todas as variáveis ativas dentro da transição recorrente. Especificamente, o artigo investiga a escala do estado oculto (a magnitude radial do vetor oculto).

Em loops de resíduo pre-norm padrão com readouts invariantes à escala (ex: RMSNorm ou LayerNorm), o readout normaliza o estado oculto, tornando a perda de entropia cruzada imediata insensível à escala radial da entrada. No entanto, o caminho recorrente continua a carregar e atualizar essa escala. Consequentemente, o modelo pode ser treinado em cada loop enquanto as normas dos estados ocultos derivam descontroladamente para milhares ou dezenas de milhares, tornando o "ponto cego de leitura" um modo de falha onde a supervisão densa falha em restringir variáveis recorrentes ativas.

2. Metodologia e Mecanismo

Mecanismo Teórico

Os autores formalizam o modo de falha através de dois lemas:

1. Lema da Visibilidade: Se um readout $r$ é invariante à escala (ou seja, $r(\alpha H) = r(H)$ para $\alpha > 0$), a perda de entropia cruzada imediata $L$ tem uma derivada radial aproximadamente de zero ($\langle \nabla_H L, H \rangle \approx 0$). A perda não consegue "ver" ou corrigir a escala do estado oculto.
2. Lema da Atividade: Em atualizações residuais pre-norm, a escala é ativa. A função de atualização $F(su) = su + b(u)$ (onde $s$ é escala e $u$ é direção) permite que o ramo residual $b(u)$ atualize a escala na ordem principal. Mesmo que o readout esconda a escala, a recorrência preserva e potencialmente amplifica essa escala.

Isso cria um descompasso local: o sinal de perda não pode se opor à velocidade radial aprendida da atualização recorrente, levando à deriva de escala.

Configuração Experimental

Os autores treinaram transformers em loop autorregressivos no conjunto de dados WikiText-103 com $K=4$ aplicações recorrentes de uma pilha de decodificador compartilhada. Eles utilizaram dois tamanhos de modelo: 44M e 129M de parâmetros.

• Ablação Central: Um design $2 \times 2$ cruzando Posicionamento da Perda (CE apenas no terminal vs. CE por loop) e Tipo de Readout (RMSNorm normalizado vs. Raw/Não normalizado).
• Controles:
  • Penalidade de Norma: Adição de um termo de perda auxiliar explícito $\lambda \sum \|H_k\|^2$ para tornar a escala visível sem alterar o readout.
  • Norma Final-apenas: Uso de readouts brutos (raw) para loops intermediários, mas um readout normalizado para a saída final.
  • Clamp de Escala Recorrente: Redimensionamento manual dos estados ocultos para a magnitude inicial do loop-1 para testar se o crescimento acumulado da escala é preditivo.
• Avaliação: Mediu a norma do estado oculto do loop final, perplexidade (PPL) e a "fronteira de qualidade-computação" (PPL vs. vazão/throughput) em profundidades de inferência variáveis ($K=1$ a $K=4$).

3. Principais Contribuições

1. Identificação do Ponto Cego de Leitura: O artigo define um modo de falha específico onde a supervisão de entropia cruzada densa treina interfaces de predição, mas falha em controlar variáveis recorrentes ativas (especificamente a escala) se essas variáveis forem ocultadas por readouts invariantes à escala.
2. Validação do Mecanismo: Através de ablações e diagnósticos, os autores demonstram que:
   • A CE por loop com readouts normalizados leva a uma deriva massiva de norma (ex: normas atingindo 39.000+ no modelo de 44M).
   • Readouts brutos ou penalidades de norma explícitas colapsam essas normas para dezenas, mesmo com CE por loop.
   • A deriva é por token e de cauda pesada, não apenas um deslocamento de média.
3. Regra de Design: Os autores propõem uma regra de design simples: O controle da escala recorrente requer ou tornar a escala do estado oculto visível para uma perda (via readouts brutos ou penalidades de norma) ou removê-la do caminho recorrente (via normalização entre loops). A CE densa sozinha é insuficiente.
4. Desempenho de Profundidade Variável: Modelos com controle de escala mantêm saídas precoces utilizáveis, ao mesmo tempo em que alcançam menor perplexidade em profundidades de inferência correspondentes em comparação com as bases invariantes à escala. As bases frequentemente exibem "invariância em K" (o desempenho não melhora com mais loops) porque a deriva de escala encolhe as atualizações angulares ($1/s_k$), efetivamente congelando o estado normalizado.

4. Resultados

• Deriva de Norma: Nos modelos de 44M e 129M com CE por loop e readout RMSNorm, a norma do estado oculto final derivou para 39.207 e 56.051, respectivamente. Em contraste, modelos com readouts brutos ou penalidades de norma mantiveram as normas na faixa de 17–83.
• Diagnóstico de Gradiente: Frações de gradiente radial para readouts normalizados foram próximas de zero ($\sim 10^{-9}$), enquanto readouts brutos mostraram sensibilidade radial significativa ($\sim 10^{-2}$).
• Perplexidade e Profundidade:
  • Baseline RMSNorm: Os modelos foram quase K-invariantes; parar em $K=1$ resultou em perplexidade semelhante a $K=4$. Isso resultou em alta aceleração aparente, mas indicou uma falta de utilização útil da profundidade.
  • Variantes com Controle de Escala: Estes modelos mostraram melhoria significativa de perplexidade conforme a profundidade aumentava ($K=1$ a $K=4$). Eles ocuparam uma fronteira de PPL-vazão superior, oferecendo menor perplexidade para a mesma vazão em comparação com o baseline de RMSNorm.
• Clamp de Escala: O estrangulamento (clamping) artificial da escala dos estados ocultos em modelos treinados resultou em mudanças negligenciáveis na entropia cruzada, sugerindo que o próprio crescimento da escala acumulada não é a fonte primária de informação preditiva, mas sim um subproduto da recorrência não controlada.

5. Significância e Alegações

O artigo afirma que o "ponto cego de leitura" é uma consideração arquitetural fundamental para modelos de profundidade adaptativa e em loop. A significância reside na mudança de foco de apenas aplicar supervisão densa para garantir que o sinal de supervisão seja visível para as variáveis específicas sendo atualizadas na recorrência.

• Implicação Prática: Para profissionais que utilizam readouts normalizados, o artigo sugere adicionar uma penalidade de norma explícita como um baseline de "substituição direta" (drop-in) para controlar a escala sem alterar a interface de saída.
• Insight Teórico: O trabalho esclarece que a supervisão densa treina a interface (o readout), mas não regula automaticamente a dinâmica do estado (a recorrência) se a interface mascarar a magnitude do estado.
• Limitação de Escopo: Os autores observam modestamente que suas conclusões baseiam-se em configurações específicas (WikiText-103, modelos de 44M/129M, avaliação com teacher forcing) e que o mecanismo é local. Eles não afirmam resolver todos os problemas de estabilidade em modelos em loop, mas abordam especificamente a natureza sub-determinada da escala em loops de readout invariantes à escala.

O artigo conclui que modelos em loop de profundidade adaptativa exigem tanto saídas treinadas (via perda por loop) quanto um mecanismo para controlar a escala recorrente ativa (via visibilidade ou remoção), e que estes são requisitos de design ortogonais.