🤖 AI

Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers

Este artigo demonstra que transformers de recorrência de profundidade exibem convergência de tokens para pontos fixos, permitindo um mecanismo de parada antecipada por token livre de treinamento que alcança qualidade uniforme com profundidade computacional média significativamente reduzida em comparação tanto com a inferência de profundidade fixa quanto com estratégias de roteamento aprendidas.

Autores originais: Joe Logan

Publicado 2026-07-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Joe Logan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Mundo das Máquinas de Pensar

Imagine uma biblioteca gigante onde cada livro é escrito por um robô superinteligente. Este robô não apenas lê palavras; ele tenta entender o significado por trás delas. No mundo da inteligência artificial, esses robos são chamados de "transformers". Eles trabalham olhando para uma frase e perguntando: "Qual palavra vem a seguir?". Para fazer isso, eles passam a frase por uma série de "camadas" mentais, como um novelo de lã sendo puxado através de uma série de arcos. Cada arco adiciona um pouco mais de compreensão.

Normalmente, esses robôs são construídos para puxar a lã através de um número fixo de arcos — digamos, oito. Se a frase for simples, como "O gato sentou", o robô pode precisar de apenas três arcos para acertar. Mas se a frase for um enigma complexo, ele pode precisar de todos os oito. O problema é que o robô é construído da mesma forma todas as vezes. Ele puxa a lã através de oito arcos para cada frase, mesmo para as fáceis. Isso é como usar uma marreta para quebrar uma noz: funciona, mas desperdiça muita energia e tempo. Cientistas têm tentado descobrir como permitir que o robô pare de pensar mais cedo quando terminar, economizando energia sem perder sua inteligência. Este artigo mergulha em uma nova maneira inteligente de fazer exatamente isso.

O Artigo: Quando Parar de Pensar

Este estudo analisa um tipo especial de modelo de IA chamado "transformer recorrente de profundidade". Pense neste modelo não como uma linha de montagem de fábrica com um número fixo de estações, mas como uma única estação superinteligente que pode ser visitada repetidamente. O robô pega uma palavra, passa ela pela estação, obtém uma nova versão da palavra e, então, passa essa nova versão pela mesma estação novamente. Ele pode fazer esse ciclo (loop) quantas vezes forem necessárias.

Os pesquisadores queriam saber duas coisas: Primeiro, este robô realmente fica mais inteligente quanto mais vezes ele repete o ciclo, ou ele está apenas girando em falso? Segundo, podemos dizer exatamente quando o robô "decifrou" uma palavra específica para que possamos interromper o ciclo para essa palavra e seguir em frente?

A Descoberta: Encontrando o "Ponto Fixo"

A equipe treinou um modelo em uma enorme coleção de textos educativos (cerca de 12,9 bilhões de palavras) e observou o que acontecia dentro de seu cérebro. Eles descobriram algo incrível: para cada palavra, o robô eventualmente para de mudar de ideia.

Imagine que você está tentando adivinhar o final de uma história. No começo, você pode pensar: "Talvez seja um cachorro?". Depois você pensa: "Não, talvez seja um gato?". Então: "Espera, é definitivamente um cachorro". Eventualmente, você para de adivinhar e apenas diz: "É um cachorro". Esse momento de certeza é chamado de "ponto fixo".

Os pesquisadores mediram o quanto o palpite do robô mudava de um ciclo para o outro. Eles descobriram que o "pensamento" se estabiliza incrivelmente rápido. No 16º ciclo, a mudança no palpite do robô era tão minúscula que era quase zero (especificamente, a diferença caiu de 0,39 para 0,0000085). Mas aqui está o detalhe: nem todas as palavras levam o mesmo tempo para se estabilizar.

As Palavras "Fáceis": Palavras simples como espaços ou sinais de pontuação geralmente se resolvem até o 6º ciclo.
As Palavras "Difíceis": Palavras de conteúdo complexas continuam pensando por mais tempo. Cerca de 10% das palavras ainda estão mudando de ideia até o 8º ciclo, que foi o número médio de ciclos que o robô foi treinado para fazer.

O Grande Testo: Lendo a Mente vs. Adivinhando a Mente

A parte mais emocionante do artigo é como eles usaram essa descoberta. Eles perguntaram: "Podemos apenas observar o cérebro do robô e pará-lo no momento em que ele parar de mudar?" Ou, precisamos treinar um sistema separado e complicado para prever quando parar?

Eles tentaram duas abordagens:

A Regra "Gratuita" (Lendo a Mente): Eles estabeleceram uma regra simples: "Se o palpite do robô para uma palavra não mudar muito entre os ciclos, pare de processar essa palavra e passe para a próxima". Esta regra não exigiu treinamento extra nem poder cerebral adicional.
A Regra "Treinada" (Adivinhando a Mente): Eles tentaram ensinar um programa de computador separado e simples a olhar para o estado do robô e prever: "Ah, esta palavra está pronta!". Isso é como contratar um gerente para dizer aos trabalhadores quando bater o ponto de saída.

O Resultado: A regra "Gratuita" foi a grande vencedora. Ela alcançou a mesma alta qualidade de rodar o robô por 8 ciclos completos, mas utilizou uma média de 4,94 ciclos. Isso é uma redução de 38% no trabalho! A regra "Treinada", no entanto, falhou em economizar tempo. Ela precisou rodar quase os 8 ciclos completos para obter o mesmo resultado.

O artigo sugere que os próprios sinais internos do robô são tão claros que tentar aprender uma nova maneira de prevê-los é, na verdade, uma perda de tempo. O robô diz exatamente quando terminou; você só precisa ouvir.

O Que Isso Significa (e O Que Não Significa)

Os pesquisadores são cuidadosos ao dizer que isso ainda não é um botão de aceleração mágica para todos os computadores. Eles mediram a "profundidade média" (quantos ciclos em média), o que é uma boa estimativa de quanto trabalho foi economizado, mas ainda não construíram um sistema especial para realmente rodar os ciclos mais rápido em um chip de computador real. Portanto, embora a matemática diga que economizaram 38% do trabalho, o tempo real economizado em uma tela de computador pode ser menor até que engenheiros construam sistemas melhores para lidar com essas "saídas antecipadas".

Além disso, eles descobriram que o robô para de ficar mais inteligente assim que atinge o número de ciclos para o qual foi treinado. Se você o treinou para uma média de 8 ciclos, ele para de melhorar após 8 ciclos. Ele não fica magicamente melhor se você forçar a execução de 32 ciclos. Isso sugere que a "inteligência" do robô é definida durante o seu treinamento, e não apenas pelo tempo que você o deixa pensar.

A Conclusão

Este artigo mostra que, nesses modelos de IA de repetição (looping), cada palavra tem sua própria "velocidade de pensamento". Algumas palavras são resolvidas rapidamente, enquanto outras precisam de mais tempo. Ao simplesmente observar o céreamente do robô e interromper o ciclo no momento em que a palavra se estabiliza, podemos economizar uma quantidade massiva de energia sem perder nenhuma inteligência. E o melhor? Não precisamos ensinar o robô a parar; ele já sabe quando terminou. Nós apenas precisamos deixá-lo nos contar.

Resumo Técnico: Convergência de Ponto Fixo por Token em Transformers de Recorrência de Profundidade

Definição do Problema
Transformers padrão de profundidade fixa vinculam a qualidade do modelo a um único ponto de operação computacional. Servir múltiplas camadas de qualidade/custo exige o treinamento e armazenamento de modelos separados, enquanto adaptar o computo à dificuldade do input durante a inferência sacrifica o cache de prompt. Transformers de recorrência de profundidade (aplicando um núcleo com pesos compartilhados um número variável de vezes) oferecem uma solução teórica, permitindo que um único conjunto de parâmetros opere em uma gama de profundidades. Trabalhos anteriores frequentemente confundem duas propriedades distintas: robustez de profundidade (produzir saídas úteis em profundidades não treinadas) e alocação de profundidade (determinar quanta profundidade cada token específico requer). As abordagens existentes para alocação por token sofrem de limitações significativas: métodos de saída antecipada (early-exit) em pilhas não compartilhadas falham devido a inconsistências no cache de chave-valor (KV cache); métodos de mistura de recorrências (mixture-of-recursions) fixam o orçamento de computo nos pesos durante o pré-treinamento, impedindo o redirecionamento post-hoc; e políticas de interrupção (halting) treinadas conjuntamente podem colapsar para profundidades degeneradas ou exigir ajustes delicados. Crucialmente, nenhum trabalho anterior mediu diretamente o computo por token de um modelo elástico treinado para determinar se uma política simples, livre de treinamento, poderia superar as aprendidas.

Metodologia
Os autores propõem uma abordagem de dois estágios que separa a robustez de profundidade da alocação de profundidade:

Robustez de Profundidade (Pré-treinamento): Um backbone de profundidade aleatória é treinado usando uma receita mínima. Em cada passo do otimizador, uma contagem de recursão $r$ é amostrada de uma distribuição log-normal e aplicada a todo o passo. O modelo utiliza perda de entropia cruzada padrão, sem unidades de interrupção, perda de ponderação (ponder loss) ou penalidades de FLOPs. A arquitetura consiste em um prelúdio único, um núcleo de pesos compartilhados (com reinjeção de entrada e normalização sandwich para evitar o colapso de estado) e um coda único.
Alocação de Profundidade (Política Post-hoc): Uma vez congelado o backbone, três políticas são avaliadas no mesmo modelo para determinar a profundidade por token:
- A0 (Profundidade Uniforme): Aplica uma contagem de loop $r$ fixa a todos os tokens (baseline).
- A1 (Saída por Convergência): Uma regra livre de treinamento que interrompe um token assim que a divergência KL entre distribuições de saída sucessivas ( $KL(p_i || p_{i-1})$ ) cai abaixo de um limiar $\epsilon$ .
- A2 (Roteador Rotulado por Oráculo): Uma sonda linear treinada nos próprios estados ocultos do modelo para prever se a previsão do argmax de um token mudará em loops futuros.

Principais Contribuições

Medição Direta por Token: O estudo fornece a primeira caracterização da convergência por token em um modelo de linguagem de recorrência de profundidade. Demonstra que o estado recorrente converge para um ponto fixo por token. Enquanto o token mediano converge no sexto loop, uma cauda de aproximadamente 10% dos tokens continua a atualizar na profundidade média de treinamento de oito. A profundidade de convergência é ordenada por tipo de token (espaços em branco convergem mais superficialmente, palavras de conteúdo mais profundamente).
Leitura vs. Aprendizado de Convergência: O artigo demonstra que ler diretamente a dinâmica do estado do modelo supera o aprendizado para prever essas dinâmicas. A saída de convergência livre de treinamento (A1) atinge a qualidade de profundidade-8 uniforme com uma média de 4,94 loops (uma redução de 38% na profundidade média). Em contraste, o roteador linear (A2), treinado com rótulos de convergência extraídos do próprio modelo, requer quase a profundidade total (7,99 loops) e não gera redução.
Hipótese de Saturação da Média de Treinamento: Apoiados por dados internos e verificações de consistência externa, os autores hipotetizam que a profundidade útil de um modelo recursivo satura em sua distribuição média de loops do tempo de treinamento. Modelos treinados com média de 4 saturam na profundidade 4; modelos com média de 8 saturam na profundidade 8.

Resultados

Elasticidade: O backbone de profundidade aleatória exibe melhoria de qualidade monotônica da profundidade 1 para 8, após a qual a perda de validação estabiliza (3,20 nats) mesmo até 32 loops. Isso confirma que o modelo é robusto em profundidade sem precisar de ajuste específico para cada profundidade.
Dinâmica de Convergência: A divergência KL média de saídas sucessivas cai de $3,9 \times 10^{-1}$ no loop 2 para $8,5 \times 10^{-6}$ no loop 16. A mudança de estado decai por passo, confirmando que o sistema atinge um ponto fixo em vez de girar inutilmente.
Eficiência de Alocação: A política A1, livre de treinamento, iguala a qualidade de um modelo de profundidade-8 uniforme com 4,94 loops médios. Ela supera o baseline uniforme em profundidades rasas e iguala-o na faixa de profundidade média. O roteador aprendido (A2) falha em fornecer economia, exigindo quase a profundidade total para igualar o baseline.
Comportamento por Token: Tokens estruturais (espaços em branco) saem mais cedo, enquanto tokens de conteúdo computam por mais tempo. A ordem relativa de numerais e palavras inverte entre os datasets (TinyStories vs. FineWeb-Edu), atribuída a mudanças de distribuição em vez de falha arquitetônica.
Limites de Eficiência: Embora o estudo reporte uma redução de 38% na profundidade média (um proxy de FLOP), nota explicitamente que o ganho de velocidade real depende de batching contínuo por profundidade, que não foi implementado. O melhor caso de ganho de velocidade real é estimado em 1,48–1,51x, enquanto o harness atual mostra 0% de ganho real devido ao mascaramento em vez de salto de execução (skipping work).

Significância e Alegações
O artigo afirma que a "elasticidade" dos transformers de recorrência de profundidade é uma propriedade estável que pode ser aproveitada via políticas simples e livres de treinamento. O achado central é que a variação por token na profundidade de convergência é diretamente legível e explorável, tornando desnecessárias e menos eficazes as complexas políticas de interrupção aprendidas. Os autores posicionam este trabalho como um estudo de medição e alocação, em vez de uma contribuição para o backbone elástico subjacente (ao qual atribuem trabalhos anteriores como Huginn e LoopFormer).

O estudo é modesto em seu escopo:

Os resultados são estabelecidos em uma única escala (parâmetros da classe 135M) e uma única semente (para o modelo principal).
Não é alegada paridade de FLOPs contra transformers padrão; as comparações são feitas contra uma referência de teto (SmolLM2-135M) que possui uma vantagem de 150x na contagem de tokens.
O ganho de velocidade real não é reportado como uma métrica final, mas como um intervalo entre a redução de FLOPs e o potencial de batching de melhor caso.
A hipótese de que a profundidade de saturação é igual à profundidade média de treinamento é apresentada como uma hipótese aberta apoiada por dados limitados, não como uma lei comprovada.

O estudo completo foi reproduzido em uma única RTX 4090 em aproximadamente 100 horas de GPU.