💬 NLP

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

Este artigo introduz o Hidden Decoding, um novo método de escalonamento que aprimora Grandes Modelos de Linguagem ao expandir a computação de tokens ao longo da dimensão do comprimento da sequência por meio de fatoração de fluxo, permitendo ganhos significativos de desempenho em escalas de fronteira sem modificar a espinha dorsal fixa do Transformer ou incorrer em custos de treinamento proibitivos.

Autores originais: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Sh

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô superinteligente (um Grande Modelo de Linguagem) que já é bastante incrível. Normalmente, para torná-lo ainda mais inteligente, os cientistas tentam aumentar o tamanho do cérebro — adicionando mais camadas, mais neurônios, mais de tudo. Mas isso é como tentar construir um arranha-céu em cima de um arranha-céu: custa uma fortuna, leva uma eternidade e, às vezes, a equipe de construção (os computadores de treinamento) simplesmente não consegue lidar com o tamanho.

A equipe de IA do WeChat fez uma pergunta diferente: E se mantivermos o céreamente exatamente do mesmo tamanho, mas dermos a ele mais tempo para pensar sobre cada palavra?

O Problema do "Looping"

Alguns pesquisadores tentaram resolver isso fazendo o robô "repetir" seu pensamento. Imagine um estudante lendo uma frase, depois lendo a mesma frase novamente, e novamente, usando as mesmas células cerebrais repetidas vezes para obter uma resposta melhor. Isso é chamado de um modelo "em loop" ou "recorrente".

Mas aqui está o problema: quando você tenta treinar os maiores robôs (aqueles com centenas de bilhões de parâmetros), essa ideia de looping quebra a linha de montagem. Os computadores que treinam esses modelos trabalham em um pipeline, onde cada parte do cérebro faz seu trabalho uma vez e passa o bastão. Se você fizer o robô parar e reler a mesma frase, a linha inteira trava, e os computadores caros ficam ociosos. É como uma esteira de fábrica que fica parando para deixar um trabalhador refazer o mesmo parafuso; a fábrica para completamente.

A Solução: "Decodificação Oculta" (A Linha de Montagem Secreta)

A equipe do WeChat criou um truque inteligente chamado Decodificação Oculta (Hidden Decoding). Em vez de fazer o robô ler a mesma palavra repetidamente em um loop, eles fazem o robô ler a palavra múltiplas vezes ao mesmo tempo, mas em faixas paralelas e secretas.

Pense nisso como uma equipe de corrida de carros. Em vez de um carro dar três voltas na pista para conseguir o melhor tempo de volta, eles enviam quatro carros idênticos (fluxos/streams) pela pista simultaneamente.

A Configuração: Quando o robô vê uma palavra (como "maçã"), ele não apenas a transforma em um código. Ele a transforma em quatro códigos diferentes, cada um indo para sua própria faixa secreta.
O Trabalho Secreto: Essas quatro faixas passam pelas camadas do cérebro. As três primeiras faixas são "ocultas". Elas fazem todo o trabalho pesado, o pensamento e o raciocínio, mas não podem falar a resposta ainda. Elas são como a equipe de brainstorm em uma sala nos fundos.
A Palavra Final: Apenas a quarta faixa (o fluxo final) tem permissão para gritar a próxima palavra. O cérebro só é avaliado por esta resposta final.
A Memória: Crucialmente, o cérebro lembra o que as três primeiras faixas pensaram. Ele guarda suas notas (chamadas de "caches de Chave-Valor") para que a próxima palavra possa ler as notas de brainstorm da palavra anterior.

Desta forma, o robô recebe quatro vezes o poder de pensamento para cada palavra, mas não precisa construir um cérebro maior nem interromper a linha de montagem. Ele apenas processa uma sequência de dados mais longa de uma só vez.

Tornando-o Acessível: O Truque da "Estrutura de Fluxo"

Você pode pensar: "Espere, se eu tiver quatro faixas conversando entre si, a matemática não ficará loucamente complicada?". Se cada faixa tentasse falar com todas as outras em cada etapa, o custo explodiria (ele subiria 16 vezes!).

Para corrigir isso, a equipe usou um método chamado Atenção Estruturada por Fluxo (Stream-Factorized Attention).

Na maior parte do tempo: As faixas permanecem em suas próprias bolhas. A Faixa 1 fala com a Faixa 1, a Faixa 2 com a Faixa 2. Elas não incomodam umas às outras.
Às vezes: Apenas algumas camadas específicas permitem que as faixas troquem notas e misturem suas ideias.

Isso mantém o custo baixo. Em vez de o custo saltar 16 vezes, ele sobe apenas cerca de 4,4 a 5,1 vezes (o que é próximo do aumento de 4x nas faixas). Isso torna possível treinar esses modelos supergrandes sem quebrar o banco.

Funcionou?

A equipe testou isso em dois modelos massivos: um com 80 bilhões de parâmetros e um gigante com 617 bilhões. Eles não mudaram o tamanho do cérebro; eles apenas ativaram o "modo de 4 faixas".

Os Resultados: Os modelos ficaram mais inteligentes. Em testes difíceis de matemática e ciência, o modelo de 617 bilhões melhorou sua pontuação no teste "GPQA Diamond" de 89,1 para 91,2. No teste de física "PHYBench", foi de 75,3 para 76,3.
A Tendência: Eles também testaram com 2 faixas, 4 faixas e 8 faixas. À medida que adicionavam mais faixas, as pontuações continuavam subindo. Isso sugere que adicionar mais "faixas de pensamento" é uma forma real de tornar os modelos mais inteligentes sem reconstruí-los.

O Que Eles Descartaram

A equipe foi cuidadosa para verificar se isso era apenas uma coincidência. Eles tentaram outras formas de usar as faixas extras:

Forçar cada faixa a adivinhar: Se eles fizessem as três primeiras faixas tentarem prever a resposta também (em vez de apenas a última), o modelo na verdade ficava pior.
Misturar as respostas: Se eles apenas fizessem a média dos pensamentos de todas as quatro faixas, isso também não funcionava tão bem quanto deixar a última faixa decidir.
Compartilhar as notas: Se eles fizessem as faixas compartilharem as mesmas notas de memória em vez de manterem as suas próprias, o modelo ficava ligeiramente menos preciso.

Isso prova que o ingrediente secreto é deixar as primeiras faixas realizarem um pensamento silencioso e privado e manter suas notas separadas, para que a última faixa possa usar essa sabedoria profunda e acumulada para fazer a melhor suposição.

A Conclusão

A Decodificação Oculta mostra que você nem sempre precisa de um cérebro maior para ser mais inteligente. Às vezes, você só precisa dar ao cérebro mais tempo para pensar em paralelo. Ao transformar uma única palavra em uma linha de montagem secreta de pensamentos, a equipe do WeChat encontrou uma maneira de aumentar a inteligência de modelos de escala de fronteira sem o custo massivo de construir um novo, maior. É uma maneira prática e de engenharia para extrair mais inteligência dos modelos que já possuímos.

Resumo Técnico: Hidden Decoding em Escala

Declaração do Problema

O escalonamento de Grandes Modelos de Linguagem (LLMs) tradicionalmente dependeu do aumento do backbone Transformer, o que exige rodadas dispendiosas de pré-treinamento e aumenta os custos de serviço. Para modelos de fundação já robustos, a expansão adicional do backbone é frequentemente impraticável. Embora trabalhos recentes sugiram que alocar mais computação por token (mesmo com parâmetros fixos) pode melhorar o raciocínio e a precisão, as abordagens existentes enfrentam obstáculos significativos de escalabilidade:

Transformers de Profundidade Recorrente (Looped): Eles reutilizam os mesmos blocos Transformer várias vezes por token para aumentar a computação. No entanto, são difíceis de escalar para modelos de fronteira (ex: 100B+ parâmetros) porque a natureza iterativa da computação em loop quebra as suposições de paralelismo de pipeline usadas para treinar os maiores modelos, gerando tempo de ociosidade nas GPUs.
Expansão do Comprimento da Sequência: Simplesmente alimentar entradas mais longas é compatível com pipelines de treinamento padrão, mas requer um método para expandir a computação sem apenas aumentar a janela de contexto para o mesmo token.

O artigo aborda o desafio de melhorar um backbone Transformer existente aumentando a computação por token sem alterar a profundidade ou a largura do backbone, mantendo a compatibilidade com o paralelismo de pipeline e a infraestrutura de treinamento em larga escala.

Metodologia: Hidden Decoding

Os autores propõem o Hidden Decoding, um método de escalonamento de comprimento de sequência aplicado durante o Treinamento Contínuo (CPT). O mecanismo central expande cada token de entrada em $n$ fluxos paralelos processados dentro de uma única passagem direta (forward pass).

1. Expansão de Token Multi-Fluxo

Expansão de Embedding: Em vez de uma única tabela de embedding de vocabulário, o modelo utiliza $n$ tabelas de embedding independentes ( $E_1, \dots, E_n$ ). Um token de entrada $x_i$ é expandido em uma sequência de $n$ representações: $(E_1(x_i), E_2(x_i), \dots, E_n(x_i))$ .
Construção da Sequência: Essas representações são intercaladas para formar uma sequência expandida de comprimento $nL$ (onde $L$ é o comprimento da sequência original).
Objetivo de Treinamento: Apenas o fluxo final ( $E_n$ ) é supervisionado. O modelo prevê o próximo token $x_{i+1}$ com base no estado oculto da posição do fluxo final. Os primeiros $n-1$ fluxos atuam como "estados de computação latente" sem perda direta, permitindo que refinem a representação internamente antes da previsão final.

2. Atenção Fatorizada por Fluxo (Stream-Factorized Attention)

Para evitar que o custo de atenção escale quadraticamente ( $O(n^2 L^2)$ ) com o comprimento da sequência expandida, os autores introduzem a Atenção Fatorizada por Fluxo:

Camadas Intra-Fluxo: A maioria das camadas restringe a atenção a posições dentro do mesmo fluxo. Isso reduz a complexidade para aproximadamente $O(nL^2)$ .
Camadas Cross-Stream: Um pequeno subconjunto de camadas (por exemplo, atenção total ou camadas de janela deslizante do modelo base) permite a mistura entre fluxos.
Eficiência: Este design mantém o custo de atenção adicional próximo de linear em $n$ , em vez de quadrático, tornando o método treinável para modelos com mais de 100B de parâmetros.

3. Expansão Progressiva e Inicialização

Para gerenciar o treinamento de grandes fatores de expansão, os autores empregam Expansão Progressiva (ex: $n=1 \to 2 \to 4 \to 8$ ). Eles utilizam Inicialização por Replicação Cíclica, onde novas tabelas de embedding são inicializadas copiando as existentes (ex: $E_{n+k} \leftarrow E_k$ ). Isso permite que o modelo reproduza o comportamento da configuração menor inicialmente e depois se adapte suavemente.

4. Otimizações Arquiteturais (Específicas de WeLM)

Para o backbone WeLM, os autores aproveitam um design KV-Mirror. Como os fluxos intermediários não carregam perda e apenas contribuem com contexto via Chaves e Valores (KV), as camadas espelhadas (que computam KV de camadas anteriores) podem pular o processamento dos fluxos intermediários inteiramente. Isso reduz ainda mais o tempo de treinamento em aproximadamente 20% em sua configuração de modelo de 80B.

Principais Contribuições

Escalonamento de Backbone Fixo em Escala de Fronteira: O artigo demonstra a primeira aplicação bem-sucedida de escalonamento de comprimento de sequência na escala de 100B+ MoE. Eles treinaram o WeLM-HD4-80B e o WeLM-HD4-617B (com $n=4$ ), alcançando melhorias de desempenho sobre seus contrapartes não-HD sem ampliar o backbone Transformer.
Expansão Eficiente de Comprimento de Sequência: A introdução da Atenção Fatorizada por Fluxo permite o treinamento com sequências expandidas a um custo que é quase linear em $n$ (ex: uma expansão de 4x custa ~4.4x–5.1x por lote, muito abaixo do custo de 16x da atenção densa).
Escalonamento do Fator de Expansão: Experimentos mostram que aumentar o fator de expansão $n$ (de 2 para 8) melhora consistentemente a perda de modelagem de linguagem e a precisão em tarefas de downstream, validando $n$ como um controle prático de escalonamento para backbones fixos.

Resultados Experimentais

Os autores avaliaram o Hidden Decoding em modelos MoE de escala de fronteira e baselines densos:

Desempenho de Escala de Fronteira (WeLM-HD4-80B & 617B):
- O WeLM-HD4-80B superou o WeLM-80B em todos os nove benchmarks rigorosos compartilhados, com ganhos significativos em SciCode (+4.2), PHYBench (+4.0) e FrontierMath (+3.2).
- O WeLM-HD4-617B melhorou em relação ao WeLM-617B em todos os nove benchmarks, incluindo GPQA Diamond (+2.1), HLE (+1.8) e FrontierMath (+2.0).
- Esses modelos foram treinados usando uma receita de pós-treinamento inicial de apenas SFT para garantir uma comparação controlada, isolando o efeito do Hidden Decoding.
Escalonamento com o Fator de Expansão ( $n$ ):
- No Qwen3-8B-Base denso, aumentar $n$ de 1 para 8 resultou em melhorias monotônicas na precisão média (ex: MMLU melhorou de 78.2 para 81.6).
- No 80B MoE, aumentar $n$ de 1 para 8 elevou o MMLU de 85.0 para 87.5 e reduziu o Pile-test BPB de 0.386 para 0.378.
Estudos de Ablação:
- Design de Supervisão: Supervisionar apenas o fluxo final rendeu melhores resultados do que aplicar a perda a todos os fluxos ou somar as saídas dos fluxos.
- Retenção de KV: Reter caches de KV separados para cada fluxo (em vez de compartilhá-los) melhorou a precisão, confirmando que os fluxos intermediários fornecem um contexto distinto e útil.
- Composição de Atenção: Modelos com apenas algumas camadas de mistura total entre fluxos (ex: 4 de 27) performaram quase tão bem quanto modelos com mistura total em todas as camadas, validando a eficiência da Atenção Fatorizada por Fluxo.
Throughput de Inferência:
- O Hidden Decoding mantém um alto throughput em cenários de baixa latência e pequenos lotes (retendo 83–88% do throughput do baseline com tamanho de lote 1).
- O throughput diminui em cenários de contexto longo e lotes altos (caindo para ~27% com tamanho de lote 32 e 32k de entrada), refletindo o aumento da computação por token.

Significância e Alegações

O artigo afirma que o Hidden Decoding fornece um caminho prático e de engenharia realista para escalar LLMs de fronteira quando a expansão adicional do backbone é muito custosa.

Compatibilidade: Ao contrário dos Transformers em loop, o Hidden Decoding se ajusta naturalmente ao paralelismo de pipeline e aos pacotes de treinamento de modelos grandes padrão, porque a computação extra se manifesta como uma sequência mais longa, em vez de profundidade iterativa.
Efetividade: É o primeiro método demonstrado que escala com sucesso a expansão do comprimento da sequência para o regime de 100B+ MoE, gerando melhorias mensuráveis em benchmarks de raciocínio e conhecimento.
Escalabilidade: O método prova que o fator de expansão $n$ é um eixo de escalonamento viável, oferecendo ganhos de desempenho que crescem com $n$ sem exigir novas arquiteturas de modelo ou um novo treinamento massivo do backbone.

Os autores posicionam este trabalho como uma solução para o "muro de escalonamento" enfrentado por modelos de fundação fortes, ofereando uma maneira de extrair mais capacidade dos parâmetros existentes através de computação latente eficiente.