💬 NLP

Hierarchical Latent Prediction for Language Models

Este artigo introduz o Hierarchical Latent Prediction (HiLP), um novo objetivo auxiliar que utiliza latentes abstratos de nível superior para mitigar o acúmulo de erro em rollouts de espaço latente, melhorando, assim, o raciocínio de longo horizonte, o desempenho de codificação e a eficiência de decodificação especulativa em modelos de linguagem.

Autores originais: Chang Shi, Tim Pearce, Manan Tomar, Siddhartha Sen, John Langford

Publicado 2026-08-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chang Shi, Tim Pearce, Manan Tomar, Siddhartha Sen, John Langford

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a escrever uma história. A maneira padrão de fazer isso é chamada de "Previsão do Próximo Token" (Next-Token Prediction). É como um jogo de "Mad Libs" onde o robô olha para a última palavra que você escreveu e adivinha a próxima. Se você disser "O gato sentou no", o robô adivinha "tapete". Então, você fornece a ele "O gato sentou no tapete", e ele adivinha "macio". Esse método construiu robôs incrivelmente inteligentes, mas tem uma falha. Como o robô olha apenas um passo à frente, ele pode se perder em histórias longas. Se ele cometer um erro minúsculo no início, esse erro vai crescendo conforme ele continua adivinhando, como uma bola de neve rolando montanha abaixo. Isso é chamado de "viés de exposição" (exposure bias).

Para corrigir isso, cientistas tentaram ensinar o robô a olhar alguns passos à frente ou a adivinhar a "vibe" das próximas palavras em vez de apenas a próxima letra. Mas esses métodos costumam ter seus próprios problemas: ou não conseguem enxergar longe o suficiente no futuro, ou ficam confusos com seus próprios erros quando tentam planejar muito longe à frente. A grande questão é: Podemos ensinar o robô a entender a estrutura da história em múltiplos níveis ao mesmo tempo — como conhecer o enredo de um capítulo enquanto também conhece a próxima frase — sem tornar o robô muito lento ou complicado de usar?

É exatamente isso que os pesquisadores da Microsoft Research e da Universidade do Texas em Austin abordaram em seu novo artigo, "Hierarchical Latent Prediction for Language Models". Eles introduziram um novo e inteligente método de treinamento chamado HiLP (Hierarchical Latent Prediction). Pense no cérebro do robô como tendo duas camadas de pensamento. A primeira camada é a visão "ao nível da rua", que foca na próxima palavra imediata, exatamente como o método antigo. A segunda camada é a visão "de helicóptero", que olha para um bloco de palavras de uma só vez para entender o quadro geral, como um parágrafo ou uma cena.

Em seus experimentos, os pesquisadores ensinaram o robô a usar essa "visão de helicóptero" como uma ferramenta de treinamento secreta. Eles criaram uma camada "abstrata" especial que resume as últimas palavras em um único conceito de alto nível. Então, pediram ao robô para prever onde esse conceito de alto nível estaria alguns passos no futuro. Isso forçou o robô a aprender como a história deve fluir ao longo de uma distância maior, não apenas de palavra para palavra. Crucialmente, essa "visão de helicóptero" é usada apenas durante o treinamento. Assim que o robô termina de aprender, os pesquisadores descartam as camadas extras. Quando o robô estiver escrevendo uma história para você, ele usará apenas a visão simples e rápida "ao nível da rua". Isso significa que o robô fica mais inteligente no planejamento de longo prazo sem se tornar mais lento ou pesado para rodar.

Os resultados sugerem que essa abordagem funciona bem. Quando testaram o novo robô em tarefas de codificação e quebra-cabeças de raciocínio de múltiplos passos, ele teve um desempenho melhor do que métodos anteriores que tentavam olhar à frente. Por exemplo, em um benchmark de codificação chamado HumanEval, o novo método alcançou uma pontuação de 11,33, superando o método padrão (que pontuou 8,77) e outras tentativas recentes como o NextLat (que pontuou 10,58). Os pesquisadores também descobriram que este método tornou a "decodificação especulativa" (speculative decoding) mais eficiente. Esta é uma técnica onde o robô adivinha várias palavras de uma vez para acelerar o processo; com o HiLP, os palpites do robô foram mais precisos, o que significa que ele perdeu menos tempo se corrigindo.

O artigo argumenta que, embora olhar apenas um passo à frente seja bom para detalhes locais, falha em capturar a estrutura de longo prazo da linguagem. Ao adicionar essa "visão de helicóptero" hierárquica durante o treinamento, o robô aprende a manter seus objetivos de longo prazo em mente, reduzindo o "efeito bola de neve" dos erros. Os autores sugerem que este método oferece uma maneira de obter os benefícios do planejamento de longo horizonte sem as trocas usuais de velocidade ou complexidade, embora notem que a distância específica de "olhar à frente" que usaram foi uma configuração manual, e trabalhos futuros poderiam torná-la mais flexível. Em última análise, o HiLP mostra que ensinar um modelo de linguagem a ver a floresta e as árvores durante a prática pode ajudá-lo a escrever histórias melhores, mesmo que ele use apenas as árvores na hora de apresentar o desempenho.

Resumo Técnico: Predição de Latentes Hierárquicos para Modelos de Linguagem

Definição do Problema

A Predição de Próximo-Token (NTP) padrão com treinamento de teacher-forcing permitiu o desenvolvimento de modelos de linguagem transformer altamente capazes. No entanto, este paradigma introduz um descompasso entre treinamento e inferência conhecido como viés de exposição (exposure bias). Durante a inferência, a geração auto-regressiva depende das próprias saídas anteriores do modelo, em vez da verdade fundamental (ground truth), levando a erros cumulativos que degradam a qualidade da geração de longo alcance.

Tentativas recentes de mitigar isso, como a Predição de Múltiplos Tokens (MTP) e a Próxima Predição de Latente (NextLat), introduzem objetivos auxiliares para prever tokens futuros ou estados latentes. Contudo, essas abordagens enfrentam limitações:

MTP frequentemente sofre com erros cumulativos durante rollouts de múltiplos passos.
NextLat impõe a autopredição em um espaço latente, mas tipicamente prevê apenas um passo à frente. Embora seja eficaz para a consistência de transição local, fornece apenas uma pressão de gradiente indireta para capturar estrutura em escalas temporais mais longas, deixando dependências de longo horizonte atenuadas pela dinâmica sequencial de desenrolar (unrolling).

O desafio central é como moldar a representação de um modelo de linguagem para codificar estruturas preditivas multiescala durante o pré-treinamento sem incorrer em sobrecarga arquitetônica ou latência de inferência.

Metodologia: Predição de Latentes Hierárquicos (HiLP)

Os autores propõem a Predição de Latentes Hierárquicos (HiLP), um método de treinamento que introduz hierarquia temporal no objetivo de autopredição no espaço latente. A arquitetura consiste em quatro mapas parametrizados aprendidos conjuntamente: um cabeçalho de saída ( $p_\theta$ ), dinâmica de nível inferior ( $p_\psi$ ), dinâmica de nível superior ( $p_\phi$ ) e um cabeçalho NTP combinado ( $p_\rho$ ).

Componentes da Arquitetura

Latentes de Nível Inferior ( $h_t$ ): Um transformer de base $G_\theta$ produz latentes de nível inferior $h_t$ a partir do prefixo de tokens $X_{1:t}$ .
Latentes Abstratos de Nível Superior ( $u_t$ ): Um módulo de atenção de janela deslizante (SWA) com tamanho de janela $k$ agrega os últimos $k$ estados de nível inferior em um latente abstrato de nível superior: $u_t = \text{SWA}(h_{t-k+1:t})$ .
Dinâmica de Nível Superior: Um modelo $p_\phi$ prevê $k$ passos à frente no espaço abstrato ( $\hat{u}_{t+k}$ ) sem entrada de token, incentivando o planejamento de antecipação (lookahead planning) além de transições de passo único.
Cabeçalho NTP Combinado: A predição do próximo token é condicionada tanto ao latente de nível inferior $h_t$ quanto ao latente de nível superior $\tilde{u}_t$ (onde $\tilde{u}_t$ inclui um stop-gradient para evitar que o cabeçalho combinado atualize os latentes inferiores através da janela SWA).

Objetivos de Treinamento

O loss total é uma soma ponderada de cinco termos:

Loss NTP Padrão ( $L_{ntp}$ ): Entropia cruzada padrão para predição de próximo-token.
Consistência de Transição de Nível Inferior ( $L_h$ ): Loss SmoothL1 garantindo que o modelo de dinâmica de nível inferior $p_\psi$ preveja com precisão o próximo estado latente de nível inferior.
Divergência KL ( $L_{KL}$ ): Garante que a distribuição dos latentes previstos de nível inferior corresponda à distribuição alvo.
Consistência de Transição de Nível Superior ( $L_u$ ): Loss SmoothL1 garantindo que o modelo de dinâmica de nível superior $p_\phi$ preveja com precisão o latente abstrato $k$ passos à frente.
Loss NTP Combinado ( $L_{cntp}$ ): Entropia cruzada para o cabeçalho combinado, aproveitando tanto $h_t$ quanto $\tilde{u}_t$ .

Estratégia de Inferência: Uma característica de design crítica do HiLP é que todo o aparato hierárquico (módulo SWA, modelos de dinâmica e cabeçalho combinado) é descartado no momento da inferência. Apenas o cabeçalho NTP padrão é utilizado, garantindo zero sobrecarga arquitetônica e nenhum aumento na latência de inferência.

Principais Contribuições

Treinamento de Representação Hierárquica: A introdução do HiLP, que integra o aprendizado de autopredição multiescala no pré-treinamento do transformer via atenção de janela deslizante sobre latentes, um modelo de dinâmica de nível superior e um cabeçalho NTP combinado.
Avaliação: Benchmarking abrangente dos modelos resultantes em precisão de tarefas downstream (codificação e raciocínio de múltiplos passos), comparando o HiLP contra MTP e NextLat.
Intervenção Pura em Tempo de Treinamento: Demonstração de que a estrutura hierárquica complexa serve puramente como um sinal de treinamento auxiliar, permitindo que o modelo retenha a eficiência da decodificação auto-regressiva padrão durante a implantação.

Resultados Experimentais

Os autores treinaram modelos de 1 bilhão de parâmetros em 100 bilhões de tokens usando 8× GPUs NVIDIA B200.

Desempenho em Benchmarks

Codificação (HumanEval): O HiLP alcançou uma pontuação pass@1 de 11,33, superando o NTP padrão (8,77), MTP (9,21) e NextLat (10,58).
Raciocínio de Múltiplos Passos: Nos benchmarks simbólicos e de múltiplos passos (DataComp para LLMs), o HiLP demonstrou desempenho melhorado, atribuído à predição de latentes de múltiplas escalas.

Decodificação Especulativa

O HiLP mostrou eficiência superior em tarefas de decodificação especulativa:

Dados de Código: O HiLP alcançou uma média de 3,41 tokens aceitos por passo de rascunho (drafting step), comparado a 2,57 para MTP e 3,26 para NextLat.
Dados Nemotron-ClimbMix: O HiLP alcançou 2,59 tokens aceitos, superando ligeiramente o NextLat (2,57) e o MTP (2,11).
Estabilidade de Rollout de Latente: A análise das curvas de entropia cruzada de latente revelou que, enquanto o HiLP mantém uma perda de predição de curto prazo comparável ao NextLat, ele reduz significativamente o erro em horizontes mais longos (até 8 passos), indicando rollouts de latente de múltiplos passos mais estáveis.

Eficiência

Embora o HiLP adicione parâmetros auxiliares (totalizando 1,27B vs. 1,06B para a base), o caminho de inferência permanece idêntico ao baseline. O throughput de treinamento para o HiLP foi aproximadamente 65% do baseline NTP, o que é superior ao do MTP (49%), mas inferior ao do NextLat (~83%), refletindo o custo do grafo de perda hierárquico adicional.

Significância e Alegações

O artigo afirma que o HiLP aborda com sucesso o "hiato míope" (myopic gap) da predição de próximo-token ao introduzir hierarquia temporal diretamente no objetivo de autopredição no espaço latente. Ao contrário de modelos hierárquicos anteriores que consomem complexidade no tempo de inferência (como Large Concept Models ou Byte Latent Transformers), o HiLP molda a representação durante o pré-treinamento para codificar a estrutura preditiva multiescala, que é então removida inteiramente para a inferência.

Os autores postulam que esta abordagem permite que o modelo aprenda dinâmicas de transição latente mais ricas e capture melhor dependências de longo horizonte sem sacrificar a velocidade ou a simplicidade da decodificação auto-regressiva padrão baseada em tokens. O trabalho posiciona-se na intersecção entre objetivos de pré-treinamento além do NTP, modelagem de linguagem no espaço latente e modelos hierárquicos, oferecendo um método inovador para melhorar as capacidades de raciocínio e planejamento de longo horizonte em modelos de linguagem.