🤖 machine learning

A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases

Ao reaproveitar lentes de representação como ferramentas de diagnóstico geométrico para rastrear a evolução dos subespaços de leitura preditiva através das camadas, este estudo revela que os modelos de linguagem de grande escala processam a previsão do próximo token por meio de três fases geométricas distintas — Multiplexação de Semente, Elevação de Sobrescrita e Convergência Focal — nas quais o aumento da profundidade do modelo aprimora principalmente a desambiguação de candidatos em vez de expandir a capacidade representacional.

Autores originais: Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (LLM) como uma fábrica massiva de vários andares, onde uma peça de informação (uma palavra) viaja do térreo até o telhado. Em cada andar, uma equipe de trabalhadores adiciona um pouco de nova informação ao pacote antes de passá-lo para cima. O grande mistério que este artigo resolve é: como a fábrica decide qual palavra emitir a seguir e onde essa decisão realmente ocorre?

Os autores não se limitaram a perguntar o que o modelo prevê em cada andar; eles perguntaram onde a previsão reside dentro da maquinaria da fábrica e como ela se move à medida que sobe.

Aqui está a história de sua descoberta, decomposta em conceitos e analogias simples.

A Ferramenta: A "Lente de Representação"

Geralmente, se você espiar dentro da fábrica nos andares intermediários, os trabalhadores parecem confusos. Eles seguram uma mistura embaralhada de possibilidades e, se você tentar adivinhar a palavra final com base no que estão segurando, erra. Isso ocorre porque os trabalhadores estão segurando a informação em uma "superposição" — como um mágico segurando um baralho de cartas com a face para baixo, onde todas as cartas estão misturadas.

Os pesquisadores usaram uma ferramenta especial chamada Lente de Representação. Pense nisso como um par de óculos mágicos que podem girar e focar a visão dos trabalhadores. Em vez de apenas olhar para a pilha bagunçada de cartas, a lente encontra o ângulo específico onde a "carta vencedora" (a próxima palavra correta) está realmente visível, mesmo que esteja enterrada sob outras cartas.

A Descoberta: Uma Peça de Três Atos

Ao rastrear como a "carta vencedora" se move pela fábrica usando esses óculos, os autores descobriram que o processo não é aleatório. Ele segue uma dança geométrica estrita de três estágios que ocorre em quase todos os modelos testados (desde modelos pequenos de 1 bilhão de parâmetros até enormes de 32 bilhões).

Fase 1: A "Multiplexação de Semeadura" (A Multidão se Reunindo)

O que acontece: À medida que a informação entra na fábrica, os trabalhadores começam a lançar muitas palavras possíveis a seguir ao mesmo tempo. Eles ainda não escolhem um vencedor.
A Analogia: Imagine uma sala lotada onde todos estão gritando ideias diferentes. A sala está cheia de ruído, mas a ideia "correta" já está lá, apenas misturada com centenas de outras.
A Geometria: A fábrica está expandindo sua "rango" (sua capacidade de reter muitas ideias diferentes). A palavra correta está presente, mas é apenas uma voz em um coral. Ela é visível para a lente mágica, mas ainda não é a voz mais alta.

Fase 2: A "Sobrecarga de Elevação" (O Filtro Silencioso)

O que acontece: Esta é a parte mais longa da jornada (cerca de 60% da altura da fábrica). Os trabalhadores param de adicionar novos tipos de ideias. Em vez disso, começam a abaixar silenciosamente o volume das ideias erradas e aumentar o volume da correta.
A Analogia: Imagine um engenheiro de som em uma sala de controle. Eles não estão trazendo novos cantores; estão apenas desvanecendo gradualmente o ruído de fundo e reforçando o cantor principal. O cantor principal ainda está cercado pela multidão, mas está se tornando o foco claro.
A Geometria: O "rango" (o número de ideias ativas) permanece estável. Os trabalhadores são muito precisos aqui, fazendo ajustes minúsculos, quase invisíveis, que não alteram a forma da sala, mas mudam quem é ouvido. É aqui que o modelo faz o trabalho pesado: desambiguação (descobrir qual dos muitos candidatos é realmente o correto).

Fase 3: A "Convergência Focal" (O Holofote)

O que acontece: No trecho final, a fábrica faz uma movimentação massiva e decisiva. Ela despeja toda a sua energia em uma única direção.
A Analogia: O engenheiro de som corta repentinamente a energia para todos os outros na sala. O holofote se fixa no cantor principal. A multidão fica em silêncio e o cantor é agora a única coisa que importa.
A Geometria: Os trabalhadores param de ser gentis. Eles fazem atualizações enormes e poderosas que se alinham perfeitamente com a direção da saída final. O "rango" encolhe porque estão focando toda a sua energia em apenas um vencedor. A lente mágica agora pode ver a resposta claramente, sem nenhuma ajuda.

A Grande Conclusão: Modelos Maiores = Filtros Melhores, Não Inícios Melhores

A descoberta mais surpreendente é sobre como o tamanho do modelo afeta esse processo.

Os autores descobriram que, à medida que você torna a fábrica maior (adicionando mais andares/camadas):

Fase 1 (A Multidão) permanece aproximadamente do mesmo tamanho.
Fase 3 (O Holofote) permanece aproximadamente do mesmo tamanho.
Fase 2 (O Filtro Silencioso) fica muito mais longa.

A Metáfora: Se você tem uma fábrica pequena, a sala de "filtragem" é pequena. Se você tem uma fábrica gigante, a sala de "filtragem" é enorme.

Isso significa que, quando construímos modelos de IA maiores e mais inteligentes, não estamos necessariamente tornando-os melhores em começar com as ideias certas ou terminar o trabalho. Estamos dando a eles uma sala muito maior e mais detalhada para classificar a confusão e descobrir qual das muitas possibilidades é a correta. O poder extra dos grandes modelos é usado principalmente para desambiguação de candidatos — transformar uma pilha bagunçada de "talvez isso, talvez aquilo" em um único e confiante "sim".

Resumo

O artigo revela que a previsão do próximo token não é um flash súbito de insight no final. É uma jornada geométrica:

Semear: Jogar tudo na mistura.
Elevação: Filtrar silenciosamente o ruído (é aqui que o modelo fica maior).
Convergir: Travar no vencedor com alta energia.

A "magia" dos modelos de linguagem de grande escala reside nessa fase intermediária, onde eles têm o espaço e o tempo para separar cuidadosamente o sinal do ruído.

Resumo Técnico: Uma Perspectiva Geométrica sobre a Previsão do Próximo Token em Modelos de Linguagem Grandes

Declaração do Problema

Compreender como os Modelos de Linguagem Grandes (LLMs) processam e refinam informações preditivas ao longo de sua profundidade permanece um desafio central na interpretabilidade mecânica. Embora a arquitetura transformer aplique atualizações aditivas a um fluxo residual compartilhado, a evolução geométrica da informação necessária para a previsão do próximo token não é clara. Métodos de sondagem padrão, como o LogitLens, sofrem de "deriva representacional", onde estados intermediários estão desalinhados com a base de desincorporação final, tornando-os "cegos" para sinais preditivos presentes nas camadas iniciais. Além disso, o princípio da superposição sugere que características preditivas podem existir em direções sobrepostas, ocultas dentro do fluxo residual de alta dimensão. Este artigo aborda a questão: Onde reside a informação preditiva no fluxo residual e como sua estrutura geométrica evolui à medida que se propaga através da profundidade da rede?

Metodologia

Os autores propõem um framework que reaproveita lentes de representação (mapas afins aprendidos treinados para prever o próximo token a partir de fluxos residuais intermediários) como ferramentas de diagnóstico geométrico, em vez de meros mecanismos de decodificação.

Lentes de Representação: Seguindo a abordagem TunedLens, os autores treinam correções afins por camada $(A_\ell, b_\ell)$ para alinhar representações intermediárias com a distribuição de saída final via destilação KL.
Subespaço de Leitura Preditiva: Em vez de analisar a matriz de correção completa, os autores realizam uma Decomposição em Valores Singulares (SVD) na matriz de correção $A_\ell$ . Eles definem o subespaço de leitura preditiva $S^{(k)}_\ell$ como o subespaço de dimensão $k$ abrangido pelos $k$ vetores singulares direitos superiores. Este subespaço representa as direções dominantes no fluxo residual onde a informação preditiva está concentrada.
Trajetória no Variedade de Grassmann: A sequência de subespaços $\{S^{(k)}_\ell\}_{\ell=1}^L$ é tratada como uma trajetória na variedade de Grassmann $Gr(k, d)$. A evolução desta trajetória é quantificada usando Similaridade de Subespaço de Leitura (RSS), definida como o cosseno médio dos ângulos principais entre subespaços consecutivos.
Análise de Resolução: Os autores variam o parâmetro de resolução $k$ (de 1% a 50% da dimensão oculta $d$ ) para traçar uma fronteira de Pareto entre Visibilidade (discriminabilidade geométrica entre camadas) e Retenção de Energia (fidelidade espectral). Eles identificam um regime intermediário ( $k \in \{5\%, 10\%, 15\%\}$ ) que equilibra essas métricas.
Detecção de Fase: O perfil RSS exibe uma forma unimodal (subida, platô, descida). Usando um critério Kneedle de dois estágios no perfil suavizado, os autores detectam dois pontos de ruptura ( $\hat{b}_1, \hat{b}_2$ ) que particionam a profundidade da rede em três fases geométricas distintas.
Configuração Experimental: O framework é aplicado a oito modelos de duas famílias (QWEN2.5 e OLMO2) variando de 1B a 32B parâmetros, treinados no conjunto de dados SlimPajama. As métricas incluem a classificação efetiva dos estados ocultos, ortogonalidade das atualizações ( $|\cos(\Delta_\ell, h_{\ell-1})|$ ) e a razão das normas de atualização de FFN para MHA.

Contribuições Principais

O artigo faz duas contribuições primárias:

Um Framework Geométrico para Análise por Profundidade: Um método para rastrear a trajetória da informação preditiva na variedade de Grassmann, revelando que a informação preditiva está presente desde as camadas mais iniciais, mas oculta em superposição, exigindo projeção de baixa dimensão para decodificação.
Identificação de Três Fases Geométricas Emergentes: A análise revela uma estrutura tripartida consistente no passe forward de modelos autoregressivos, caracterizada por comportamentos geométricos distintos em relação à classificação, ortogonalidade de atualização e estabilidade do subespaço.

Resultados e Caracterização das Fases

Em todos os modelos e escalas, o perfil de similaridade segue uma distribuição unimodal, definindo três fases:

Fase 1: Multiplexação de Semeadura

Comportamento Geométrico: O subespaço preditivo se reorienta e estabiliza (RSS crescente). A classificação efetiva dos estados ocultos aumenta, atingindo o pico perto do final desta fase.
Atualizações: As atualizações são aproximadamente ortogonais ao fluxo residual. Em QWEN2.5, as contribuições do FFN dominam; em OLMO2, as contribuições são mais equilibradas.
Estado Preditivo: O token final está presente entre os principais candidatos (Hit@1 $\approx$ 20-33%), mas não é dominante. O LogitLens permanece ineficaz, indicando que o sinal está superposto.
Escala: A duração desta fase escala fracamente com a profundidade do modelo (inclinação $\le$ 0,26), sugerindo um custo fixo para semear candidatos.

Fase 2: Elevação de Sobreposição

Comportamento Geométrico: O subespaço preditivo permanece altamente estável (RSS de platô próximo). A classificação efetiva dos estados ocultos estabiliza.
Atualizações: As atualizações são maximamente ortogonais ao fluxo residual (menor $|\cos(\Delta_\ell, h_{\ell-1})|$ ). A classificação das atualizações atinge o pico nesta fase.
Estado Preditivo: A distribuição de candidatos concentra-se progressivamente (Hit@1 sobe para $\approx$ 56%, a razão Hit@5/Hit@1 diminui). O LogitLens permanece baixo, implicando que a desambiguação ocorre dentro do subespaço sem alinhamento explícito com a base final.
Escala: Esta fase expande-se linearmente com a profundidade do modelo (inclinação $\approx$ 0,6–1,0), indicando que a capacidade adicional do modelo é absorvida principalmente pela desambiguação de candidatos.

Fase 3: Convergência Focal

Comportamento Geométrico: O subespaço preditivo se reorienta abruptamente em direção à direção de desincorporação (RSS descendente). A classificação efetiva das atualizações diminui, concentrando-se em menos direções.
Atualizações: As atualizações tornam-se altamente alinhadas com o fluxo residual (maior $|\cos(\Delta_\ell, h_{\ell-1})|$ ). As normas de atualização crescem abruptamente (até 10 $\times$ ), e as contribuições do FFN dominam em todas as famílias.
Estado Preditivo: A distribuição de candidatos colapsa para uma previsão dominante. O desempenho do LogitLens melhora significativamente (Hit@1 $\approx$ 30-50%), indicando que o token final agora é diretamente legível.
Escala: A largura desta fase permanece aproximadamente constante ou escala muito fracamente com a profundidade.

Significado e Alegações

O artigo alega que a capacidade adicional de LLMs mais profundos é amplamente utilizada para desambiguação de candidatos (Fase 2) em vez de para a semeadura inicial de candidatos (Fase 1) ou a convergência final (Fase 3). Isso sugere que o ônus computacional central da previsão do próximo token em transformers profundos reside na resolução de representações superpostas dentro de um subespaço geométrico estável.

As descobertas alinham-se, mas estendem distintamente, as teorias de campo médio da dinâmica do transformer (por exemplo, Bruno et al.), mapeando as fases de "alinhamento", "calor" e "emparelhamento" para a progressão geométrica observada. O trabalho estabelece que a informação preditiva não é gerada tardiamente na rede, mas está presente cedo, oculta em superposição, e refinada geometricamente através de um processo de atualizações ortogonais e concentração de subespaço.

Limitações: Os autores notam que a análise é restrita a arquiteturas densas, apenas decodificador, com conexões residuais padrão. As interpretações baseiam-se em evidências correlacionais, e intervenções causais (por exemplo, patching de ativação) são sugeridas como trabalho futuro para fornecer uma base mecânica mais forte.