💬 NLP

Inside the LLM Word Factory

Este artigo utiliza o patch de ativação para revelar que os LLMs realizam um processo de destokenização em duas etapas — onde a atenção transmite sinais específicos de tokens e os MLPs os compõem com embeddings locais — através de profundidades variáveis dependendo da codificação posicional, permitindo uma sondagem altamente precisa para o sucesso da destokenização baseada em ativações de camadas iniciais.

Autores originais: Benzi Busigin, Yuval Pinter

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Benzi Busigin, Yuval Pinter

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma fábrica massiva e superinteligente chamada Fábrica de Palavras LLM. O trabalho dela é pegar frases e entendê-las para que possa escrever novas. Mas há um detalhe: a fábrica não fala "palavras humanas" como "mesa" ou "erro". Em vez disso, ela só entende fragmentos de subpalavras, como pequenas peças de um quebra-cabeça: _ta e ble.

Quando você digita a palavra "table" (mesa), a fábrica pode vê-la como uma única peça (_table) ou dividi-la em duas (_ta + ble). Se for dividida, a fábrica tem um problema: ela precisa colar essas peças de volta em seu cérebro para entender o conceito inteiro de uma mesa antes de poder fazer qualquer coisa útil. Esse processo de colagem é chamado de detokenização.

Se a fábrica falhar ao colar as peças, ela fica confusa. Ela pode pensar que "table" é apenas "ta" e "ble" separadamente, levando a erros estranhos.

Este artigo é como uma equipe de detetives usando um "microscópio de viagem no tempo" especial (chamado patching de ativação) para espiar dentro da fábrica e ver exatamente como e onde essa colagem acontece. Aqui está o que eles descobriram:

1. A Linha de Montagem de Dois Passos

Os detetives descobriram que a fábrica não cola as peças de uma só vez. Isso acontece em uma dança de dois passos muito específica logo no início da linha de montagem (nas primeiras camadas do modelo de computador):

Passo 1: O Mensageiro (Atenção)
Imagine que a primeira peça do quebra-cabeça (_ta) tem um pequeno bilhete anexado a ela. Um mensageiro especial (chamado de Atenção) pega esse bilhete e o leva voando até a segunda peça (_ble).
- O Detalhe: O bilhete não é uma imagem completa da palavra. É apenas um "empurrãozinho" ou uma dica minúscula e fraca dizendo: "Ei, eu faço parte de uma palavra específica". É como um carteiro deixando uma única carta que diz: "Pacote a caminho".
Passo 2: O Construtor (MLP)
Assim que a segunda peça (_ble) recebe esse pequeno bilhete, um construtor (chamado de MLP) entra em ação. O construtor pega a peça local (_ble) e a combina com a pequena dica enviada pelo mensageiro.
- A Magia: O construtor não apenas as encaixa; ele as funde suavemente para criar o conceito completo e unificado de "table".

2. Qual o Tamanho Necessário para a Linha de Montagem?

O artigo descobriu que essa dança de dois passos acontece quase imediatamente, geralmente dentro das primeiras 1 a 10 camadas da fábrica.

A Fábrica "RoPE": Algumas fábricas usam um tipo específico de sistema de endereçamento (chamado RoPE). Nessas, a colagem acontece super rápido, muitas vezes em apenas as primeiras 1 ou 2 camadas. É como uma fábrica com uma esteira de produção super eficiente onde as peças se encontram quase instantaneamente.
A Fábrica "Aprendida": Outras fábricas usam um sistema de endereçamento diferente (Absoluto Aprendido). Aqui, a colagem demora mais, estendendo-se por 5 a 10 camadas. É como uma esteira de produção mais lenta, onde as peças precisam viajar um pouco mais antes de serem coladas.

3. E Quanto a Palavras Mais Longas?

E se a palavra for dividida em três ou quatro peças (como _an + ti + ci + pa + tion)?
O artigo descobriu que a fábrica utiliza uma estratégia de corrida de revezamento.

A primeira peça passa o bastão para a segunda.
A segunda passa para a terceira.
A terceira passa para a peça final.
Cada peça intermediária atua como uma estação de revezamento, passando o "empurrãozinho" pela linha até que chegue ao final, onde ocorre a colagem final. Quanto mais longa a palavra, mais estações de revezamento são necessárias, mas o processo permanece o mesmo.

4. Podemos Prever a Falha?

A descoberta mais emocionante é que a fábrica deixa um "sinal de fumaça" muito cedo no processo.

Se a colagem for funcionar, as camadas iniciais parecem de um certo jeito.
Se a colagem for falhar, elas parecem diferentes.

Os pesquisadores construíram um detector simples (uma sonda) que pode olhar para apenas as primeiras camadas da fábrica e prever com 94% a 97% de precisão se a palavra será entendida corretamente ou não. É como um inspetor de controle de qualidade que consegue dizer se um carro vai quebrar apenas olhando para o motor antes mesmo de o carro estar totalmente construído.

Resumo

Em termos simples, este artigo explica que, quando os modelos de IA tentam entender palavras divididas, eles usam um processo de dois passos logo no início:

A Atenção passa uma pequena dica da primeira peça para a última.
O MLP usa essa dica para terminar de construir a palavra completa.

Esse processo é rápido, acontece cedo, e o modelo deixa uma "assinatura" clara nas camadas iniciais que nos diz se ele vai ter sucesso ou falhar. A velocidade desse processo depende inteiramente de como a fábrica é construída (especificamente, como ela lida com posições), e não do tamanho ou da inteligência da fábrica.

Resumo Técnico: Dentro da Fábrica de Palavras do LLM

Declaração do Problema

Os modelos de linguagem Transformer dependem da tokenização de subpalavras (por exemplo, dividir "table" em _ta e ble), criando um descompasso sistemático entre a representação de entrada e a necessidade do modelo de operar sobre conceitos semânticos unificados. Isso torna necessária a destokenização: o processo interno onde o modelo reconstrói uma representação coerente de nível de palavra a partir de tokens de subpalavras fragmentados. Embora trabalhos anteriores tenham estabelecido que a destokenização ocorre em camadas iniciais a médias e envolve tanto componentes de atenção quanto de MLP, os mecanismos exatos, as vias de transmissão de sinal e os fatores que determinam a profundidade desse processo permaneciam obscuros. Além disso, não se sabia se o sucesso ou o fracasso dessa reconstrução poderia ser previsto a partir das ativações das camadas iniciais.

Metodologia

Os autores empregam patching de ativação combinado com um design de conjunto de dados pareado controlado para isolar as contribuições causais dos componentes do modelo.

Pares Controlados: O estudo utiliza palavras que podem ser tokenizadas como um único token canônico (ex: _folder) ou artificialmente divididas em subpalavras (ex: _fo + lder).
- Pares FST (First-Shared-Token): Duas palavras divididas compartilham o primeiro token, mas diferem no segundo (ex: _fo+lder vs. _fo+od). Isso isola a contribuição do MLP, pois a entrada de atenção do primeiro token é constante.
- Pares LST (Last-Shared-Token): Duas palavras divididas compartilham o último token, mas diferem no primeiro (ex: _po+or vs. _er+or). Isso isola a contribuição da Atenção, pois o embedding local na posição final é constante.
Métrica de Sucesso (Canonicidade): Definida como a similaridade de cosseno entre o fluxo residual na última posição da subpalavra de uma entrada dividida e o fluxo residual da representação de token único canônico na camada $n-2$ (camada 30 no Llama2-7B). Uma alta canonicidade indica uma reconstrução bem-sucedida.
Patching de Ativação: Os autores aplicam o patch de ativações de uma execução "bem-sucedida" (alta canonicidade) em uma execução "falha" (baixa canonicidade) em camadas e posições específicas. O grau em que o patch fecha a "lacuna de sucesso-falha" identifica o papel causal daquele componente.
Escopo: Os experimentos primários utilizam Llama2-7B, com generalização de arquitetura testada através de 12 modelos de 8 famílias, variando em largura, profundidade e esquemas de codificação posicional (RoPE, ALiBi, Absoluto Aprendido).

Contribuições Principais e Resultados

1. Um Mecanismo de Dois Estágios na Camada 1

O artigo identifica um processo específico de dois estágios para a destokenização que se inicia na Camada 1:

Estágio 1 (Atenção): Um pequeno subconjunto de cabeças de atenção (especificamente as cabeças 24, 27 e 28 no Llama2-7B) transmite um sinal fraco e específico do token da subpalavra precedente para a posição final. Este sinal é um "empurrão direcional" fracamente alinhado com o embedding canônico, mas não é um flag de sucesso genérico; ele codifica a identidade do primeiro token.
Estágio 2 (MLP): O MLP da Camada 1 compõe este sinal transmitido com o embedding local da subpalavra. O patching do output do MLP explica a maior parte do efeito de reconstrução nos pares FST. A operação é contínua em vez de discreta; escalar o output do MLP escala linearmente a pontuação de canonicidade.

2. Escalonamento com Contagem de Tokens

Para palavras divididas em mais de dois tokens (até 6), o mecanismo se generaliza via revezamentos sequenciais (sequential relays):

Posições intermediárias retransmitem ativamente a informação do primeiro token para o último.
Cada posição intermediária contribui com uma "janela de retransmissão" de 2 a 3 camadas, deslocando-se mais profundamente conforme o índice do token aumenta.
A profundidade total necessária cresce sublinearmente com a contagem de tokens. A transição de 2 para 3 tokens adiciona ~3 camadas, mas os tokens subsequentes adicionam menos de uma camada cada, à medida que as posições intermediárias fornecem caminhos de retransmissão paralelos.

3. A Profundidade é Governada pela Codificação Posicional

Embora o mecanismo de dois estágios (Atenção transmite, MLP compõe) seja universal em 12 modelos, a profundidade em que isso ocorre depende estritamente do esquema de codificação posicional:

Modelos baseados em RoPE: Destokenizam rapidamente, atingindo 80% da lacuna de sucesso dentro de 1 a 5 camadas.
Modelos de absoluto aprendido (Learned-absolute): Requerem de 5 a 10 camadas para alcançar o mesmo efeito, acumulando o sinal de forma mais gradual.
Modelos ALiBi: Exibem um perfil intermediário, transitando de concentrado para distribuído conforme a contagem de tokens aumenta.
Os autores hipotetizam que isso ocorre porque as codificações de posição relativa (RoPE, ALiBi) permitem que a atenção da Camada 1 atenda agudamente da posição 2 para a 1 em um único passo, enquanto as codificações absolutas aprendidas exigem múltiplas camadas para recuperar a posição relativa a partir de coordenadas absolutas.

4. Previsibilidade de Camadas Iniciais

O artigo demonstra que o resultado da destokenização (sucesso vs. falha) é linearmente legível a partir das ativações das camadas iniciais:

Um probe simples de diferença de média de classe ajustado nas ativações da Camada 2 alcança 0,94 AUROC em sequências isoladas e 0,97 AUROC em texto natural (WikiText).
Crucialmente, uma direção de probe aprendida em sequências isoladas e sem contexto transfere-se efetivamente para texto natural (0,91 AUROC), sugerindo que a geometria de camada inicial do sinal de "composição" é robusta à acumulação de contexto.

Significância e Alegações

O artigo alega fornecer a primeira localização mecanística da destokenização, indo além do probing correlacional para a intervenção causal. A principal significância reside em:

Clareza Mecanística: Definir a destokenização não como um vago fenômeno de nível de camada, mas como um cálculo específico de dois estágios (Sinal de Atenção + Composição de MLP) ocorrendo nas primeiras camadas.
Insight Arquitetural: Estabelecer que a codificação posicional, e não a escala ou largura do modelo, dita a profundidade computacional deste processo fundamental.
Utilidade Preditiva: Demonstrar que o sucesso da reconstrução de palavras pode ser previsto com alta precisão usando apenas ativações de camadas iniciais, mesmo em texto natural. Isso sugere potencial para intervenções em tempo de inferência para sinalizar falhas induzidas pela tokenização antes que a geração se conclua e oferece uma nova métrica mecanística para avaliação de tokenizadores, independente de métricas comportamentais downstream.

Os autores mantêm a modéstia quanto às limitações, observando que sua métrica (canonicidade) depende de uma referência interna do modelo em vez de uma verdade fundamental externa, e que sua metodologia é restrita a palavras que podem ser representadas como tokens únicos, deixando palavras naturalmente multi-token (palavras raras, nomes próprios) como uma questão em aberto.