💬 NLP

Rep2Text: Decoding Full Text from a Single LLM Token Representation

O artigo apresenta o Rep2Text, um novo framework que decodifica texto original a partir da representação de um único token final de modelos de linguagem, conseguindo recuperar cerca de metade dos tokens em sequências curtas enquanto preserva a coerência semântica e demonstra robustez em dados clínicos fora da distribuição.

Autores originais: Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du

Publicado 2026-03-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um supercomputador (um Modelo de Linguagem Grande, ou LLM) que leu quase tudo o que existe na internet. Quando você pede para ele escrever uma história, ele não "pensa" em palavras como nós; ele pensa em números complexos, como se fossem coordenadas em um mapa multidimensional.

O problema é que, no final do processo, esse computador guarda apenas uma única coordenada (o "último token") para representar toda a história que acabou de gerar. É como se, após escrever um romance inteiro de 300 páginas, ele jogasse todo o livro na lixeira e guardasse apenas um único ponto de luz que, teoricamente, contém a essência de tudo o que foi escrito.

A pergunta que os autores deste trabalho fazem é: "Se eu pegar apenas esse único ponto de luz, consigo reconstruir o romance inteiro?"

Eles chamam seu método de Rep2Text (Representação para Texto). Aqui está como funciona, usando analogias simples:

1. O Desafio: O "Gargalo" da Informação

Pense no LLM como uma engarrafamento de trânsito.

A entrada é uma estrada larga com 16 carros (palavras) entrando.
O processamento do modelo é um túnel estreito.
A saída é apenas um único carro que sai do túnel.

A teoria diz que, como o modelo foi treinado para prever a próxima palavra, ele comprime toda a informação anterior nesse "último carro" da forma mais eficiente possível. A grande dúvida era: esse carro único carrega o suficiente para que alguém saiba exatamente quais eram os outros 15 carros que entraram antes?

2. A Solução: O "Tradutor Mágico" (Rep2Text)

Os pesquisadores criaram um sistema com duas partes principais:

O Modelo Alvo: O computador que gerou o "último ponto de luz".
O Decodificador: Um segundo computador (um tradutor) que tenta ler esse ponto de luz e escrever o texto original.

Entre eles, eles colocaram um Adaptador (o "Tradutor Mágico").

Imagine que o primeiro computador fala uma língua alienígena (seus números internos) e o segundo fala português.
O Adaptador é um tradutor treinado que pega aquele "ponto de luz" alienígena e o transforma em uma frase em português que o segundo computador entende.

3. O Resultado: A Mágica Funciona (Mas com Limites)

Eles testaram isso com textos de 16 palavras. O resultado foi surpreendente:

Adivinhe o quê? O sistema conseguiu recuperar cerca de metade das palavras originais com precisão!
Mesmo que não tenha recuperado todas as palavras exatas, ele manteve o significado geral e a estrutura da frase.

A Analogia do Quebra-Cabeça:
Se o texto original fosse um quebra-cabeça de 16 peças, o sistema conseguiu montar cerca de 8 peças corretamente. Mesmo sem as outras 8, você ainda consegue dizer: "Ah, é uma cena de um parque com um cachorro correndo", mesmo que não saiba a cor exata da coleira ou o nome do cachorro. A essência (o significado) sobreviveu, mesmo que os detalhes (as palavras exatas) tenham se perdido.

4. O Que Eles Descobriram de Interessante?

O Tamanho Importa (e não importa):
- Se a frase for curta (até 16 palavras), o sistema funciona muito bem.
- Se a frase for longa (64 palavras), ele começa a falhar em recuperar as palavras exatas, mas ainda consegue adivinhar o tema geral. É como ouvir um resumo de um filme: você sabe que é uma comédia romântica, mas esqueceu o nome do ator principal.
O "Nível" do Cérebro Importa:
- Eles descobriram que as camadas iniciais do modelo guardam melhor a estrutura (sintaxe, ordem das palavras).
- As camadas do meio guardam melhor os detalhes (nomes, entidades).
- As camadas finais guardam o significado abstrato (o tema).
Não é só sobre tamanho:
- Eles tentaram usar modelos gigantes para decodificar modelos menores e vice-versa. Funcionou bem em ambos os casos. Isso sugere que, no fundo, todos esses modelos "pensam" de forma muito parecida, mesmo que sejam de empresas diferentes.

5. Por que isso é importante? (O Perigo e a Curiosidade)

Isso tem um lado assustador e um lado fascinante:

O Perigo (Privacidade): Se um modelo consegue "espremer" tanto da informação original em um único ponto, isso significa que nada está realmente seguro. Se alguém roubar esse "ponto de luz" (a representação interna), pode tentar reconstruir o texto original. Isso é um risco para dados sensíveis, como registros médicos ou conversas privadas.
A Curiosidade (Entendimento): Isso nos ajuda a entender como a Inteligência Artificial funciona. Mostra que, embora pareçam "caixas pretas", elas estão guardando informações de forma muito densa e recuperável.

Resumo em uma frase:

O Rep2Text é como um detetive que, ao encontrar apenas uma única impressão digital deixada por um criminoso (o último token), consegue reconstruir cerca de 50% da história do crime e o perfil da vítima, provando que o "segredo" estava escondido na própria impressão, mesmo que não perfeitamente.

Título: Rep2Text: Decodificação de Texto Completo a partir de uma Única Representação de Token em LLMs

1. Problema Investigado

Os Grandes Modelos de Linguagem (LLMs) são frequentemente vistos como "caixas pretas", e seus mecanismos internos permanecem opacos. Embora existam pesquisas sobre a decodificação de representações internas, a maioria foca em recuperar texto a partir de uma sequência de representações de tokens ou utiliza informações de contexto (como prompts originais) para guiar a recuperação.

O problema central abordado neste trabalho é mais desafiador: até que ponto é possível recuperar o texto de entrada original a partir de uma única representação do último token (last-token representation) de um LLM?

Desafio: A representação do último token é otimizada para a previsão do próximo token, atuando como um "gargalo de informação" (information bottleneck). Ela deve condensar todo o contexto da sequência anterior em um único vetor de alta dimensão.
Objetivo: Investigar a invertibilidade dessa representação comprimida sem buscas iterativas e sem acesso ao texto original ou prompts de contexto durante a fase de inferência.

2. Metodologia: O Framework Rep2Text

Os autores propõem o Rep2Text, um framework que decodifica texto a partir da representação do último token utilizando uma arquitetura inspirada em Modelos de Linguagem Visuais (LVLMs) como o LLaVA.

Arquitetura:
1. Modelo Alvo ( $M$ ): Gera a representação do último token ( $h_\ell$ ) a partir de uma sequência de entrada $S$ em uma camada específica $\ell$ .
2. Adapter Treinável: Um componente intermediário que mapeia a representação do modelo alvo ( $h_\ell$ $h_{ℓ}$ ) para o espaço de embeddings de tokens de um modelo de decodificação ( $M'$ $M^{'}$ ).
  - O adapter é implementado como um MLP de duas camadas com conexões de skip (residuais) e portas (gates).
  - Ele projeta o vetor $h_\ell$ em $k$ embeddings de tokens ( $X_e$ ), onde $k$ é um hiperparâmetro (geralmente igual ao comprimento da sequência original).
3. Modelo de Decodificação ( $M'$ ): Recebe os embeddings projetados ( $X_e$ ) juntamente com prompts de sistema e usuário. O modelo $M'$ gera o texto invertido $\hat{S}$ de forma autoregressiva, sem passar pela camada de embedding original (os embeddings projetados são injetados diretamente após a camada de embedding).
Treinamento:
- O adapter é treinado para minimizar a perda de entropia cruzada suavizada (label smoothing) entre a sequência invertida gerada e a sequência original (ground-truth).
- Duas esquemas de treinamento foram testados: fine-tuning apenas do adapter e fine-tuning conjunto (adapter + LoRA no modelo de decodificação).
- Os dados de treinamento consistem em pares de (representação do último token, sequência original) extraídos do conjunto de dados The Pile (Wikipedia).

3. Contribuições Principais

Novo Framework de Inversão: Introdução do Rep2Text, capaz de recuperar texto completo a partir de um único vetor de ativação (último token) sem necessidade de busca iterativa ou prompts de contexto.
Análise do Gargalo de Informação: Demonstração quantitativa de que, embora o último token seja um gargalo, ele retém uma quantidade significativa de informação recuperável (cerca de 50% dos tokens em sequências curtas) e coerência semântica forte.
Análise de Escala e Camadas:
- Descoberta de que o efeito de escala (tamanho do modelo) é menos pronunciado na tarefa de inversão do que na geração de texto.
- Identificação de que camadas intermediárias (ex: 10ª a 15ª) contêm o melhor equilíbrio entre estrutura sintática e detalhes lexicais, enquanto camadas tardias preservam melhor a semântica de alto nível.
Generalização Robusta: O método demonstra capacidade de generalização para dados fora da distribuição (OOD), especificamente em notas clínicas, superando significativamente métodos de base como o Vec2Text.

4. Resultados Experimentais

Os experimentos foram realizados com várias combinações de modelos (Llama-3.1-8B, Gemma-7B, Mistral-7B, etc.) e comprimentos de sequência (8, 16, 32, 64 tokens).

Recuperação de Tokens: Em sequências de 16 tokens, o modelo recupera, em média, cerca de 50% dos tokens originais (medido por ROUGE-1) e mantém forte coerência semântica.
Efeito do Comprimento da Sequência:
- A performance de inversão degrada-se à medida que o comprimento da sequência aumenta.
- Para sequências de 8 tokens, a recuperação é alta (~60% ROUGE-1). Para 64 tokens, cai para ~30%.
- Observação Crucial: Enquanto a recuperação de detalhes lexicais e estrutura cai drasticamente com o aumento do comprimento, a semântica de alto nível (tópico) permanece relativamente preservada, indicando que o último token codifica o "sentido geral" da frase melhor do que os detalhes exatos.
Camadas do Modelo:
- Camadas iniciais a médias (ex: L10) são ideais para recuperar estrutura e entidades.
- Camadas médias a tardias (ex: L15-L20) são melhores para tópicos e semântica abstrata.
Comparação com Baselines (Vec2Text):
- Em dados in-distribution (Wikipedia), o Rep2Text supera o Vec2Text na recuperação de nível de token (F1 de token +9%) e entidades.
- Em dados Out-of-Distribution (OOD) (notas clínicas), o Rep2Text mostra uma generalização superior. O Vec2Text falha quase completamente (ROUGE-1 ~0.06), enquanto o Rep2Text mantém uma recuperação razoável (ROUGE-1 ~0.37), provando que aprende propriedades representacionais reais e não apenas superajusta (overfitting) aos dados de treinamento.
Inversão Cruzada (Cross-Model): A performance de inversão é robusta mesmo quando o modelo de decodificação é diferente do modelo alvo, apoiando a hipótese da "representação platônica" (modelos diferentes convergem para estruturas representacionais alinhadas).

5. Significado e Implicações

Segurança e Privacidade: O trabalho revela uma vulnerabilidade potencial em LLMs. O fato de que quase metade de uma sequência de texto possa ser recuperada a partir de um único vetor interno sugere riscos de vazamento de informações (privacy leakage), especialmente em cenários onde representações internas são compartilhadas ou expostas.
Interpretabilidade: O framework oferece uma nova ferramenta para investigar o que está codificado nas representações internas dos modelos, ajudando a entender como a informação flui e se compacta através das camadas da rede.
Limitações: O estudo foi limitado a modelos de até 8B parâmetros e sequências curtas. A recuperação de textos muito longos ou complexos ainda é um desafio devido ao gargalo de informação intrínseco.

Em resumo, o Rep2Text demonstra que as representações finais de LLMs, embora otimizadas para previsão, não são irreversíveis e contêm uma "pegada" significativa do texto original, desafiando a noção de que essas representações são totalmente abstratas e desconectadas da superfície textual.