Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models

Resumo Técnico: Recuperação de Texto de Entrada a partir de Estados Ocultos

Definição do Problema
Este trabalho investiga o problema da "inversão de estado oculto" para modelos de linguagem do tipo decoder-only (especificamente o GPT-2 small). O desafio central é recuperar a sequência original de tokens de entrada $x$ apenas a partir da matriz de estados ocultos da última camada $H(x)$ produzida por uma passagem direta (forward pass). Embora trabalhos teóricos recentes (SIPIT [1]) tenham estabelecido que o mapeamento de tokens para estados ocultos é injetivo — o que significa que os estados ocultos contêm teoricamente toda a informação necessária para reconstruir o input — este artigo aborda a questão prática de quão eficientemente essa inversão pode ser realizada e sob quais condições ela tem sucesso. O estudo opera sob um modelo de ameaça de caixa branca (white-box), assumindo que o adversário tem acesso aos pesos do modelo, ao tokenizador e à matriz de embeddings, mas nenhum conhecimento do texto original além da forma do tensor de estados ocultos.

Metodologia
Os autores propõem um algoritmo de inversão baseado em gradiente que trata o problema como uma otimização contínua no espaço de embeddings, em vez de uma reconstrução discreta de etapa única (one-shot). O método opera posição por posição através de três camadas distintas:

1. Loop Externo (Posições de Tokens): Itera através de cada posição $t$ na sequência.
2. Loop Interno (Otimização Contínua): Para a posição atual, um vetor de proxy contínuo $e_t$ (inicialmente um embedding de token aleatório) é otimizado usando o otimizador Adam. O objetivo é minimizar o Erro Quadrático Médio (MSE) entre o estado oculto previsto pelo modelo (condicionado aos tokens previamente confirmados) e o estado oculto alvo vazado. Crucialmente, o proxy permanece no espaço contínuo durante todo este loop; nenhuma projeção de token rígida ocorre durante a otimização.
3. Verificação Discreta e Confirmação (Commit): Uma vez que o loop interno converge (ou atinge um orçamento de passos), os top-$C$ embeddings de tokens discretos mais próximos do proxy otimizado são recuperados. Esses candidatos são verificados via uma única passagem direta. O primeiro candidato que reproduz o estado oculto alvo dentro de um limiar de tolerância é "confirmado". Se nenhum candidato passar, o vizinho mais próximo é confirmado como um plano de contingência (fallback).

Um princípio de design fundamental é a separação estrita entre a busca contínua e a decisão discreta. Ao confirmar um token apenas uma vez ao final do loop interno, o método gera uma "perda discreta" (discrete loss) limpa ($L^{disc}_t$), definida como o MSE quando o token confirmado é alimentado na passagem direta. Esta métrica serve como uma medida direta da fidelidade da reconstrução.

Principais Contribuições e Resultados

• Formulação Contínua vs. Discreta: O artigo demonstra que manter a otimização no espaço contínuo expõe sinais internos ricos, incluindo trajetórias de rank do token real e curvas de perda por posição. Isso contrasta com métodos de "projeção rígida por passo" (como a referência SIPIT), que são mais rápidos, mas colapsam as visões contínua e discreta, tornando o processo de otimização opaco.
• Detecção de Falhas Autodiagnóstica: Os autores identificam que a perda discreta cumulativa atua como um sinal de falha poderoso e livre de verdade fundamental (ground-truth-free). Reconstruções exatas produzem uma perda cumulativa próxima à precisão de máquina ($\sim 10^{-11}$), enquanto qualquer erro de reconstrução causa um pico binário agudo na perda cumulativa (separado por aproximadamente dez ordens de magnitude). Isso permite que um atacante ou auditor detecte falhas em tempo real sem acesso ao texto original.
• Precisão e Eficiência:
  • Em prompts de 10 tokens do dataset C4, a taxa de correspondência exata (EM) aumenta de 66,9% (Configuração de linha de base: $K=1000$ passos, $C=2000$ candidatos) para 97,5% (Configuração de alta precisão: $K=2000$, $C=10.000$), com uma similaridade média de 0,994.
  • Os resultados indicam que a maioria dos erros são "quase acertos" (near-misses) — o token correto é classificado alto, mas não é selecionado — em vez de ambiguidades genuínas, visto que ampliar a janela de candidatos $C$ recupera a maioria dessas falhas.
  • A análise de tempo de execução mostra um trade-off: o método contínuo proposto é mais lento (17,8s/token para a Linha de Base) comparado ao método de referência SIPIT (0,65s/token), que alcança 100% de EM via saída antecipada agressiva e projeção por passo.
• Análise de Falha e Assimetria: O estudo revela uma assimetria categórica aguda nos modos de falha. A vasta maioria das falhas de reconstrução ocorre em palavras funcionais de alta frequência prefixadas por espaços (ex: " the", " ,", " and"). Estes tokens residem em regiões densas e quase colineares da matriz de embeddings, tornando-os difíceis de distinguir via distância $\ell_1$. Por outro sentido, tokens portadores de conteúdo (substantivos próprios, termos técnicos) são recuperados quase perfeitamente. Isso sugere que conteúdos sensíveis e de baixa frequência podem ser mais fáceis de vazar do que a linguagem natural comum.

Significância e Alegações
O artigo argumenta que os estados ocultos da última camada de modelos decoder-only são tão sensíveis quanto o texto original. As descobertas desafiam a suposição de que os vetores de estado oculto são fronteiras de privacidade opacas em arquiteturas distribuídas (ex: inferência dividida, aprendizado federado ou APIs de embeddings).

Os autores alegam que sua formulação contínua é significativa não por ser o método mais rápido, mas porque torna o processo de inversão "observável". Ao separar a busca contínua da confirmação discreta, o método fornece ferramentas de diagnóstico (trajetórias de rank, perda discreta) que permitem a detecção de erros de reconstrução e uma compreensão mais profunda da geometria do espaço de embeddings. O estudo conclui que, em sistemas onde as ativações da última camada são transmitidas ou armazenadas, o argumento de privacidade colapsa, pois um algoritmo suficientemente poderoso pode recuperar o input com alta probabilidade. Os autores recomendam tratar esses estados ocultos com a mesma sensibilidade que o texto bruto e sugerem que futuras defesas (ex: privacidade diferencial) devem ser avaliadas usando o diagnóstico de perda discreta para quantificar a degradação da recuperabilidade.