Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models

Resumen Técnico: Recuperación de Texto de Entrada a partir de Estados Ocultos

Planteamiento del Problema
Este trabajo investiga el problema de la "inversión de estados ocultos" para modelos de lenguaje solo decodificadores (específicamente GPT-2 small). El desafío central es recuperar la secuencia original de tokens de entrada $x$ únicamente a partir de la matriz de estados ocultos de la última capa $H(x)$ producida por una pasada hacia adelante (forward pass). Si bien trabajos teóricos recientes (SIPIT [1]) establecieron que el mapeo de tokens a estados ocultos es inyectivo —lo que significa que los estados ocultos contienen teóricamente toda la información necesaria para reconstruir la entrada—, este artículo aborda la pregunta práctica de cómo se puede realizar esta inversión de manera eficiente y bajo qué condiciones tiene éxito. El estudio opera bajo un modelo de amenaza de caja blanca, asumiendo que el adversario tiene acceso a los pesos del modelo, al tokenizador y a la matriz de embeddings, pero sin conocimiento del texto original más allá de la forma del tensor de estados ocultos.

Metodología
Los autores proponen un algoritmo de inversión basado en gradientes que trata el problema como una optimización continua en el espacio de embeddings en lugar de una reconstrucción discreta de un solo paso. El método opera posición por posición a través de tres capas distintas:

1. Bucle Externo (Posiciones de Tokens): Itera a través de cada posición $t$ en la secuencia.
2. Bucle Interno (Optimización Continua): Para la posición actual, un vector de aproximación continuo $e_t$ (inicialmente un embedding de token aleatorio) se optimiza utilizando el optimizador Adam. El objetivo es minimizar el Error Cuadrático Medio (MSE) entre el estado oculto predicho por el modelo (condicionado a los tokens previamente comprometidos) y el estado oculto objetivo filtrado. Crucialmente, el aproximador permanece en el espacio continuo durante todo este bucle; no ocurre ninguna proyección de token rígida durante la optimización.
3. Verificación Discreta y Compromiso: Una vez que el bucle interno converge (o alcanza un presupuesto de pasos), se recuperan los $C$ embeddings de tokens discretos más cercanos al aproximador optimizado. Estos candidatos son verificados mediante una única pasada hacia adelante. El primer candidato que reproduce el estado oculto objetivo dentro de un umbral de tolerancia es "comprometido". Si ningún candidato pasa, se compromete el vecino más cercano como alternativa (fallback).

Un principio de diseño clave es la separación estricta entre la búsqueda continua y la decisión discreta. Al comprometer un token solo una vez al final del bucle interno, el método genera una "pérdida discreta" limpia ($L^{disc}_t$), definida como el MSE cuando el token comprometido es procesado hacia adelante. Esta mététrica sirve como una medida directa de la fidelidad de la reconstrucción.

Contribuciones Clave y Resultados

• Formulación Continua vs. Discreta: El artículo demuestra que mantener la optimización en el espacio continuo expone señales internas ricas, incluyendo trayectorias de rango del token real y curvas de pérdida por posición. Esto contrasta con los métodos de "proyección rígida por paso" (como la referencia SIPIT), que son más rápidos pero colapsan las vistas continua y discreta, haciendo que el proceso de optimización sea opaco.
• Detección de Fallos Autodiagnóstica: Los autores identifican que la pérdida discreta acumulada actúa como una poderosa señal de fallo sin necesidad de conocer la verdad de campo (ground-truth-free). Las reconstrucciones exactas producen una pérdida acumulada cercana a la precisión de máquina ($\sim 10^{-11}$), mientras que cualquier error de reconstrucción causa un pico binario agudo en la pérdida acumulada (separado por aproximadamente diez órdenes de magnitud). Esto permite a un atacante o auditor detectar fallos en línea sin acceso al texto original.
• Precisión y Eficiencia:
  • En prompts de 10 tokens del conjunto de datos C4, la tasa de coincidencia exacta (EM) aumenta del 66.9% (Configuración base: $K=1000$ pasos, $C=2000$ candidatos) al 97.5% (Configuración de alta precisión: $K=2000$, $C=10,000$), con una similitud media de 0.994.
  • Los resultados indican que la mayoría de los errores son "fallos por poco" (el token correcto está altamente clasificado pero no es seleccionado) en lugar de ambigüedades genuinas, ya que ampliar la ventana de candidatos $C$ recupera la mayoría de estos fallos.
  • El análisis de tiempo de ejecución muestra un compromiso (trade-off): el método continuo propuesto es más lento (17.8s/token para la Configuración base) comparado con la referencia SIPIT (0.65s/token), la cual logra un EM del 100% mediante una salida temprana agresiva y proyección por paso.
• Análisis de Fallos y Asimetría: El estudio revela una marcada asimetría categórica en los modos de fallo. La gran mayoría de los fallos de reconstrucción ocurren en palabras funcionales de alta frecuencia con prefijo de espacio (por ejemplo, " the", " ,", " and"). Estos tokens residen en regiones densas y casi colineales de la matriz de embeddings, lo que dificulta su distinción mediante la distancia $\ell_1$. Por el contrario, los tokens portadores de contenido (nombres propios, términos técnicos) se recuperan casi perfectamente. Esto sugiere que el contenido sensible y de baja frecuencia puede ser más fácil de filtrar que el lenguaje natural común.

Significancia y Reivindicaciones
El artículo sostiene que los estados ocultos de la última capa de los modelos solo decodificadores son tan sensibles como el texto original. Los hallazgos desafían la suposición de que los vectores de estados ocultos son fronteras de privacidad opacas en arquitecturas distribuidas (por ejemplo, inferencia dividida, aprendizaje federado o APIs de embeddings).

Los autores afirman que su formulación continua es significativa no porque sea el método más rápido, sino porque hace que el proceso de inversión sea "observable". Al separar la búsqueda continua del compromiso discreto, el método proporciona herramientas de diagnóstico (trayectorias de rango, pérdida discreta) que permiten la detección de errores de reconstrucción y una comprensión más profunda de la geometría del espacio de embeddings. El estudio concluye que en sistemas donde las activaciones de la última capa se transmiten o almacenan, el argumento de privacidad colapsa, ya que un algoritmo suficientemente potente puede recuperar la entrada con alta probabilidad. Los autores recomiendan tratar estos estados ocultos con la misma sensibilidad que el texto bruto y sugieren que las defensas futuras (por ejemplo, privacidad diferencial) deben evaluarse utilizando el diagnóstico de pérdida discreta para cuantificar la degradación de la recuperabilidad.