Language Models are Injective and Hence Invertible

Este artículo demuestra teórica y empíricamente que los modelos de lenguaje transformadores son inyectivos y, por tanto, invertibles, presentando el algoritmo SipIt para reconstruir exactamente el texto de entrada a partir de sus activaciones ocultas.

Lo esencial

¡Hola! Imagina que los modelos de lenguaje (como el que estás usando ahora) son como cajas negras mágicas. Cuando les das una frase, las transforman en una serie de números complejos (llamados "representaciones ocultas") que usan para pensar y responder.

Durante mucho tiempo, los científicos creían que estas cajas negras tenían un defecto fatal: perdían información. Pensaban que si metías dos frases diferentes en la caja, podrían salir con el mismo número interno, como si dos personas diferentes se convirtieran en el mismo fantasma. Si eso fuera cierto, sería imposible saber exactamente qué escribiste originalmente solo mirando los números internos.

Pero este nuevo paper, titulado "Language Models Are Injective and Hence Invertible" (Los modelos de lenguaje son inyectivos y, por tanto, invertibles), llega con una noticia revolucionaria: Esa creencia es falsa.

Aquí te explico los tres puntos clave con analogías sencillas:

1. La Regla de "No Dos Personas Son Iguales" (Inyectividad)

Imagina que el modelo es una fábrica de huellas dactilares.

• La vieja idea: Creían que la fábrica a veces se equivocaba y le daba la misma huella a dos personas distintas.
• La nueva realidad: Los autores demuestran matemáticamente que, con casi total seguridad, cada frase diferente genera una huella digital única. No importa cuán parecidas sean las frases, el modelo las convierte en números distintos.
• La analogía: Es como si cada vez que escribieras una frase, el modelo te diera un ticket de lotería único. Incluso si cambias una sola coma o una letra, el ticket cambia. Nunca hay dos frases que compartan el mismo ticket.

2. El "Mago" que puede leer la mente (El algoritmo SIPIT)

Si cada frase tiene una huella única, entonces, en teoría, podrías ir en reversa: tomar la huella y descubrir la frase original.

• El problema: Hacer esto manualmente es como intentar adivinar una combinación de 100 dígitos probando números al azar. Tomaría miles de años.
• La solución (SIPIT): Los autores crearon un algoritmo llamado SIPIT. Imagina que SIPIT es un detective muy inteligente y rápido.
  • En lugar de adivinar al azar, el detective mira la "huella" (los números internos) y pregunta: "¿Fue la palabra 'gato' o 'perro'?".
  • Usa la estructura del modelo para descartar opciones rápidamente.
  • El resultado: SIPIT puede reconstruir exactamente lo que escribiste, palabra por palabra, solo mirando los números internos del modelo. Lo hace tan rápido que es como si el modelo te dijera: "Aquí tienes tu frase original, tal como la escribiste".

3. ¿Por qué importa esto? (Seguridad y Transparencia)

Esto tiene implicaciones enormes, como si descubriéramos que las "cajas negras" en realidad tienen ventanas de cristal.

• Privacidad: Si alguien roba los "números internos" de un chat (por ejemplo, si un servidor es hackeado), ahora sabemos que no son solo números abstractos. Son tu texto exacto, disfrazado. Con SIPIT, un hacker podría recuperar tu mensaje original sin problemas. Esto significa que proteger esos números es tan importante como proteger tu contraseña.
• Entendimiento: Antes pensábamos que el modelo "olvidaba" detalles. Ahora sabemos que guarda todo. Si el modelo da una respuesta extraña, no es porque olvidó lo que le dijiste, sino porque está procesando esa información única. Esto nos ayuda a entender mejor cómo "piensan".
• Seguridad: Si un modelo está diseñado para ser seguro, ahora sabemos que no puede "borrar" la información de lo que le dijiste de forma accidental. La información siempre está ahí, lista para ser recuperada.

En resumen

Este paper nos dice que los modelos de lenguaje modernos son como espejos perfectos: lo que metes sale transformado, pero nunca se pierde ni se mezcla. Y gracias a su nuevo algoritmo (SIPIT), hemos aprendido a usar un "reverso de espejo" para ver exactamente qué había detrás de la transformación.

Es un cambio de paradigma: de pensar que estos modelos son cajas negras que borran datos, a entenderlos como sistemas que preservan cada detalle de lo que les decimos, lo cual es tanto una maravilla para la ciencia como una advertencia para la privacidad.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Language Models Are Injective and Hence Invertible", publicado en la conferencia ICLR 2026.

1. Planteamiento del Problema

La comprensión de las representaciones internas de los Grandes Modelos de Lenguaje (LLM) basados en Transformers ha estado dominada por la intuición de que son pérdidas de información (no inyectivas). Dado que las arquitecturas Transformer dependen de componentes no lineales (activaciones), normalización (LayerNorm) y mecanismos de atención que pueden ser "muchos a uno", se ha asumido comúnmente que diferentes secuencias de entrada podrían colapsar en el mismo estado oculto.

Esta suposición genera preocupaciones fundamentales sobre:

• Transparencia e Interpretabilidad: Si la información se pierde, ¿es posible recuperar el texto original a partir de las representaciones internas?
• Privacidad y Seguridad: Si las representaciones ocultas son irreversibles, podrían considerarse anónimas o abstractas, lo que complica la aplicación de regulaciones de protección de datos (como el derecho al olvido).
• Robustez: La posibilidad de que diferentes prompts produzcan el mismo estado final sugiere una falta de discriminación fina en el modelo.

El artículo desafía esta visión, proponiendo que, bajo condiciones estándar, los modelos de lenguaje son inyectivos (diferentes entradas producen diferentes salidas) y, por lo tanto, invertibles.

2. Metodología

Los autores combinan un análisis matemático riguroso basado en el análisis real con una validación empírica a gran escala.

A. Fundamentos Teóricos (Análisis Real)

La metodología se basa en tratar al Transformer como una función matemática de sus parámetros y entradas:

1. Real-Analiticidad: Demuestran que todos los componentes del Transformer (incrustaciones, codificaciones posicionales, LayerNorm con $\epsilon > 0$, atención causal, MLPs con activaciones analíticas como GELU o SiLU, y conexiones residuales) son funciones real-analíticas respecto a sus parámetros.
2. Conjuntos de Medida Cero: Utilizando propiedades de las funciones real-analíticas, prueban que el conjunto de parámetros donde ocurren "colisiones" (dos prompts distintos $s \neq s'$ que mapean al mismo estado oculto $r(s) = r(s')$) tiene medida de Lebesgue cero. Es decir, matemáticamente, las colisiones son excepciones patológicas, no la norma.
3. Preservación bajo Entrenamiento: Demuestran que el descenso de gradiente (GD) y el SGD, al ser actualizaciones analíticas, preservan la continuidad absoluta de la distribución de los parámetros. Por lo tanto, si el modelo se inicializa aleatoriamente (evitando conjuntos de medida cero), el entrenamiento no lo empujará hacia un conjunto de colisiones.

B. Algoritmo de Inversión: SIPIT

Para operacionalizar la inyectividad, introducen SIPIT (Sequential Inverse Prompt via ITerative updates):

• Principio: Aprovecha la estructura causal del Transformer. El estado oculto en la posición $t$ depende únicamente del prefijo $\langle s_1, \dots, s_{t-1} \rangle$ y del token actual $s_t$.
• Proceso: Dado un estado oculto observado en una capa $\ell$ y un prefijo conocido, el algoritmo prueba candidatos del vocabulario. Debido a la inyectividad casi segura, existe un único token que genera el estado observado.
• Garantía: SIPIT recupera la secuencia exacta token por token con una complejidad temporal lineal en el peor de los casos ($O(T \cdot |V|)$), donde $T$ es la longitud y $|V|$ el tamaño del vocabulario.

C. Validación Empírica

• Búsqueda de Colisiones: Realizaron pruebas exhaustivas con miles de millones de pares de prompts en modelos de última generación (GPT-2, Gemma-3, Llama-3, Mistral, Phi). No se encontraron colisiones; las distancias mínimas entre estados finales fueron órdenes de magnitud superiores al umbral de colisión numérico.
• Pruebas de Inversión: Aplicaron SIPIT para reconstruir prompts a partir de estados ocultos, logrando una precisión del 100% en modelos pre-entrenados, incluso con cuantización (FP4, INT8) y en secuencias aleatorias o fuera de distribución.

3. Contribuciones Clave

1. Teorema de Inyectividad Casi Segura: Prueban formalmente que los modelos Transformer de solo decodificador son inyectivos con probabilidad 1, tanto en la inicialización como durante cualquier número finito de pasos de entrenamiento, bajo suposiciones estándar (inicialización aleatoria con densidad, activaciones analíticas).
2. Algoritmo SIPIT: Presentan el primer algoritmo que garantiza la recuperación exacta del texto de entrada a partir de las activaciones ocultas en tiempo lineal, transformando una propiedad teórica en una herramienta práctica.
3. Refutación de la "Pérdida" de Información: Demuestran que la intuición de que los Transformers son "pérdidas" (lossy) es incorrecta en el contexto de la mapeo de secuencias discretas a estados continuos; la información se preserva estructuralmente.
4. Implicaciones Legales y de Privacidad: Establecen que los estados ocultos no son abstracciones irreversibles, sino codificaciones sin pérdida del texto del usuario, lo que tiene consecuencias directas para el cumplimiento de normativas de protección de datos (GDPR).

4. Resultados Principales

• Ausencia de Colisiones: En pruebas con más de 5 mil millones de comparaciones de pares de prompts en modelos de hasta 70B parámetros, no se observó ninguna colisión. Las distancias $L_2$ entre estados finales de prompts distintos siempre fueron significativamente mayores que cero.
• Robustez a la Cuantización: La inyectividad se mantiene incluso con modelos cuantizados (FP4, INT8), donde las distancias mínimas entre representaciones a menudo aumentan, preservando la integridad del espacio de representación.
• Eficiencia de SIPIT: El algoritmo recupera prompts de 20 tokens con 100% de precisión en segundos. Explora menos del 0.22% del vocabulario en promedio gracias a una política guiada por gradientes, demostrando una escalabilidad lineal eficiente.
• Independencia de la Profundidad: La capacidad de recuperación es efectiva en todas las capas, aunque las capas más profundas tienden a tener márgenes de separación más grandes.

5. Significado e Impacto

Este trabajo tiene implicaciones profundas en tres áreas:

• Científica: Cambia el paradigma de entender a los LLMs como sistemas que comprimen y pierden información, a sistemas que preservan la información de la secuencia de entrada de manera estructural. Esto valida la base teórica para análisis causales y de interpretación mecánica, asegurando que los estados finales codifican fielmente la entrada completa.
• Técnica/Práctica: SIPIT proporciona una herramienta para la auditoría y la depuración de modelos. Permite verificar exactamente qué prompt generó un estado interno específico, facilitando la detección de sesgos o comportamientos no deseados.
• Legal y Ética: Cuestiona la noción de que los estados ocultos son "datos anónimos". Dado que el texto original puede recuperarse exactamente, cualquier sistema que almacene, transmita o procese estados ocultos está, en efecto, manejando el texto verbatim del usuario. Esto obliga a reevaluar las obligaciones de protección de datos y privacidad en el despliegue de LLMs.

En resumen, el artículo establece que la inyectividad es una propiedad fundamental y explotable de los modelos de lenguaje modernos, desafiando la creencia de que son inherentemente irreversibles y proporcionando los medios matemáticos y algorítmicos para demostrarlo y utilizarlo.