💬 NLP

Large Language Model as Token Compressor and Decompressor

Este artículo presenta un marco de aprendizaje autoencoder que ajusta un modelo de lenguaje grande preentrenado para comprimir textos extensos en códigos latentes discretos (Z-tokens) y reconstruirlos con fidelidad, logrando una reducción de hasta 18 veces en el número de tokens mientras mantiene el rendimiento en tareas posteriores.

Autores originales: Wenbing Li, Zikai Song, Jielei Zhang, Tianhao Zhao, Junkai Lin, Yiran Wang, Wei Yang

Publicado 2026-03-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wenbing Li, Zikai Song, Jielei Zhang, Tianhao Zhao, Junkai Lin, Yiran Wang, Wei Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo muy inteligente (el Modelo de Lenguaje Grande o LLM) que es excelente para escribir historias, responder preguntas y entender el mundo. Pero tiene un problema: es un poco torpe y lento cuando tiene que leer documentos gigantescos, como una novela entera o un informe de 100 páginas. Leer tanto texto le cuesta mucho tiempo y le gasta mucha energía (memoria), como si tuviera que cargar una mochila llena de piedras solo para caminar un poco.

Los investigadores de este artículo tienen una idea brillante: ¿Por qué no enseñarle a este amigo a hablar su propio "idioma secreto" y corto?

Aquí te explico cómo funciona su método, usando analogías sencillas:

1. El Problema: La Mochila Llena de Piedras

Normalmente, cuando el modelo lee algo, lo hace palabra por palabra. Si el texto es largo, la "carga" de atención que necesita el modelo crece de forma explosiva (como si cada nueva palabra hiciera que la mochila pesara el doble). Esto hace que procesar textos largos sea muy caro y lento.

2. La Solución: El "Idioma Secreto" (Z-Tokens)

En lugar de obligar al modelo a leer cada palabra, los autores le enseñan a comprimir la información.

El Compresor (El Traductor): Imagina que el modelo lee un párrafo largo y aburrido. En lugar de guardar todas las palabras, lo convierte en una serie de códigos cortos (llamados Z-tokens).
- Analogía: Piensa en un resumen de una película. En lugar de ver las 3 horas de la película, ves un resumen de 10 minutos que te cuenta exactamente lo que pasó, pero sin los detalles innecesarios.
- Lo genial: Estos códigos no son fijos. Si una parte del texto es muy importante y compleja, el modelo usa más códigos. Si una parte es obvia o repetitiva, usa muy pocos. Es como un resumen inteligente que se adapta: más detalle donde hace falta, menos donde no.

3. El "Idioma" es Inteligente, no Caótico

Aquí viene la parte más interesante. Estos códigos (Z-tokens) no son números aleatorios. Son como palabras mágicas que tienen varios significados dependiendo del contexto.

Analogía: Imagina la palabra "banco". Puede significar un lugar para sentarse o una institución financiera. En el "idioma secreto" del modelo, un mismo código podría representar "dinero" en un contexto y "asiento" en otro, pero el modelo sabe cuál usar porque mira el resto de la conversación.
El modelo aprende a usar estos códigos para pensar. Puede hacer razonamientos complejos usando solo estos códigos cortos, sin necesidad de volver a escribir todo el texto original.

4. Dos Formas de Usarlo

El sistema funciona en dos modos, como un traductor con dos trabajos:

Modo "Pensar Rápido" (Inferencia): El modelo lee el texto, lo convierte en códigos cortos, y luego resuelve el problema (responde una pregunta o escribe un resumen) usando solo esos códigos. Es como si pensara en un idioma rápido y luego te diera la respuesta en español normal. ¡Esto es muchísimo más rápido!
Modo "Recuperar" (Descompresión): El modelo toma los códigos cortos y reconstruye el texto original palabra por palabra, exactamente como estaba antes. Esto prueba que no perdió ninguna información importante; solo la guardó de forma eficiente.

5. Los Resultados: ¡Volar!

En sus pruebas, este método logró:

Reducir el texto hasta 18 veces: Un documento enorme se convierte en algo muy pequeño.
Ser más rápido: El modelo puede "leer" y responder hasta 4.6 veces más rápido.
Usar menos memoria: Como la mochila es más ligera, el modelo puede manejar documentos mucho más largos sin romperse.
Mantener la calidad: Aunque el texto es más corto, el modelo sigue entendiendo todo perfectamente y responde con la misma precisión.

En Resumen

Este paper nos dice que los modelos de lenguaje ya tienen la capacidad de entender el mundo de forma abstracta. En lugar de obligarlos a leer cada letra, les enseñamos a hablar un "idioma interno" de códigos cortos y flexibles. Es como enseñarles a hacer un resumen mental instantáneo antes de pensar, permitiéndoles procesar montañas de información con la agilidad de una pluma.

Es un paso gigante hacia que las inteligencias artificiales puedan leer libros enteros, analizar documentos legales o entender horas de transcripciones en segundos, sin perderse en el camino.

1. El Problema

Los Modelos de Lenguaje Grande (LLM) han logrado un éxito notable, pero su capacidad para manejar contextos largos (de decenas a cientos de miles de tokens) está fundamentalmente limitada por la complejidad cuadrática ( $O(N^2)$ ) del mecanismo de atención. A medida que crece la longitud de la secuencia, el costo computacional y de memoria se vuelve prohibitivo para tareas como la inferencia a gran escala, la comprensión de documentos extensos y la recuperación multi-paso.

Las soluciones existentes se dividen en dos categorías principales, ambas con limitaciones:

Métodos heurísticos: Fusionan o eliminan tokens basándose en similitud o importancia (ej. Token Merging, Pruning). Sin embargo, pueden perder significado discursivo o pragmático difícil de recuperar.
Métodos de aprendizaje/autoencoding: Generan vectores de contexto comprimidos de longitud fija (ej. ICAE, AutoCompressor, Gist Tokens). Estos suelen tratar la compresión como una tarea auxiliar externa, produciendo representaciones continuas no léxicas (difíciles de interpretar) y con ratios de compresión fijos que no se adaptan a la densidad de información variable del texto, a menudo sacrificando la reconstrucción fiel del input.

2. Metodología

El artículo propone un marco de aprendizaje autoencoder autoexpresivo que utiliza un LLM preentrenado como compresor y descompresor, introduciendo un nuevo lenguaje interno de tokens Z (Z-tokens).

Concepto Central: La idea es que los LLMs, entrenados en vastos corpus, pueden aprender a "traducir" texto natural a un lenguaje interno abstracto y discreto (Z-tokens) y luego reconstruirlo o continuarlo. Esto se modela como una tarea de traducción bilingüe donde el modelo aprende a codificar y decodificar su propio lenguaje semántico.
Arquitectura:
- Compresor (LLM): Mapea una secuencia de entrada $X$ de longitud $N$ a una secuencia comprimida $Z$ de longitud variable $K$ ( $K \ll N$ ). Utiliza LoRA (Low-Rank Adaptation) para extender el vocabulario con nuevos tokens discretos ( $V_z$ ). La generación es autoregresiva, permitiendo que la longitud de la compresión sea dinámica: segmentos semánticamente densos reciben más tokens Z, mientras que las regiones redundantes se comprimen agresivamente.
- Descompresor (LLM): Puede operar en dos modos:
  1. Como Reconstructor: Reconstruye el texto original desde los tokens Z.
  2. Como Inferenciador: Realiza tareas downstream (resumen, QA, continuación) directamente en el espacio de tokens Z, sin necesidad de volver al nivel de tokens superficiales hasta el final.
- Ventana Deslizante: Para textos extremadamente largos, el método segmenta la entrada en ventanas superpuestas y aplica una restricción de consistencia en las regiones solapadas para mantener la coherencia semántica.
Entrenamiento: Se utiliza un objetivo de entropía cruzada combinado con técnicas de muestreo de programación (schedule sampling) para mitigar el sesgo de exposición durante la decodificación libre. Se emplea un estimador Gumbel-Softmax para mantener la diferenciabilidad durante el entrenamiento mientras se generan tokens discretos.

3. Contribuciones Clave

Compresión Discreta y Variable: A diferencia de los embeddings continuos fijos, los tokens Z son unidades léxicas discretas y de longitud variable que se adaptan a la densidad de información del contenido.
Integración Nativa: La compresión no es un módulo externo, sino parte intrínseca del proceso de razonamiento del LLM. Esto permite que el modelo realice inferencias lógicas y planificación narrativa sobre una representación simbólica compacta antes de proyectarla al nivel superficial.
Interpretabilidad y Polisemia Controlada: Los autores descubren y demuestran que los tokens Z son polisémicos (un mismo token puede representar conceptos diferentes según el contexto), similar a las palabras en el lenguaje natural. A pesar de esta ambigüedad, la descompresión es determinista gracias a las restricciones del vocabulario base y el contexto autoregresivo, logrando una compresión semánticamente fiel.
Eficiencia Computacional: Al reducir la longitud de la secuencia de $N$ a $K$ , la complejidad de la atención cae de $O(N^2)$ a $O(K^2)$ , ofreciendo ahorros teóricos de $(N/K)^2$ .

4. Resultados Experimentales

El método fue evaluado en seis conjuntos de datos a gran escala: Wikipedia, CNN/DailyMail, HotpotQA, NarrativeQA, QASPER y QuALITY.

Compresión y Reconstrucción: En tareas de reconstrucción de Wikipedia, el método logra una reducción de tokens de hasta 18× en algunos casos, manteniendo puntuaciones BLEU-4 superiores a los métodos baselines (ICAE, Gist Tokens, AutoCompressor).
Rendimiento en Tareas Downstream:
- Preguntas y Respuestas (QA): Supera a los métodos de estado del arte en HotpotQA, QuALITY, NarrativeQA y QASPER, demostrando que la compresión preserva la capacidad de razonamiento multi-paso.
- Resumen: En CNN/DailyMail, el método mantiene o mejora la calidad del resumen (ROUGE) con una compresión efectiva promedio de 6.3×.
Eficiencia:
- Velocidad: Se observa una aceleración en la inferencia de hasta 4.6× (y 2.1× en lotes grandes) debido a la reducción de la longitud de la secuencia.
- Memoria: Reducción significativa en el uso de memoria de GPU (ej. de 2.81 GB a 2.04 GB en configuraciones específicas).
Estabilidad: La técnica de schedule sampling demostró ser crucial para mejorar la robustez en la decodificación libre, evitando la acumulación de errores.

5. Significado e Impacto

Este trabajo ofrece un cambio de paradigma en la compresión de contextos para LLMs:

Razonamiento en Espacio Latente: Propone que los modelos pueden "pensar" directamente en un lenguaje interno comprimido y simbólico, lo que no solo acelera la inferencia sino que abre una ventana para entender cómo los LLMs representan y manipulan el conocimiento semántico.
Escalabilidad: Proporciona una vía viable para manejar contextos ultra-largos sin depender de arquitecturas de atención modificadas (como sparse attention o linear attention), utilizando en su lugar la capacidad de abstracción semántica del modelo.
Interpretabilidad: Al utilizar tokens discretos que actúan como unidades semánticas reutilizables, el proceso de compresión se vuelve más transparente y controlable en comparación con los embeddings continuos opacos.

En resumen, el artículo demuestra que un LLM puede aprender su propio "idioma corto" para comprimir, razonar y reconstruir información de manera eficiente, superando las limitaciones actuales de memoria y velocidad en el procesamiento de textos largos.