💬 NLP

Compressing Sequences in the Latent Embedding Space: $K$ -Token Merging for Large Language Models

Este artículo presenta K-Token Merging, un marco de compresión en el espacio de incrustaciones latentes que fusiona bloques de tokens mediante un codificador ligero, logrando una reducción de hasta el 75% en la longitud de entrada con una degradación mínima del rendimiento en modelos de lenguaje grandes.

Autores originales: Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

Publicado 2026-04-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Grandes Modelos de Lenguaje (como los que usan ChatGPT o Mistral) son como chefes de cocina extremadamente talentosos, pero que tienen un problema: su mesa de trabajo es muy pequeña y sus ingredientes (las palabras) ocupan mucho espacio.

Cuando alguien les pide una receta muy larga (un texto enorme), la mesa se llena, el chef se abruma y tarda horas en cocinar. Además, la cocina se calienta mucho (gasta mucha energía y memoria).

Aquí es donde entra el nuevo método del que habla este paper: K-Token Merging (Fusión de K-Tokens). Vamos a desglosarlo con analogías sencillas.

1. El Problema: La Mesa Abarrotada

Hasta ahora, si querías darle al chef una historia de 100 páginas, tenías que ponerle 100 platos individuales en la mesa, uno por cada palabra.

El problema: El chef tiene que mirar cada plato uno por uno para entender la historia. Si la historia es muy larga, la mesa se desborda y el chef se vuelve lento y costoso de mantener.

2. La Solución: El "Empaquetador Mágico"

Los autores dicen: "¡Espera! No necesitamos 100 platos. Muchas palabras juntas cuentan una sola idea. ¡Agrupémoslas!".

Imagina que tienes una caja de herramientas. En lugar de poner 4 destornilleros sueltos en la mesa, los metes en una sola caja compacta que dice "Kit de Destornilleros".

K-Token Merging es ese empaquetador. Toma un grupo de palabras (por ejemplo, 4 palabras seguidas) y las convierte en una sola "super-palabra" o resumen antes de que el chef las vea.
La magia: El chef ahora solo tiene que mirar 25 "cajas" en lugar de 100 platos sueltos. ¡La mesa está mucho más limpia!

3. ¿Cómo funciona sin perder el sabor? (La parte técnica simplificada)

Aquí es donde el paper es brillante. Antes, algunos intentaban simplemente tirar las palabras que parecían menos importantes (como tirar las verduras que sobran). Pero a veces, esas "verduras" eran esenciales para el sabor (como en matemáticas o código).

Este nuevo método no tira nada.

El Empaquetador (Encoder): Es un pequeño robot que toma el grupo de palabras y las mezcla en una sola "sopa concentrada" (un vector de embeddings). Es como hacer un jugo concentrado de 4 frutas en un solo vaso.
El Entrenamiento (LoRA): Como el chef nunca ha visto estas "sopas concentradas", le enseñamos un truco rápido (usando una técnica llamada LoRA) para que aprenda a entender el jugo concentrado y sepa que, si huele a "manzana y canela", significa "pastel de manzana".
La Salida: Cuando el chef empieza a cocinar (generar la respuesta), vuelve a usar los platos normales. No le damos al cliente un vaso de jugo concentrado; le servimos el pastel completo, palabra por palabra.

4. Los Resultados: Más rápido, igual de bueno

El paper probó esto en tres situaciones:

Lógica (Árboles de texto): Como resolver un rompecabezas.
Sentimientos (Reseñas de Amazon): Como saber si un cliente está feliz o enojado.
Código (Programación): Como arreglar un programa de computadora.

El resultado fue asombroso:

Lograron reducir la cantidad de "platos" en la mesa en un 75% (de 100 pasaron a 25).
El chef casi no notó la diferencia. La calidad de la respuesta se mantuvo casi perfecta (solo bajó un poquito, como un 1.5%).
Ahorro: Como la mesa es más pequeña, el chef cocina mucho más rápido y gasta mucha menos energía.

5. ¿Por qué es diferente a lo que ya existía?

Métodos antiguos (Compresión "Dura"): Era como tirar la mitad de la receta porque "parecía aburrida". Funcionaba para textos largos y simples, pero si tirabas una palabra clave en un código de programación, el programa fallaba.
Métodos antiguos (Compresión "Blanda"): Intentaban crear nuevas palabras mágicas para resumir, pero a veces se quedaban cortos.
Este método: Es como tener un traductor en tiempo real que resume grupos de palabras en un solo concepto sin perder información. Es como si pudieras leer un libro entero en una sola página, pero al explicarlo, pudieras contar cada detalle con precisión.

En resumen

Imagina que tienes que enviar una carta muy larga por correo.

Antes: Enviabas 100 sobres individuales. Costaba mucho dinero y tardaba en llegar.
Ahora (K-Token Merging): Mete esas 100 cartas en 25 cajas fuertes compactas. El cartero (el modelo) las lleva mucho más rápido. Cuando llegan a destino, se abren las cajas y las cartas están intactas, listas para leerse.

Conclusión: Este método nos permite usar la inteligencia artificial para textos gigantes (como libros enteros o horas de conversación) sin que la computadora se vuelva lenta o se quede sin memoria, manteniendo la inteligencia y precisión intactas. ¡Es como darle a la IA un superpoder de "compactación" sin perder su cerebro!

1. El Problema

Los Modelos de Lenguaje Grande (LLM) enfrentan costos computacionales y de memoria prohibitivos al procesar prompts largos. Esto se debe a que el mecanismo de atención auto-attention (softmax) escala cuadráticamente con la longitud de la entrada ( $O(n^2)$ ).

Las soluciones actuales de compresión de tokens se dividen en dos categorías, ambas con limitaciones:

Compresión de prompts "dura" (Hard): Elimina o resume tokens (ej. SelectiveContext, LLMLingua2). Aunque reduce la longitud, pierde información crítica en tareas densas (razonamiento matemático, código), degradando el rendimiento.
Compresión de prompts "blanda" (Soft): Aprende nuevos tokens o adapta parámetros para representar secuencias de forma más compacta (ej. LTSC, Gist). Sin embargo, estas métodos operan principalmente en el espacio de tokens, ignorando una fuente masiva de redundancia: el propio espacio de incrustación (embedding) latente.

El artículo señala una ineficiencia fundamental: en modelos como Qwen 2.5, cada token consume ~28,672 bits, mientras que la información teórica mínima para identificar un token es de solo ~18 bits. Existe un enorme margen para mejorar la representación de entrada.

2. Metodología: K-Token Merging

Los autores proponen K-Token Merging, un marco de compresión que opera directamente en el espacio de incrustación latente en lugar de en el espacio de tokens.

Concepto Central: En lugar de eliminar tokens, el método fusiona cada bloque contiguo de K tokens en una única incrustación comprimida mediante un codificador ligero (un MLP de pocas capas).
Arquitectura:
- Fase de Prefill (Entrada): Un codificador $f$ toma las incrustaciones originales de $K$ tokens consecutivos y genera una sola incrustación comprimida $C_i$ . Esto reduce la longitud de la secuencia de entrada de $N$ a $N/K$ .
- Fase de Generación: El LLM genera tokens originales (no comprimidos) en su vocabulario estándar. Estos nuevos tokens se añaden al prefijo mixto (comprimido/no comprimido) y se procesan autoregresivamente.
Adaptación del Modelo: Se utiliza LoRA (Low-Rank Adaptation) para afinar el LLM y que pueda interpretar las nuevas incrustaciones comprimidas sin necesidad de reentrenar todo el modelo desde cero.
Inicialización Inteligente: Para acelerar la convergencia, la incrustación comprimida se inicializa como el promedio (mean pooling) de los $K$ tokens originales. El codificador aprende una combinación residual sobre este promedio, proporcionando un punto de partida semánticamente estable.
Diferencia clave con la expansión de vocabulario: A diferencia de tratar los K-gramas como nuevos tokens del vocabulario (lo que causaría una explosión de tokens de cola de baja frecuencia y problemas de generalización), este método mantiene el vocabulario de salida intacto y generaliza naturalmente a combinaciones de tokens no vistas.

3. Contribuciones Clave

Nuevo Marco de Compresión: Introducción de K-Token Merging, el primer enfoque que comprime secuencias directamente en el espacio latente de incrustaciones, abordando la ineficiencia inherente de los embeddings actuales.
Receta de Entrenamiento: Presentación de una estrategia de ajuste fino con LoRA y una inicialización basada en promedios que permite a los LLMs adaptarse rápidamente a entradas comprimidas.
Eficiencia Comprobada: Demostración experimental de que es posible reducir la longitud de entrada hasta en un 75% con una degradación de rendimiento mínima, situando al método en la frontera de Pareto (óptimo entre compresión y precisión).

4. Resultados Experimentales

El método se evaluó en tres tareas diversas utilizando el modelo base Qwen-2.5 0.5B:

Razonamiento Estructural (Textualized Tree):
- Logró una reducción de longitud del 75% (K=4) manteniendo una precisión del 98.38% (frente al 99.97% del modelo sin comprimir).
- Superó significativamente a métodos de compresión dura (que caen al 82% de precisión) y a métodos blandos existentes.
Clasificación de Sentimiento (Amazon Reviews):
- Alcanzó un 75% de reducción con una precisión del 91.05%.
- Obtuvo el mejor puntaje P-L F1 (una métrica que equilibra rendimiento y reducción de longitud), superando a los baselines más fuertes en un 25.5%.
Edición de Código (CommitPackFT):
- En tareas de código, donde la información es densa, el método logró una reducción del 75% con una perplejidad competitiva (1.391 vs 1.293 del baseline).
- Demostró que el modelo puede recuperar instrucciones y contexto de código comprimido para generar código correcto.

Estimación de Ahorro Computacional:
Dado que el costo de prellenado (prefill) escala cuadráticamente, una reducción del 75% en la longitud de entrada (dejar el 25% de tokens) reduce el costo de FLOPs de prellenado a $0.25^2 = 6.25\%$ . En escenarios donde la salida es corta comparada con la entrada, esto se traduce en una reducción estimada del 94% en el cómputo total.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de la compresión de LLMs:

Cambio de Enfoque: Pasa de "qué tokens eliminar" a "cómo representar mejor los tokens existentes".
Escalabilidad: Ofrece una solución viable para contextos largos sin sacrificar la capacidad de razonamiento o la precisión, algo crítico para aplicaciones de agentes autónomos y análisis de documentos largos.
Eficiencia: Al reducir la carga computacional cuadrática del prellenado, hace viable la ejecución de LLMs en hardware más limitado o con latencias más bajas.

El artículo concluye que explotar la redundancia en el espacio de incrustaciones es una dirección prometedora para mejorar la eficiencia de los LLMs, dejando como trabajo futuro la compresión durante la generación y estrategias de compresión adaptativa.