💬 NLP

Length-MAX Tokenizer for Language Models

El artículo presenta el tokenizador Length-MAX, un método novedoso que optimiza la selección del vocabulario mediante un enfoque de partición de grafos para minimizar el promedio de tokens por carácter, logrando reducciones significativas en los pasos de entrenamiento, la latencia de inferencia y el uso de memoria, al tiempo que mejora el rendimiento en tareas posteriores en comparación con el Byte Pair Encoding estándar.

Autores originales: Dong Dong, Weijie Su

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dong Dong, Weijie Su

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot superinteligente a hablar el lenguaje humano. Para hacerlo, tienes que descomponer cada frase en diminutos bloques de construcción llamados "tokens". Piensa en estos tokens como piezas de LEGO. Si usas un juego de piezas estándar, podrías necesitar un millón de piezas diminutas para construir una casa sencilla, lo que haría la construcción lenta y desordenada. Durante años, la forma más popular de fabricar estas piezas (un método llamado Codificación de Par de Bytes, o BPE) consistía en agarrar los pares de letras más comunes y pegarlos. Era como decir: "Oye, 'th' y 'e' aparecen mucho, así que hagamos una pieza de 'the'". Pero este enfoque tenía un fallo: amaba tanto las palabras cortas y comunes que seguía fragmentando frases largas y significativas en trozos diminutos e ineficientes. Esto obligaba al robot a procesar muchas más piezas de las necesarias, ralentizando su pensamiento y consumiendo su memoria.

Ahora, imagina una nueva forma de construir esos juegos de LEGO. En lugar de solo buscar los pares más frecuentes, este nuevo método pregunta: "¿Qué pasaría si creamos piezas más grandes y más inteligentes que cubran más terreno?". Este es el corazón de un nuevo estudio de los investigadores Dong Dong y Weijá Su, de la Universidad de Pensilvania. Presentaron un nuevo tokenizador llamado Length-MAX. En lugar de solo contar con qué frecuencia aparece una palabra, Length-MAX recompensa las frases largas que aparecen con la frecuencia suficiente como para ser útiles. Es como darse cuenta de que, aunque "the" es común, la frase "the United States" es un bloque de construcción mucho mejor que tres piezas separadas. Al sustituir piezas diminutas y repetitivas por piezas menos numerosas, más largas y más significativas, el robot puede construir sus frases más rápido, usar menos memoria y, de hecho, entender mejor la historia.

El problema de tener demasiadas piezas diminutas

Durante mucho tiempo, la forma estándar de enseñar lenguaje a las computadoras ha sido trocear el texto en piezas pequeñas basadas en la frecuencia con la que aparecen. Esto se llama Codificación de Par de Bytes (BPE). Funciona encontrando los dos símbolos más comunes uno al lado del otro y fusionándolos en un nuevo token. Es un poco como un juego en el que sigues combinando a los vecinos más populares hasta que te quedas sin movimientos.

El problema es que este juego favorece los fragmentos cortos de alta frecuencia. Trata una frase larga y coherente como "in the midst of a historic snowstorm" como una colección de piezas diminutas y desconectadas. Debido a que los modelos de IA modernos tienen que prestar atención a cada una de las piezas para entender la oración completa, tener demasiadas piezas diminutas hace que la complejidad matemática explote. Es como intentar leer un libro donde cada palabra está dividida en tres sílabas; tienes que leer tres veces más "palabras" para obtener el mismo significado. Esto ralentiza el entrenamiento, hace que la IA sea más lenta para responder preguntas y requiere más memoria informática.

Entra Length-MAX: La estrategia de "Más largo es mejor"

Los investigadores detrás de este artículo decidieron cambiar el guion. Preguntaron: "¿Qué pasaría si optimizáramos para la longitud en lugar de solo la frecuencia?". Crearon un nuevo tokenizador llamado Length-MAX.

En lugar de solo buscar los pares más comunes, Length-MAX busca subcadenas que maximicen una puntuación específica: Frecuencia × Longitud. Recompensa los tokens que son tanto comunes como largos. Si una frase como "the United States" aparece con la frecuencia suficiente, Length-MAX la tomará y la convertirá en un solo token, en lugar de dividirla en "the", "United" y "States".

Para hacer esto, el equipo tuvo que resolver un rompecabezas matemático complicado. Se dieron cuenta de que encontrar el conjunto perfecto de tokens largos es un problema tan complejo que es matemáticamente imposible de resolver perfectamente para cantidades enormes de texto (un problema conocido como NP-hard). Por lo tanto, construyeron un algoritmo "codicioso" (greedy) muy ingenioso. Imagina una tabla de puntuación donde cada frase posible recibe una puntuación basada en qué tan larga es y con qué frecuencia aparece. El algoritmo elige la frase con la mejor puntuación, la bloquea y repite el proceso hasta que el vocabulario está lleno. Lo hicieron increíblemente rápido utilizando una técnica llamada hash rodante de Rabin-Karp, que les permite escanear el texto como un escáner de alta velocidad, y lo ejecutaron en cientos de núcleos de computadora a la vez.

Los resultados: Más rápido, más pequeño y más inteligente

El equipo probó este nuevo método entrenando modelos de IA desde cero (específicamente modelos GPT-2) y comparándolos con el método BPE estándar. Los resultados fueron impresionantes en todos los ámbitos:

Menos Tokens: A través de diferentes tamaños de vocabulario, Length-MAX redujo la cantidad de tokens necesarios para representar el texto en un 14–18% en comparación con BPE. Para un vocabulario de 64,000 palabras, la reducción fue del 13.0%. Esto significa que la IA tiene que procesar significativamente menos "ladrillos" para decir lo mismo.
Entrenamiento más rápido: Debido a que hay menos tokens que procesar, los modelos aprendieron más rápido. Para alcanzar un nivel específico de habilidad, el modelo de 124 millones de parámetros necesitó un 18.5% menos de pasos, el modelo de 355 millones de parámetros necesitó un 17.2% menos de pasos, y el de 1.3 mil millones de parámetros necesitó un 18.5% menos de pasos.
Respuestas más rápidas: Cuando se les pidió a los modelos que generaran texto, fueron más rápidos. La latencia de inferencia (el tiempo que tarda en responder) cayó un 13.7% para el modelo de 124M, y la velocidad a la que generaban texto (throughput) aumentó un 16%.
Menos Memoria: Los modelos también usaron menos memoria. Los investigadores descubrieron que la memoria necesaria para la "memoria de trabajo" del modelo (llamada caché KV) y sus incrustaciones de vocabulario disminuyó un 18%.
Mejor Comprensión: Sorprendentemente, usar menos tokens no hizo que la IA fuera más tonta; la hizo más inteligente. En pruebas que miden qué tan bien una IA entiende historias largas y el contexto, los modelos de Length-MAX funcionaron mejor. Por ejemplo, en una prueba llamada LAMBADA, la confusión (perplejidad) de la IA cayó un 11.7%, y en una prueba de razonamiento de sentido común llamada HellaSwag, la precisión mejoró en 4.3 puntos.

Por qué funciona (y qué es lo que no hace)

La magia de Length-MAX no es solo que ahorra tiempo; es que cambia cómo la IA ve el mundo. Al agrupar palabras en frases largas y significativas (como "in the midst of"), la IA puede mantener el contexto de una oración más fácilmente. Es la diferencia entre intentar entender una historia mirando palabras individuales frente a mirar palabras y frases completas.

Los investigadores también verificaron que no rompieran el "ritmo" natural del lenguaje. Encontraron que Length-MAX todavía sigue las leyes naturales de la frecuencia del lenguaje (conocidas como la ley de Zipf), lo que significa que no creó palabras largas extrañas y aleatorias. Preservó la estructura natural del lenguaje mientras lo hacía más eficiente.

Sin embargo, el artículo señala cuidadosamente lo que este método no hace. No funciona en modelos que ya están entrenados y congelados; tienes que entrenar el modelo desde cero con el nuevo tokenizador para obtener estos beneficios. También se centra en el texto en inglés, por lo que aún no está claro si funciona tan bien para idiomas con estructuras muy diferentes. Además, aunque los resultados son sólidos para modelos de hasta 1.3 mil millones de parámetros, los investigadores sugieren que para modelos masivos (como los de 7 mil millones de parámetros), los beneficios probablemente sean similares, pero aún no se han probado completamente.

La conclusión

Length-MAX es un enfoque fresco para un problema de décadas de antigüedad. Al darse cuenta de que "más largo suele ser mejor" para los tokens, los investigadores encontraron una forma de hacer que los modelos de IA sean más rápidos, más baratos de ejecutar y sorprendentemente mejores para comprender el contexto. Es un recordatorio de que, a veces, la mejor manera de avanzar no es construir un motor más grande, sino una transmisión más inteligente. El código y los nuevos vocabularios ya están disponibles para que cualquiera los pruebe, ofreciendo una forma práctica de exprimir más eficiencia de la próxima generación de modelos de lenguaje.

Resumen Técnico: Tokenizador Length-MAX para Modelos de Lenguaje

Planteamiento del Problema

Los paradigmas de tokenización dominantes actuales, particularmente la Codificación de Par de Bytes (BPE) y sus variantes (WordPiece, SentencePiece), dependen de estrategias de fusión basadas en la frecuencia. Si bien son efectivas para manejar palabras fuera del vocabulario (OOV), estos métodos priorizan los pares de símbolos más comunes, lo que a menudo resulta en la fragmentación del texto en tokens innecesariamente cortos. Esta fragmentación aumenta la longitud de la secuencia necesaria para representar un texto dado. Dado que la complejidad computacional de los mecanismos de atención en los modelos Transformer escala cuadráticamente con la longitud de la secuencia, los tokens más cortos conducen a:

Mayor tiempo de entrenamiento y latencia de inferencia.
Mayor consumo de memoria para los embeddings y los cachés de Clave-Valor (KV).
Desempeño degradado en tareas que requieren dependencias de largo alcance y razonamiento.

Los autores argumentan que optimizar únicamente la frecuencia de los tokens no tiene en cuenta las ganancias de eficiencia que se pueden lograr maximizando la longitud promedio de los tokens manteniendo una alta cobertura del corpus.

Metodología: Length-MAX

El artículo presenta Length-MAX, un tokenizador diseñado para minimizar el promedio de tokens por carácter (TPC) mediante la optimización de un objetivo ponderado por longitud en lugar de solo por frecuencia.

1. Función Objetivo

En lugar de fusionar los pares más frecuentes, Length-MAX busca maximizar el producto de la frecuencia del token y la longitud del token:
$\text{score}(t) = \text{freq}(t) \times |t|$
Este objetivo recompensa las subcadenas largas que mantienen una alta cobertura dentro del corpus, agrupando efectivamente frases de varias palabras (por ejemplo, "the United States") en tokens únicos.

2. Formulación Teórica

Los autores formalizan el problema de la construcción del vocabulario como la maximización de la cobertura ponderada por longitud sobre un corpus. Demuestran que este problema es NP-duro al reducirlo a un problema de partición de grafos. Específicamente, construyen un grafo donde los nodos son secuencias de texto y los pesos de las aristas representan la longitud del prefijo común más largo (LCP). Maximizar la cobertura es equivalente a minimizar la suma de los pesos mínimos de las aristas dentro de las particiones.

3. Algoritmo e Implementación

Para resolver este problema NP-duro de manera eficiente, los autores desarrollaron un algoritmo de aproximación voraz (greedy) de $O(N)$ con garantías de monotonicidad. La implementación cuenta con varias optimizaciones de ingeniería para producción a gran escala:

Arquitectura de Scoreboard: Un flujo de trabajo paralelo basado en fragmentación (sharding), donde los trabajadores mantienen montículos máximos (max-heaps) locales de los principales candidatos clasificados por la puntuación ponderada por longitud.
Hash de Ruta Continua Rabin-Karp: Utilizado para el hashing de subcadenas en $O(1)$ durante la enumeración de n-gramas, lo que permite un conteo de frecuencia eficiente.
Vectorización SIMD: Utiliza instrucciones AVX2 (x86) y NEON (ARM) para el procesamiento paralelo de hashes.
Compilación de DFA: Los vocabularios entrenados se compilan en Autómatas Finitos Deterministas (DFA) para la inferencia, logrando velocidades de decodificación de 3 a 4 veces más rápidas en comparación con el escaneo estándar de izquierda a derecha.
Escalabilidad: El sistema logra un escalado casi lineal a través de los núcleos de la CPU (87% de eficiencia a 256 núcleos) y procesa los datos en una sola pasada sin requerir un segundo paso de codificación.

Contribuciones Clave

Objetivo Novedoso: Propone un objetivo ponderado por longitud ( $\text{freq}(t) \times |t|$ ) que desplaza el enfoque de la frecuencia pura hacia la longitud de la subcadena, contrarrestando el sesgo de tokens cortos de BPE.
Formalización Algorítmica: Formaliza la tokenización como un problema de partición de grafos NP-duro y proporciona una aproximación voraz con garantías teóricas de mejora monotónica en la longitud promedio del token.
Sistema Listo para Producción: Ofrece una implementación de alto rendimiento que incluye entrenamiento paralelo (87% de eficiencia a 256 núcleos) y decodificación basada en DFA (aceleración de 3 a 4 veces).
Validación Empírica: Demuestra mejoras consistentes en la eficiencia de la tokenización, la velocidad de entrenamiento, la latencia de inferencia, el uso de memoria y el desempeño en tareas de downstream sin cambios arquitectónicos en el modelo de lenguaje.

Resultados Experimentales

Los autores evaluaron Length-MAX en el corpus FineWeb (18.5T de tokens) utilizando arquitecturas GPT-2 (124M, 355M y 1.3B de parámetros) entrenadas desde cero.

Eficiencia de Tokenización

Reducción de TPC: Length-MAX reduce los tokens por carácter entre un 14% y 18% en comparación con BPE, SentencePiece y WordPiece para tamaños de vocabulario de 10k a 50k.
Escalabilidad: En vocabularios de 64k y 100k, las reducciones se mantienen en 13.0% y 9.8%, respectivamente.
Composición del Vocabulario: Los vocabularios de Length-MAX contienen significativamente más unidades de múltiples palabras (38.4% frente al 0.0% de BPE) y menos fragmentos de palabras.

Desempeño de Entrenamiento e Inferencia

Convergencia de Entrenamiento: Los modelos entrenados con Length-MAX alcanzaron pérdidas de validación fijas en menos pasos: 18.5% menos pasos para 124M, 17.2% para 355M y 18.5% para modelos de 1.3B.
Latencia de Inferencia: Logró una latencia un 13.7% menor y una ganancia de throughput (tokens/segundo) del 16% en GPUs NVIDIA A100.
Huella de Memoria: Redujo el consumo de memoria de los embeddings y del caché KV en un 17.4% para modelos como OPT-13B y un 18% para Llama2-70B con una longitud de secuencia de 2,048.

Desempeño en Tareas de Downstream

Benchmark GLUE: Length-MAX mejoró la puntuación promedio macro en un 12.8% (0.413 vs. 0.366) sobre BPE, con ganancias significativas en tareas de Inferencia de Lenguaje Natural (por ejemplo, RTE +58%, QNLI +49%).
Razonamiento de Largo Alcance:
- LAMBADA: La perplejidad disminuyó un 11.7%.
- HellaSwag: La precisión aumentó en 4.3 puntos.
- TinyStories: Las evaluaciones de GPT-4 prefirieron las generaciones de Length-MAX en el 85% de los prompts, citando mejor coherencia y gramaticalidad.
Robustez: Mantuvo una alta cobertura de vocabulario (99.62%) y bajas tasas de OOV (0.12%) en conjuntos de prueba no vistos, incluso bajo ruido a nivel de carácter.

Análisis de Distribución

El análisis de alineación de Zipf confirma que Length-MAX preserva la estructura de frecuencia de ley de potencia ( $R^2 = 0.941$ , $\alpha = 0.95 \pm 0.02$ ) conocida por correlacionarse con la calidad del modelo. El método aplana la "cabeza" de la distribución (reduciendo la varianza de las frecuencias de los 50 tokens superiores en un 96%) al reasignar la masa de probabilidad a unidades de múltiples palabras, sin alterar la cola de Zipf.

Significado y Reivindicaciones

El artículo afirma que optimizar la longitud promedio del token en lugar de solo la frecuencia ofrece un enfoque altamente efectivo para un modelado de lenguaje más eficiente. La importancia de Length-MAX radica en su capacidad para:

Reducir Costos Computacionales: Al acortar las longitudes de secuencia efectivas, reduce directamente la complejidad cuadrática de la atención, lo que genera ahorros sustanciales en tiempo de entrenamiento, latencia de inferencia y memoria.
Mejorar la Calidad del Modelo: La reducción de la fragmentación ayuda a los modelos a mantener dependencias de largo alcance, lo que conduce a mejoras medibles en las tareas de razonamiento y generación sin requerir modificaciones arquitectónicas.
Ortogonalidad: El enfoque es ortogonal a los métodos lingüísticos conscientes de los límites (como SuperBPE) y puede combinarse potencialmente con ellos.
Practicidad: El sistema está listo para producción, es escalable a corpus masivos y es compatible con los flujos de trabajo de entrenamiento de LLM existentes.

Los autores señalan que, aunque sus experimentos se centraron en inglés y modelos de hasta 1.3B de parámetros (con proyecciones para modelos más grandes), el principio fundamental de la optimización ponderada por longitud es aplicable en diversas escalas. Enfatizan que las ganancias de eficiencia son impulsadas principalmente por la reducción en la longitud de secuencia efectiva (TPC) más que por las propiedades distribucionales por sí solas.