💬 NLP

In-Place Tokenizer Expansion for Pre-trained LLMs

Este artículo presenta un método de expansión de tokenizador in situ que actualiza LLM preentrenados mediante la continuación de las fusiones BPE en un corpus multilingüe e inicializando nuevos embeddings a través del promedio de sub-tokens, reduciendo así significativamente el recuento de tokens y mejorando la velocidad de decodificación para idiomas como el hindi y el vietnamita sin sacrificar la calidad del modelo.

Autores originales: Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner

Publicado 2026-07-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El lenguaje de las máquinas: Una breve introducción

Imagina que le estás enseñando a un robot a hablar. Para hacer esto, no puedes simplemente darle un diccionario con cada palabra del universo; eso sería demasiado pesado para cargar. En su lugar, le das un conjunto de piezas de construcción. En el mundo de la Inteligencia Artificial, estas piezas se llaman tokens. Piensa en los tokens como los trozos más pequeños de texto que una computadora entiende—a veces una palabra completa como "gato", pero a menudo solo una sílaba como "ga" o incluso una sola letra como "g".

Cuando un robot aprende un idioma, decide cómo dividir las oraciones en estos bloques. Si aprende inglés primero, podría tener un bloque especial para la palabra "the". Pero si más tarde le pides que hable hindi o vietnamita, y no estaba preparado para esos idiomas, podría tener que dividir esas palabras en piezas diminutas e ineficientes, como "h-i-n-d-i" en lugar de "Hindi". Esto es como intentar construir una casa con un martillo cuando en realidad necesitas un destornillador; funciona, pero es lento, torpe y desperdicia energía. Este artículo aborda el problema de cómo actualizar la "caja de herramientas" de un robot (su vocabulario) después de haber sido entrenado, sin tener que reconstruir todo el robot desde cero.

El rompecabezas de la caja de herramientas rota

Conoce a Jimmy y su equipo en Liquid AI. Estaban trabajando en un robot muy inteligente llamado LFM2, que vive en dispositivos como teléfonos y computadoras portátiles. Este robot era excelente en inglés y programación, pero cuando intentaba hablar idiomas como el hindi, el vietnamita o el tailandés, tropezaba. ¿Por qué? Porque su vocabulario era como una caja de herramientas que había sido empacada para un viaje a Londres, no a Bangkok. Cuando el robot intentaba escribir "Hindi", no tenía un solo bloque para la palabra completa. En su lugar, tenía que usar cuatro o cinco bloques diminutos para armarla. Esto hacía que el robot fuera lento, se cansara y tuviera hambre de batería.

El equipo enfrentó una elección difícil. Podían tirar a la basura su trabajo duro, construir un robot completamente nuevo con una mejor caja de herramientas y empezar de nuevo. O podían intentar meter un nuevo conjunto de herramientas en el robot viejo sin romperlo. La segunda opción es como intentar añadir un nuevo cajón a un motor de coche totalmente ensamblado y en funcionamiento mientras todavía conduce por la autopista. La mayoría de la gente pensaba que esto era imposible o demasiado arriesgado.

La actualización "en el lugar"

El equipo descubrió una forma ingeniosa de hacer exactamente eso. Lo llamaron Expansión del Tokenizador. En lugar de tirar la caja de herramientas vieja, conservaron las herramientas originales y simplemente añadieron nuevas al final de la caja.

Así fue como lo hicieron, paso a paso:

El copiar y pegar inteligente: Tomaron la lista de piezas de construcción existente del robot y le pidieron que siguiera aprendiendo con una mezcla de muchos idiomas diferentes. A medida que el robot aprendía nuevas palabras, no desechaba los bloques viejos. En su lugar, creaba nuevos bloques más grandes para palabras como "Hindi" o "Thai". Crucialmente, cada nuevo bloque se construía uniendo los bloques viejos y más pequeños que ya conocía. Era como darse cuenta de que, si tienes un bloque "H" y un bloque "i", puedes unirlos para hacer un bloque "Hi", y luego unir eso con "nd" e "i" para hacer "Hindi".
El pegamento mágico (Inicialización de Embeddings): Ahora el robot tenía nuevos bloques, pero no sabía qué significaban. El equipo tuvo que enseñarle al robot qué representaban estos nuevos bloques. Usaron un truco simple pero brillante: observaron los bloques viejos que componían el nuevo y le dieron al nuevo bloque el "promedio" del significado de sus partes. Si un nuevo bloque estaba hecho de tres bloques viejos, el cerebro del robot le dio la personalidad promedio de esos tres. Esto significaba que el robot no tenía que adivinar; comenzaba con una muy buena suposición.
El entrenamiento de dos etapas: El robot no estaba listo para correr un maratón todavía. Si lo dejaban correr inmediatamente, tropezaría. Así que realizaron un entrenamiento de dos etapas:
- Etapa 1: Congelaron el cerebro del robot (todo excepto los nuevos bloques) y solo dejaron que los nuevos bloques aprendieran. Esto fue como dejar que los nuevos cajones en la caja de herramientas se acostumbraran a sostener cosas sin mover el resto del coche.
- Etapa 2: Una vez que los nuevos bloques se sintieron cómodos, descongelaron a todo el robot y lo dejaron practicar la lectura y escritura en muchos idiomas nuevamente. Esto ayudó al robot a entender cómo los nuevos bloques encajaban en el panorama general.

Los resultados: Más rápido, más inteligente y más ligero

Los resultados fueron impresionentes. Al usar esta nueva caja de herramientas expandida, el robot podía hablar hindi, vietnamita y tailandés de manera mucho más eficiente.

El texto en hindi se dividió en 2.4 veces menos bloques.
El vietnamita fue 2.6 veces menos.
El tailandés tuvo el mayor salto, necesitando 4.0 veces menos bloques.

Debido a que el robot tenía que procesar menos bloques para decir lo mismo, se volvió mucho más rápido. El equipo estimó que, en un teléfono, hablar estos idiomas podía ser de 2.2 a 3.7 veces más rápido por carácter. Era como cambiar de caminar a andar en bicicleta; el robot recorría la misma distancia en una fracción del tiempo.

Lo que aprendieron (y lo que evitaron)

El equipo también aprendió qué no hacer, lo cual es igual de importante.

No toques las herramientas viejas: En un experimento, intentaron que el robot volviera a aprender los significados de sus bloques viejos mientras añadía los nuevos. Esto confundió al robot y empezó a repetirse como un disco rayado. Descubrieron que mantener los bloques viejos exactamente como estaban era el secreto del éxito.
No solo leas inglés: Cuando intentaron enseñar al robot los nuevos bloques usando principalmente texto en inglés, el robot se volvió bueno respondiendo preguntas de opción múltiple, pero terrible en la práctica de escribir oraciones. Podía elegir la respuesta correcta pero no podía contar una historia. Aprendieron que debían alimentarlo con una dieta equilibrada de muchos idiomas para mantenerlo sano.

La conclusión

Este artículo muestra que no siempre necesitas construir un nuevo robot para que hable un nuevo idioma. Si eres quien construyó el robot, puedes actualizar su vocabulario en medio de su vida. Al añadir cuidadosamente nuevas herramientas y darles el "promedio" significado correcto, puedes hacer que el robot sea más rápido y eficiente para todos, sin perder las habilidades que ya tenía. Es una receta práctica para hacer que la IA sea más inclusiva y rápida, directamente en el dispositivo que llevas en tu bolsillo.

Resumen Técnico: Expansión de Tokenizador In-Situ para LLMs Pre-entrenados

Declaración del Problema
Los tokenizadores para Modelos de Lenguaje de Gran Escala (LLMs) suelen ser fijos al inicio del pre-entrenamiento, con una asignación de vocabulario que refleja la distribución del corpus inicial. A medida que las prioridades de despliegue cambian para incluir lenguas subrepresentadas, estos idiomas sufren una alta "fertilidad de tokens": se dividen en significativamente más tokens por palabra en comparación con los idiomas para los cuales el tokenizador fue optimizado. Esta fragmentación aumenta la latencia de decodificación, el cómputo y el consumo de energía, particularmente para modelos en dispositivos (on-device), donde las matrices de embedding y de la cabecera LM constituyen una parte material del ancho de banda por token durante la decodificación. Mientras que los modelos en la nube pueden permitirse vocabularios amplios, los modelos para dispositivos deben enviarse con vocabularios compactos, aceptando la fragmentación fuera de un conjunto de idiomas fijo. Los remedios estándar, como el pre-entrenamiento desde cero con un nuevo tokenizador o el uso de métodos de transferencia zero-shot a tokenizadores de terceros arbitrarios, son o bien computacionalmente costosos o resuelven un problema más difícil de lo necesario.

Metodología
Los autores proponen la Expansión de Tokenizador, una receta in-situ para actualizar el tokenizador de un modelo pre-entrenado cuando el productor del modelo controla el diseño. El enfoque consta de tres componentes principales:

Construcción del Tokenizador (Continued-BPE):
En lugar de entrenar un nuevo tokenizador de forma independiente o tomar la unión de los vocabularios, los autores continúan el entrenamiento de fusión de Byte-Pair Encoding (BPE) del tokenizador de origen sobre un corpus multilingüe ponderado hacia los lenguajes con menor tokenización.
- Propiedades: Las fusiones existentes se mantienen fijas; las nuevas fusiones se anexan. Esto asegura un mapeo determinista donde la mayoría de los tokens de origen se mantienen como tokens únicos, y cada nuevo token tiene una descomposición exacta en uno o más tokens de origen.
- Escala: Aplicado a un modelo de Mezcla de Expertos (MoE) de 8B de parámetros, expandiendo el vocabulario de 65K a 128K entradas activas.
Inicialización de Embeddings:
La matriz de embeddings se reinicializa para coincidir con el nuevo tamaño del vocabulario ( $|V_{new}|$ ).
- Tokens transferidos: Las filas para los tokens que mapean 1-a-1 desde el origen se copian sin cambios.
- Nuevos tokens: Las filas para los nuevos tokens se inicializan como la media de las filas de embedding de sus sub-tokens de origen constituyentes. Esto asegura que las nuevas filas tengan una norma comparable a las filas existentes sin requerir una inicialización aleatoria.
Adaptación de Dos Etapas:
Para recuperar la calidad del checkpoint de origen, el modelo se somete a un pipeline de entrenamiento específico:
- Etapa 1 (Entrenamiento solo de Embeddings): El cuerpo del modelo permanece congelado. Solo se entrenan las nuevas filas de embedding (y sus contrapartes de la cabecera LM vinculada) durante 600B de tokens en una mezcla multilingüe centrada en lenguajes con baja tokenización. Crucialmente, las filas copiadas del origen están congeladas para evitar que se desvíen del cuerpo congelado.
- Etapa 2 (Pre-entrenamiento Continuado Completo): Todos los parámetros se descongelan. El modelo continúa su pre-entrenamiento durante 400B de tokens en un corpus multilingüe equilibrado. Esta etapa es crítica para re-equilibrar el modelo e integrar el nuevo vocabulario sin regredir el rendimiento en los idiomas previamente soportados.
- Mid-Training/Post-Training: El checkpoint adaptado procede a través de las fases estándar de mid-training (extensión de contexto a 128K) y post-training.

Resultados Clave
El método se aplicó al checkpoint LFM2-8B-A1B para producir LFM2.5-8B-A1B.

Eficiencia de Tokens: El tokenizador expandido reduce significativamente el conteo de tokens para lenguajes con baja tokenización, manteniendo la paridad para inglés y código.
- Reducciones: Hindi (~~2.4× menos tokens), Vietnamita (~~2.6×), Tailandés (~4.0×).
Recuperación de Calidad:
- Intercambio Zero-shot: Simplemente intercambiar el tokenizador causó una caída de ~5.8 puntos agregados en benchmarks.
- Etapa 1: Recuperó ~4.8 puntos, restaurando mayormente el rendimiento en inglés y código.
- Etapa 2: Cerró la brecha restante y superó al modelo de origen por 3.6 puntos agregados, igualando o superando al origen en las categorías de Conocimiento, Matemáticas, Código y Multilingüe.
- Benchmarks Multilingües: Los lenguajes previamente soportados (ej. Árabe, Alemán, Japonés) mantuvieron o mejoraron ligeramente su rendimiento, mientras que los lenguajes con baja tokenización vieron ganancias sustanciales (ej. Vietnamita +11.6 puntos, Hindi +7.6 puntos en Global-MMLU).
Latencia en Dispositivos:
- Compromiso (Trade-off): Un vocabulario más grande aumenta el costo por token (medido como una caída de ~7–10% en tokens/seg en dispositivos de referencia debido a restricciones de ancho de banda de memoria).
- Mejora Neta de Velocidad: Al combinar la compresión de tokens con el costo por token, el tokenizador expandido produce una mejora de velocidad de decodificación por carácter de 2.2× a 3.7× para Tailandés, Bengalí, Vietnamita e Hindi en dispositivos de referencia (M4 Max, Snapdragon 8 Elite).
- Regresión: Para lenguajes con paridad de compresión cercana (Inglés, código, principales lenguas europeas), el tiempo de decodificación por carácter regresa hasta un ~9%.

Hallazgos Negativos y Ablaciones
El artículo reporta dos hallazgos negativos críticos que dieron forma a la receta final:

Entrenar el Embedding Completo en la Etapa 1: Entrenar todas las filas de embedding (incluyendo las filas copiadas del origen) mientras el cuerpo estaba congelado causó una degradación en las capacidades generativas (ej. colapso en MATH500, HumanEval+) y una repetición severa, a pesar de que la precisión de opción múltiple se mantuvo intacta. Restringir el entrenamiento solo a las nuevas filas fue necesario.
Mezcla de Datos de la Etapa 2: Usar una mezcla predominantemente inglesa para el pre-entrenamiento continuado de la Etapa 2 causó un "colapso generativo" (pérdida de razonamiento y generación multilingüe) a pesar de mantener o mejorar las puntuaciones de opción múltiple. Se requirió una mezcla multilingüe equilibrada.

Significancia y Reivindicaciones
Los autores afirman que este es el primer registro de una receta del lado del modelo para la expansión de tokenizador mediante Continued-BPE in-situ a escala de producción (específicamente para un MoE de 8B para dispositivos).

Eficiencia: Demuestra que la expansión de vocabulario puede lograrse sin descartar el cómputo acumulado del pre-entrenamiento, siempre que el tokenizador se construya como una continuación de las fusiones de origen.
Despliegue: Ofrece una solución práctica para que los modelos en dispositivos soporten idiomas adicionales de manera eficiente, intercambiando un pequeño costo uniforme por token por ganancias masivas de eficiencia en scripts específicos.
Perspectiva de Evaluación: El trabajo destaca que los benchmarks estándar de opción múltiple (como MMLU) pueden no detectar la degradación en las capacidades generativas durante la adaptación del vocabulario, lo que hace necesaria la inclusión de benchmarks generativos en la evaluación.

Los autores liberan los pesos del modelo (LFM2.5-8B-A1B) y el tokenizador expandido, señalando que la receta está diseñada específicamente para entornos donde el productor del modelo controla la actualización del tokenizador, en lugar de adaptarse a tokenizadores de terceros arbitrarios.