Resumen Técnico: LiteToken: Eliminación de Residuos de Fusión Intermedia de los Tokenizadores BPE

1. Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLM) han experimentado un crecimiento dramático en parámetros y datos de entrenamiento, el diseño de sus tokenizadores —específicamente el ampliamente utilizado Byte Pair Encoding (BPE)— ha recibido un escrutinio comparativamente menor. Este artículo identifica una ineficiencia específica en los vocabularios BPE estándar denominada "residuos de fusión intermedia" (también conocidos como "tokens de andamiaje").

Durante el entrenamiento de BPE, el algoritmo fusiona iterativamente los pares de tokens adyacentes más frecuentes. Muchos de los tokens creados durante este proceso son altamente frecuentes en el momento de su creación, pero son posteriormente absorbidos por fusiones adicionales. En consecuencia, estos tokens aparecen con poca frecuencia en el corpus tokenizado final, pero permanecen en el vocabulario. Los autores identifican tres problemas principales causados por estos residuos:

1. Desperdicio de Tokens: Estos tokens ocupan capacidad en las incrustaciones (embeddings) de tokens y en las capas de decodificación sin ser utilizados eficazmente, lo que conduce a un desperdicio de parámetros y FLOPs (estimado en un 1–3% para modelos ≤8B de parámetros).
2. Degradación del Rendimiento: Debido a que estos tokens son poco frecuentes en el corpus final, están subentrenados. Los modelos encuentran mayores tasas de error al procesar entradas que activan estos tokens, particularmente en escenarios atípicos o fuera de la distribución (out-of-distribution).
3. Vulnerabilidad: La baja frecuencia y la asociación con patrones de texto ruidosos hacen que estos tokens sean un vector para ataques adversarios y una reducción de la robustez frente a errores ortográficos o perturbaciones de tipo jailbreak.

2. Metodología: LiteToken

Los autores proponen LiteToken, un algoritmo ligero, plug-and-play, diseñado para identificar y eliminar los residuos de fusión intermedia de un tokenizador BPE existente sin reentrenar el tokenizador ni el modelo. El proceso involucra tres etapas principales:

A. Algoritmo de Identificación

El método utiliza un análisis estadístico impulsado por el corpus para distinguir los verdaderos residuos de las unidades lingüísticas de baja frecuencia (como raíces, prefijos o sufijos). Emplea dos métricas:

1. Ratio Final/Intermedio (FI): Esto mide la frecuencia de un token en el corpus final ($F_1$) en relación con sus ocurrencias totales durante el proceso de fusión ($F_1 + F_2$). Un ratio bajo indica que el token fue mayoritariamente fusionado en unidades más grandes.
   $$R = \frac{F_1}{F_1 + F_2}$$
2. Filtrado de Entropía de Vecindad: Para evitar la eliminación de unidades morfológicas válidas (por ejemplo, "re" en "rewrite" o "import" como palabra independiente), el algoritmo calcula la entropía de los tokens vecinos a la izquierda y a la derecha. Los residuos intermedios suelen tener contextos de baja entropía y fijos (por ejemplo, "includ" casi siempre es seguido por "e", "ing", etc.), mientras que las raíces válidas o palabras independientes exhiben una mayor diversidad de vecindad.
   $$S(t) = \min \{S_{left}(t), S_{right}(t)\}$$
   Los tokens se clasifican como residuos si su ratio FI está por debajo de un umbral ($r$) y su puntuación de entropía está por debajo de un umbral ($s$).

B. Eliminación y Re-fusión

Una vez identificados los residuos, el tokenizador se modifica mediante un proceso de División (Split) y Re-fusión (Re-Merge):

• División (Split): Cuando se encuentra un token perteneciente al conjunto de residuos, el algoritmo revierte recursivamente las operaciones de fusión que lo crearon, dividiéndolo de nuevo en sus tokens predecesores hasta que solo queden tokens básicos o no-residuos. Esto asegura que no se generen tokens desconocidos.
• Re-fusión (Re-Merge): Para evitar una fragmentación excesiva de secuencias, el algoritmo aplica un paso de re-fusión utilizando las fusiones aprendidas "no enmascaradas". Esto recombina los tokens divididos en unidades más compactas y lingüísticamente alineadas (por ejemplo, re-formando "corruption" a partir de sus partes divididas) sin reintroducir los tokens de residuo eliminados.

C. Enmascaramiento de la Capa de Salida

Para evitar que el modelo genere tokens de residuo durante la decodificación autorregresiva, se enmascaran las columnas correspondientes en la matriz de proyección de salida ($O \in \mathbb{R}^{d_h \times N_{vocab}}$). Los autores señalan que la re-fusión no se aplica durante la generación para mantener la compatibilidad con los cachés KV.

D. Compatibilidad con Tiktoken

El método se adapta para tiktoken (utilizado por las familias Llama-3, GPT y Gemma), que carece de un árbol de fusión estricto. Para estos tokenizadores, el algoritmo considera todos los caminos de fusión permitidos que dan lugar a un token específico y realiza estadísticas de frecuencia basadas en la tabla de fusión real utilizada durante la codificación.

3. Contribuciones Clave

• Caracterización Sistemática: El artículo proporciona un análisis empírico que revela que aproximadamente del 5% al 10% de los tokens en los tokenizadores BPE de uso común (incluyendo las familias Qwen, DeepSeek, Llama-3 y GPT) son residuos de fusión intermedia.
• Algoritmo LiteToken: Un método novedoso, libre de entrenamiento, para podar estos residuos, reduciendo el tamaño del vocabulario y los parámetros del modelo, mejorando la eficiencia de los tokens.
• Despliegue Plug-and-Play: El enfoque permite que los modelos preentrenados utilicen el tokenizador modificado de inmediato sin necesidad de ajuste fino (fine-tuning), preservando el rendimiento general.

4. Resultados Experimentales

Los autores evaluaron LiteToken en modelos que van desde 0.6B hasta 70B de parámetros (Qwen, Llama-3, DeepSeek, etc.) utilizando los conjuntos de datos C4-en, RedPajama y SQuAD.

• Reducción de Parámetros y Cómputo: La eliminación de residuos reduce el tamaño del vocabulario entre un 5% y un 10%, lo que conduce a una reducción proporcional en los parámetros de las capas de incrustación (embedding) y de salida (hasta aproximadamente ~2.6% para modelos de 0.6B).
• Rendimiento de Modelado de Lenguaje: El tokenizador modificado ("Lite") mostró un impacto insignificante en la perplejidad (PPL). Por ejemplo, en C4-en, la diferencia de PPL entre los tokenizadores originales y Lite fue inferior a 0.5 para Qwen-3-8B y Llama-3.1-70B.
• Robustez: Las ganancias más significativas se observaron en la robustez. Bajo pruebas de perturbación (errores ortográficos y límites de tokens adversarios), los modelos LiteToken demostraron una mayor precisión en la corrección de errores y en la respuesta a preguntas en comparación con los modelos originales. Por ejemplo, la caída de rendimiento para Qwen-3-8B bajo perturbación se redujo de 1.78% a 0.82%.
• Rendimiento General: En benchmarks estándar como SQuAD, la eliminación de residuos mantuvo los puntajes F1 dentro de un margen insignificante (por ejemplo, 0.833 vs. 0.829 para Qwen-3-8B), confirmando que la poda no daña las capacidades generales de PLN.

5. Significación y Reivindicaciones

El artículo argumenta que el diseño del tokenizador es un componente crítico, aunque a menudo pasado por alto, de la arquitectura de los LLM. Los autores afirman que los residuos de fusión intermedia representan una ineficiencia tangible que desperdicia recursos computacionales y crea vulnerabilidades ante entradas ruidosas.

Al introducir LiteToken, los autores demuestran que:

1. Una parte significativa del vocabulario en los tokenizadores BPE modernos es redundante.
2. Eliminar estos residuos mejora la robustez del modelo contra errores tipográficos y perturbaciones adversarias sin el costo de reentrenamiento.
3. La naturaleza "plug-and-play" del método permite beneficios inmediatos de despliegue en términos de ahorro de memoria y eficiencia de inferencia.

Los autores concluyen que, si bien su trabajo actual se centra en el inglés y las escrituras latinas, el fenómeno de los residuos de fusión es probablemente prevalente en otros idiomas, lo que sugiere la necesidad de una mayor investigación sobre la optimización de tokenizadores en diversas estructuras lingüísticas. Enfatizan que su trabajo es de alcance modesto, centrándose en la capa de tokenización, y deja las interacciones con el reentrenamiento del modelo como una dirección para investigaciones futuras.