Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion

Resumen Técnico: Desfragmentación de Modelos de Lenguaje

1. El Problema: Fragmentación Excesiva de Tokens (Token Over-fragmentation)

El artículo aborda un problema crítico en los Modelos de Lenguaje Grandes (LLM) modernos: la fragmentación excesiva de tokens.

• Desigualdad en la Tokenización: Aunque todos los idiomas son iguales, la tokenización no lo es. Los idiomas que utilizan scripts no latinos (como el hindi, el odia o el birmano) a menudo requieren múltiples veces más tokens que el inglés para codificar la misma cantidad de información.
• Consecuencias: Esto genera una "tarifa de tokenización" desproporcionada para los hablantes de estos idiomas, resultando en:
  • Mayores costos de API.
  • Mayor latencia en la inferencia.
  • Rendimiento degradado en tareas posteriores.
• Causa Raíz: Los tokenizadores estándar (como BPE o Unigram) se entrenan con datos sesgados hacia idiomas de recursos altos y scripts latinos. Además, la re-entrenación completa de un modelo con un tokenizador equitativo es computacionalmente inviable. La solución práctica es la expansión del vocabulario, pero los métodos actuales tienen limitaciones.

2. Metodología y Enfoque

Los autores proponen un enfoque basado en la interpretabilidad para la expansión del vocabulario, dividiendo el proceso en dos etapas clave y cuestionando las prácticas convencionales:

• Etapa 1: Selección de Ítems (¿Qué añadir?):

  • Estado del arte: Se basa en heurísticas de frecuencia (ej. añadir las palabras más frecuentes que faltan).
  • Propuesta: Utilizar métodos basados en la interpretabilidad. Se analiza si el modelo puede "des-tokenizar" (reconstruir) palabras o subpalabras completas a partir de sus activaciones internas, demostrando que el modelo posee un léxico interno más rico que su vocabulario explícito.
  • Se utiliza el marco Patchscopes para detectar si una secuencia de subtokens corresponde a una palabra significativa en la representación interna del modelo.

• Etapa 2: Inicialización de Embeddings (¿Cómo inicializar?):

  • Una vez seleccionados los ítems, sus embeddings (de entrada y salida) deben inicializarse.
  • Propuesta: En lugar de inicializaciones aleatorias o promedios simples de subtokens, se utilizan las activaciones ocultas del modelo en la capa donde ocurre la des-tokenización exitosa. Se aprenden transformaciones ortogonales (Procrustes) para mapear estas activaciones a los nuevos embeddings.

• Innovación Principal: FragMend

  • El método previo Tokens2Words (Kaplan et al., 2025) se limitaba a palabras completas, lo que imponía un techo de eficiencia bajo.
  • FragMend extiende este concepto a la des-tokenización de subpalabras. Observan que los modelos reconstruyen palabras completas mediante una fusión progresiva de prefijos y sufijos a través de las capas.
  • FragMend permite añadir subtokens (afijos) como nuevos ítems del vocabulario, no solo palabras completas. Esto aumenta drásticamente el número de ítems añadibles con la misma cantidad de datos de entrenamiento.
  • Estrategias de Reducción: Dado que un subtoken puede aparecer en múltiples palabras con diferentes activaciones, FragMend propone estrategias para reducir estas múltiples inicializaciones candidatas a un único embedding (ej. promediando o seleccionando la capa más temprana donde ocurre la des-tokenización).

3. Contribuciones Clave

1. Cuestionamiento de la Frecuencia: Demuestran que los métodos basados en frecuencia para seleccionar vocabulario son subóptimos. Los métodos basados en interpretabilidad ofrecen una mejor compensación (trade-off) entre eficiencia de tokens y rendimiento.
2. Inicialización Superior: Validan que la inicialización basada en interpretabilidad supera a las estrategias heurísticas (como FVT o FOCUS) en varios idiomas, especialmente en scripts no latinos de bajos recursos.
3. Descubrimiento de "Des-tokenización de Subpalabras": Identifican que los LLMs reconstruyen palabras completas fusionando progresivamente subtokens a través de las capas, lo que sugiere un léxico interno composicional.
4. FragMend: Presentan una nueva técnica que aprovecha este fenómeno para expandir el vocabulario con subpalabras, logrando ganancias de eficiencia de tokens de hasta 3x en comparación con métodos anteriores, con una pérdida de rendimiento mínima.

4. Resultados Experimentales

Los experimentos se realizaron principalmente con el modelo Qwen3-30B-A3B y otros modelos más pequeños, evaluando 14 idiomas (mezcla de scripts latinos/no latinos y recursos altos/bajos).

• Eficiencia vs. Rendimiento:
  • Los métodos basados en interpretabilidad (Tokens2Words y FragMend) empujan la frontera de Pareto más allá de los métodos BPE tradicionales.
  • FragMend logra reducciones de tokens significativas (hasta un 60-70% en algunos casos de scripts no latinos) manteniendo la precisión en tareas como clasificación de temas (SIB200) y comprensión lectora (Belebele).
• Idiomas de Bajos Recursos: Los beneficios son más pronunciados en idiomas no latinos de bajos recursos (ej. Odia, Birmano, Amárico), donde la reducción de tokens es masiva y el costo de API disminuye drásticamente.
• Escalabilidad: El método funciona mejor en modelos más grandes (de 0.8B a 9B parámetros), ya que estos tienen representaciones internas más ricas para la des-tokenización.
• Comparación de Inicialización: La inicialización basada en interpretabilidad supera consistentemente a la inicialización aleatoria y a la promediada (FVT) en idiomas no latinos.

5. Significado e Impacto

• Equidad en IA: El trabajo aborda directamente la injusticia económica y técnica que sufren los hablantes de idiomas no latinos al interactuar con LLMs comerciales.
• Bajo Costo de Implementación: La solución requiere solo un corpus pequeño no etiquetado (ej. 1,000 secuencias) y no requiere re-entrenar el modelo completo, solo ajustar los embeddings de los nuevos tokens.
• Cambio de Paradigma: Sugiere que la comunidad debe abandonar la selección ciega basada en frecuencia para la expansión de vocabulario y adoptar enfoques que utilicen la "inteligencia" interna del modelo (interpretabilidad) para tomar decisiones más informadas.
• FragMend establece un nuevo estado del arte para la adaptación de LLMs a idiomas de bajos recursos, ofreciendo una vía práctica para reducir costos y mejorar la latencia sin sacrificar la capacidad del modelo.

En conclusión, el artículo demuestra que la "desfragmentación" de los modelos de lenguaje es posible y necesaria, y que el uso de la interpretabilidad para guiar la expansión del vocabulario es una estrategia superior a los métodos tradicionales.