💬 NLP

Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding

Este artículo presenta Pruned BPE, un método de postentrenamiento que mejora la eficiencia de la tokenización al ocultar los tokens de fusión intermedios de baja exposición del vocabulario del modelo y reasignar esos espacios a candidatos más frecuentes, reduciendo así la longitud de la secuencia codificada sin aumentar el tamaño del vocabulario visible para el modelo.

Autores originales: Kenny Shao

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kenny Shao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a leer. Para hacer esto, no puedes darle un diccionario con cada palabra del universo; eso sería demasiado pesado para su cerebro. En su lugar, le enseñas un truco ingenioso: descomponer las palabras en piezas más pequeñas y reutilizables, como piezas de LEGO. Si el robot ve "unbelievable", no necesita una pieza especial para la palabra completa. Solo puede ensamblar "un", "believe" y "able". Así es como la IA moderna lee el mundo: divide el texto en piezas diminutas llamadas "tokens".

La forma más popular de decidir qué piezas de LEGO conservar es un método llamado Byte Pair Encoding (BPE). Piensa en el BPE como un profesor muy estricto y repetitivo. Observa una enorme pila de texto, encuentra las dos piezas que aparecen juntas con más frecuencia y las pega para crear una nueva pieza más grande. Lo hace una y otra vez, creando una biblioteca de piezas que van desde letras individuales hasta palabras completas. El problema es que este profesor es un poco acumulador. Pega piezas que solo son útiles para formar piezas más grandes, pero que nunca aparecen por sí solas en la historia final. Es como tener una pieza de LEGO que solo se usa para construir la torre de un castillo, pero la torre nunca se construye en el modelo final. El robot todavía tiene que cargar con esta pieza inútil en su mochila, ocupando un espacio que podría usarse para algo más interesante.

Este artículo, titulado "Pruned BPE," plantea una pregunta sencilla: ¿Qué pasaría si pudiéramos limpiar la mochila del robot después de que el profesor haya terminado de construir la biblioteca? El autor, liderado por Kenny Shao, propone un método para observar todas las piezas que el profesor creó, identificar aquellas que se ven raramente en el texto final y cambiarlas por piezas mejores y más útiles. No reducen el tamaño de la mochila; simplemente reorganizan el contenido para que cada espacio esté lleno con algo que el robot realmente necesita ver.

El Problema: Las Piezas "Fantasma"

Para entender la solución, primero debemos ver el desorden. Cuando el profesor estándar de BPE trabaja, construye una jerarquía. Puede que pegue "en" y "viron" para formar "environ", y luego pegue "environ" y "ment" para formar "environment". En el sistema estándar, cada pieza creada durante este proceso obtiene un lugar en el vocabulario final del robot.

Pero aquí está el truco: la pieza "environ" puede ser una ayuda fantástica para construir "environment", pero rara vez aparece por sí sola en frases reales. Es una pieza "fantasma". Existe en la memoria del robot, ocupando un lugar valioso, pero el robot casi nunca la usa como respuesta final. Es como guardar un destornillador especializado en tu bolsillo que solo usas una vez al año para construir un juguete específico, mientras no tienes espacio para un martillo o una llave inglesa.

El autor argumenta que estas piezas fantasma están desperdiciando espacio. Debido a que se usan con poca frecuencia, el robot no practica lo suficiente con ellas, por lo que su comprensión de las mismas es débil. Mientras tanto, hay otros fragmentos de palabras útiles que el robot sí ve con frecuencia, pero que no tienen un lugar en la mochila porque todos los espacios están ocupados por estos fantasmas inútiles.

La Solución: El Gran Intercambio de la Mochila

El artículo presenta Pruned BPE, un proceso de dos pasos que actúa como un equipo de limpieza post-entrenamiento.

Paso 1: La Construcción Estándar.
Primero, dejan que el profesor estándar de BPE haga su trabajo exactamente como de costumbre. Construye toda la biblioteca de piezas, pegando pares hasta alcanzar el tamaño objetivo (por ejemplo, 10,000 piezas). En este punto, la biblioteca está llena, pero está desordenada con esas piezas "fantasma".

Paso 2: El Control de Visibilidad.
Ahora, el autor observa la biblioteca final y pregunta: "¿Con qué frecuencia aparece realmente esta pieza en el texto terminado?". Cuenta la "exposición" de cada pieza. Si una pieza como "environ" solo aparece una fracción mínima de las veces, se marca como "solo interna". Se queda en el sistema como un ayudante oculto: aún puede usarse para construir palabras más grandes, pero ya no se le permite ser una respuesta final que el robot vea.

Paso 3: La Reasignación.
Esta es la parte mágica. Cuando expulsan una pieza fantasma de la lista "visible", no dejan un hueco vacío. Vuelven a los datos de entrenamiento y siguen enseñando al robot a encontrar nuevas piezas que sean realmente útiles. Continúan el entrenamiento hasta encontrar suficientes piezas de alta calidad y frecuencia para llenar los espacios vacíos.

Así, la mochila mantiene el mismo tamaño (por ejemplo, 10,000 espacios), pero el contenido es completamente diferente. Las piezas fantasmales inútiles son reemplazadas por piezas "estrella" que el robot realmente utiliza. Cuando el robot lee una palabra, todavía usa las piezas ayudantes ocultas para construir la estructura, pero la lista final de tokens que envía al cerebro solo contiene aquellos que son útiles y de alta visibilidad.

Lo que Encontraron

Los autores probaron esta idea en dos pilas de texto diferentes: una mayoritariamente en inglés y otra mayoritariamente en chino, además de una mezcla de ambas. Compararon su método "Pruned" contra el método de "acumulación" estándar, manteniendo el tamaño de la mochila exactamente igual para ambos.

Los resultados fueron sorprendentemente consistentes. Al intercambiar los fantasmas de baja visibilidad por las estrellas de alta visibilidad, el método Pruned BPE logró comprimir el texto un poco mejor.

En el texto con predominio de inglés, redujeron el número de tokens necesarios en aproximadamente un 0.27% a 0.36% (dependiendo de qué tan estrictos fueran con la regla del "fantasma").
En el texto con predominio de chino, la mejora fue similar, oscilando entre el 0.23% y el 0.36%.

Para poner esto en perspectiva, el autor señala que lograr este tipo de compresión con el BPE estándar suele requerir añadir otros 2,000 tokens a la mochila. Pruned BPE obtiene esa misma mejora de eficiencia sin hacer la mochila más grande. Es como obtener más espacio de almacenamiento sin comprar una maleta más grande.

También realizaron una prueba especial para asegurarse de que la mejora no fuera solo un golpe de suerte de cómo el profesor de BPE estándar organiza sus piezas. Utilizaron un decodificador diferente y súper inteligente de "mínimo-token" que ignoraba el orden original del profesor y simplemente miraba la lista de piezas disponibles. Incluso con este decodificador justo y neutral, la lista de Pruned BPE produjo textos más cortos y eficientes. Esto sugiere que la mejora proviene de tener una mejor lista de piezas, no solo de la forma en que están dispuestas.

Los Ejemplos de "Fantasmas"

Para ver cómo son estas piezas "fantasma", el autor observó algunos ejemplos específicos:

Inglés: Un fragmento como "viron" podría ser un fantasma. Es excelente para construir "environment", pero rara vez ves "viron" por sí solo.
Chino: Un carácter como "gan" (parte de "gan ga", que significa torpe/incómodo) podría ser un fantasma. Es necesario para construir la palabra completa, pero rara vez se usa por sí mismo.
Código y Bytes: Algunos fantasmas son incluso más extraños. Debido a que las computadoras leen el texto como bytes (números diminutos), algunas piezas son solo fragmentos parciales de una letra. Por ejemplo, una secuencia de bytes específica puede ser necesaria para construir el carácter chino de "habilidad", pero esa secuencia de bytes por sí sola no significa nada. Es un fantasma que solo existe para ayudar a construir la cosa real.

Por qué Importa (y Qué No Hace)

El artículo es cuidadoso al decir lo que esto no hace. No demuestra que el robot vaya a volverse repentinamente más inteligente escribiendo poesía o resolviendo problemas matemáticos. El autor solo midió qué tan eficientemente se comprimió el texto (menos tokens para decir lo mismo). No probaron si el cerebro del robot aprendió mejor con estas nuevas piezas. Esa es una pregunta para investigaciones futuras.

Sin embargo, el artículo también descarta la idea de que sea necesario reducir el vocabulario para ahorrar espacio. Algunas ideas previas sugerían simplemente eliminar las piezas raras, lo que hacía la mochila más pequeña pero obligaba al robot a usar más piezas más pequeñas para decir lo mismo (haciendo el texto más largo). Pruned BPE demuestra que se puede mantener el tamaño de la mochila fijo y aun así obtener un texto más corto y eficiente simplemente intercambiando el contenido.

La Conclusión

Al final, Pruned BPE es una lección de orden y limpieza. Demuestra que en el mundo de la IA, no es tan importante tener una biblioteca enorme de tokens como tener los tokens correctos. Al esperar hasta el final para decidir qué es realmente útil, y luego intercambiar los ayudantes "fantasma" por los rendimientos "estrella", podemos hacer que el proceso de lectura del robot sea ligeramente más eficiente. Es un pequeño ajuste —ahorrando menos de la mitad de un porcentaje de espacio— pero en el mundo de los modelos de IA masivos, donde cada byte cuenta, es una victoria significativa. El robot no necesita cargar con todo el historial de su construcción; solo necesita las mejores herramientas para el trabajo.

Resumen Técnico: Pruned BPE

Planteamiento del Problema

El BPE (Byte Pair Encoding) es el método de tokenización de subpalabras estándar para los grandes modelos de lenguaje (LLM), pero sufre un desajuste fundamental entre cómo se aprenden los tokens y cómo se utilizan. Durante el entrenamiento de BPE estándar, el algoritmo fusiona iterativamente los pares adyacentes más frecuentes para construir un vocabulario. Sin embargo, muchos tokens aprendidos durante este proceso sirven principalmente como unidades de construcción intermedias para tokens más largos y frecuentes, en lugar de aparecer como tokens finales visibles para el modelo.

En el caso del BPE a nivel de bytes, este problema se ve exacerbado por la necesidad de construir caracteres Unicode completos (especialmente para scripts CJK) a partir de secuencias de bytes. En consecuencia, el vocabulario final suele contener tokens de "baja exposición": nodos intermedios que rara vez se emiten de forma independiente. Exponer estos tokens al modelo de lenguaje desperdicia la capacidad limitada del vocabulario. Además, debido a que estos tokens aparecen con poca frecuencia en el corpus codificado final, sus embeddings reciben menos actualizaciones de entrenamiento efectivas, lo que puede degradar el rendimiento del modelo en tareas posteriores. Los enfoques estándar de recorte de vocabulario simplemente eliminan estos tokens, lo que reduce el tamaño del vocabulario y puede aumentar la longitud de la secuencia, creando una base de comparación injusta.

Metodología: Pruned BPE

El artículo propone Pruned BPE, un método de post-entrenamiento que separa el proceso de construcción de fusiones de la selección del vocabulario visible para el modelo. La innovación central es el uso de la exposición final como criterio de visibilidad, en lugar de la frecuencia del par que originalmente creó el token.

El método opera en tres etapas principales:

Entrenamiento de BPE Estándar (Etapa 1):
El tokenizador se entrena normalmente utilizando reglas de BPE estándar hasta alcanzar un tamaño de vocabulario visible para el modelo ( $N_{visible}$ ). Esto establece el árbol de fusiones completo y los rangos de fusión originales.
Poda de Visibilidad y Entrenamiento Reanudado (Etapa 2):
Tras el entrenamiento inicial, el algoritmo evalúa cada token aprendido basándose en su exposición final ( $E(t)$ ), definida como el número de veces que el token aparece en el corpus totalmente codificado después de aplicar todas las fusiones.
- Los tokens con una exposición inferior a un umbral $\tau$ se clasifican como solo-internos. Se mantienen en la tabla de fusiones para soportar la construcción de tokens más largos, pero no se exponen al modelo de lenguaje.
- Los tokens con una exposición $\ge \tau$ son candidatos para el vocabulario visible.
- Para mantener el tamaño de vocabulario objetivo, el algoritmo reanuda el entrenamiento desde el punto de control para generar tokens candidatos adicionales. El entrenamiento continúa dinámicamente hasta que se encuentran suficientes candidatos suficientemente expuestos para llenar los espacios $N_{visible}$ que anteriormente ocupaban los tokens de baja exposición.
Reasignación de Tokens y Codificación:
- Reasignación: Los "espacios" dejados por los tokens solo-internos son llenados por los nuevos candidatos de alta exposición. Se preservan los rangos de fusión originales para asegurar que el orden de fusión permanezca sin cambios, pero los IDs de tokens exportados se remapean para reflejar el nuevo vocabulario visible.
- Codificación: Durante la inferencia, se realiza la fusión BPE estándar. Si se genera un token solo-interno, este se expande recursivamente en sus hijos visibles antes de devolver la secuencia de IDs de tokens final. Esto asegura que el modelo de lenguaje solo reciba IDs del vocabulario visible, preservando al mismo tiempo la eficiencia de la estructura de fusión aprendida.

Contribuciones Clave

La Exposición Final como Criterio de Selección: El trabajo introduce la exposición final como una métrica de post-entrenamiento para distinguir entre los tokens necesarios para la construcción de fusiones y aquellos adecuados para la visibilidad del modelo. Esto permite la reasignación de los espacios del vocabulario sin alterar la estructura del árbol de fusiones subyacente.
Reasignación de Vocabulario vs. Reducción: A diferencia del recorte de vocabulario, que reduce el vocabulario, Pruned BPE preserva el tamaño del vocabulario visible objetivo. Rellena los espacios podados con candidatos entrenados adicionales, asegurando una comparación justa con las líneas base estándar.
Implementación de Referencia: El autor proporciona una implementación práctica que soporta pre-tokenización consciente de Unicode, entrenamiento paralelo en CPU y la separación de vocabularios visibles e internos.
Evaluación de Solo Vocabulario: El artículo introduce una evaluación de solo vocabulario utilizando un codificador de programación dinámica (DP) de mínimo-tokens exacto compartido. Esto aisla el beneficio de la composición del vocabulario de la codificación nativa de orden de fusión BPE, demostrando que la mejora proviene de la calidad de los tokens visibles en sí mismos.

Resultados Experimentales

Los experimentos se realizaron en dos corpora no superpuestos (Corpus I: ~640MB, Corpus II: ~1GB) y su combinación, cubriendo inglés, chino, código y datos multilingües.

Reducción de la Longitud Codificada: Con un umbral de exposición del 40%, Pruned BPE redujo consistentemente la longitud codificada en comparación con el BPE Estándar con el mismo tamaño de vocabulario.
- En evaluaciones de mismo-corpus, las reducciones oscilaron entre el 0.27% y el 0.36%.
- En evaluaciones de cross-corpus, las reducciones fueron similares, oscilando entre el 0.22% y el 0.36%.
Comparación con la Expansión de Vocabulario: El artículo señala que aumentar el vocabulario de BPE Estándar en 2K tokens suele producir una reducción marginal del 1.5%–3.8%. Las ganancias de Pruned BPE (aprox. 0.3%) representan una fracción significativa de esta ganancia marginal, logrando efectivamente beneficios de compresión similares sin aumentar el tamaño del vocabulario del modelo.
Validación de Solo Vocabulario: Utilizando el codificador DP de mínimo-tokens compartido (que ignora los rangos de fusión), Pruned BPE aún logró una reducción del 0.23%–0.31%. Esto confirma que la ganancia de eficiencia surge de la composición más efectiva del vocabulario visible, no solo del orden de fusión específico.
Análisis Cualitativo: Se encontró que los tokens solo-internos incluían fragmentos de inglés reutilizables (por ejemplo, "vironment"), componentes de caracteres chinos (por ejemplo, "renmin gonghe"), secuencias parciales de bytes UTF-8 y fragmentos de texto estructurado (por ejemplo, " htt").

Significado y Reivindicaciones

El artículo afirma que Pruned BPE ofrece un método práctico para mejorar la eficiencia de la asignación de vocabularios BPE fijos sin aumentar el número de tokens expuestos al modelo de lenguaje. Al tratar los tokens de baja exposición como unidades de construcción internas y reasignar sus espacios a candidatos mejor expuestos, el método reduce la longitud de la secuencia y potencialmente mejora la calidad del entrenamiento de los embeddings.

El autor mantiene una postura modesta respecto al impacto derivado. Establece explícitamente que, si bien las mejoras en la longitud codificada son consistentes, el artículo aún no establece si estas mejoras se traducen en una mejor eficiencia de entrenamiento del modelo de lenguaje, una menor pérdida de validación o un mejor rendimiento en tareas posteriores. La contribución principal es la demostración de que la exposición final es un criterio viable para optimizar la composición del vocabulario, requiriéndose trabajos futuros para validar estos beneficios en escenarios de entrenamiento de modelos de lenguaje controlados.