💬 NLP

Joint Optimization for Greedy Longest-match Tokenization

Este artículo presenta JOLT, un marco de optimización conjunta que formula el aprendizaje de vocabulario como un programa entero con restricciones de consistencia codiciosa para alinear el entrenamiento con la decodificación de coincidencia más larga, logrando una compresión casi óptima que supera significativamente al BPE estándar al tiempo que proporciona un certificado de casi optimalidad.

Autores originales: Adhiraj Singh, Deepanshu Mody, Ghina Al Shdaifat, Hamza Alshamy, Adam Wiemerslage, Varshini Reddy, Craig W. Schmidt

Publicado 2026-07-28

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Adhiraj Singh, Deepanshu Mody, Ghina Al Shdaifat, Hamza Alshamy, Adam Wiemerslage, Varshini Reddy, Craig W. Schmidt

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando meter una biblioteca masiva de libros en una sola maleta diminuta para un viaje. Quieres meter tanto texto como sea posible en un espacio limitado, pero no puedes simplemente aplastar las páginas en una bola; necesitas organizarlas en trozos ordenados y manejables. En el mundo de la inteligencia artificial, este "maleta" es la memoria de la computadora, y los "trozos" se llaman tokens. Los modelos de IA leen el texto no como palabras completas, sino como estas piezas más pequeñas. La forma en que fragmentamos las palabras importa mucho: si las cortamos mal, usamos más espacio y la computadora tiene que trabajar más duro para leerlas. Durante años, la forma estándar de cortar estas palabras ha sido un método llamado Codificación de Par de Bytes (BPE, por sus siglas en inglés). Piensa en BPE como un bibliotecario muy eficiente, pero ligeramente rígido, que sigue una regla estricta: "Siempre pega las dos piezas de texto más comunes primero". Es un enfoque rápido y codicioso que ha funcionado bien, pero es esencialmente un heurístico: una buena conjetura basada en una regla simple, no una solución matemática perfecta.

Recientemente, los científicos han empezado a hacerse una gran pregunta: ¿Es esta "buena conjetura" del bibliotecario realmente lo mejor que podemos hacer? ¿O existe una forma más inteligente de cortar las palabras que quepa aún más texto en la maleta? Este artículo profundiza en esa cuestión analizando una forma específica en la que la IA lee el texto llamada "Coincidencia Larga Codiciosa" (Greedy Longest-Match). Imagina leer una oración y, en cada paso, agarrar la palabra más larga posible que conozcas antes de pasar a la siguiente letra. Los autores querían ver si podían diseñar un vocabulario específicamente para este estilo de lectura, en lugar de simplemente esperar que un vocabulario de propósito general funcionara. Construyeron un nuevo sistema llamado JOLT (Optimización Conjunta para la Tokenización de Coincidencia Larga Codiciosa). En lugar de solo pegar piezas basándose en la frecuencia, JOLT trata todo el problema como un rompecabezas gigante y complejo. Utiliza matemáticas avanzadas para determinar exactamente qué piezas de palabras conservar y cómo cortar cada palabra en los datos de entrenamiento de modo que, cuando la IA la lea usando la regla de "coincidencia más larga", utilice el número mínimo absoluto de piezas posibles.

El artículo encuentra que, si bien el viejo bibliotecario (BPE) es en realidad bastante bueno —situándose ya entre un 1% y un 2% del mejor empaquetado teórico posible—, el nuevo sistema, JOLT, puede exprimir un poco más de espacio. Al resolver este rompecabezas matemático, JOLT logra cerrar casi todo el espacio restante entre el método antiguo y el límite teórico perfecto. En pruebas con diferentes tamaños de datos de texto, JOLT redujo el número de tokens necesarios en hasta un 0,78% en comparación con el método estándar. Aunque esa cifra parezca pequeña, en el mundo de la IA, ahorrar incluso una fracción de un porcentaje significa que el modelo puede leer más texto, pensar más rápido y costar menos de ejecutar. Los autores demuestran que, al alinear perfectamente el vocabulario con la forma en que la IA realmente lee, podemos recuperar casi todo el "margen de compresión" que anteriormente se había dejado sobre la mesa.

La historia de JOLT: Resolviendo el rompecabezas de las palabras

Para entender cómo funciona JOLT, imagina que eres un maestro chef tratando de crear el menú perfecto para un banquete masivo. Tienes una lista enorme de ingredientes (el texto) y necesitas picarlos en tamaños específicos (tokens) para servirlos a tus invitados (la IA). El truatorio es que tus invitados tienen un hábito de comer muy específico: siempre agarran el bocado más grande que encuentran que quepa en su boca antes de pasar al siguiente bocado. Esta es la regla de "Coincidencia Larga Codiciosa".

Durante mucho tiempo, los chefs (investigadores de IA) usaron una receta estándar llamada BPE. Miraban los ingredientes y decían: "Oye, 'th' y 'e' aparecen juntos mucho, vamos a pegarlos en 'the'". Seguían haciendo esto, pegando los pares más comunes, hasta que tenían un menú de cierto tamaño. Funcionaba bien, pero era un poco como construir una casa simplemente apilando ladrillos sin comprobar si las paredes estaban perfectamente rectas. Era un enfoque "codicioso": hacer lo fácil y obvio primero.

Los autores de este artículo se dieron cuenta de que, si quieres que los invitados coman de manera eficiente, no deberías construir un menú basado solo en lo que es común; deberías construir un menú basado en cómo comen ellos. Crearon JOLT, que es como un chef superinteligente que planea todo el menú a la vez, considerando cada ingrediente y cada forma posible de picarlo, asegurando que el resultado final esté perfectamente optimizado para el hábito del "bocado más grande" de los invitados.

El Rompecabezas Matemático
El núcleo de JOLT es un problema matemático masivo. Los autores tuvieron que decidir dos cosas simultáneamente:

Qué ingredientes mantener: ¿Qué piezas de palabras deberían estar en el vocabulario final?
Cómo picar el texto: Para cada palabra en los datos de entrenamiento, ¿qué piezas específicas deberían usarse para construirla?

La parte difícil es que estas dos decisiones están entrelazadas. No puedes decidir picar una palabra en "ta" y "ble" a menos que hayas decidido de hecho mantener "ta" y "ble" en tu vocabulario. Además, debido a que la IA utiliza la regla de "coincidencia más larga", tienes que asegurarte de que, si picas una palabra en "ta" y "ble", no haya una pieza más larga como "table" en tu vocabulario que robe el protagonismo. Si "table" existe, la IA comerá "table" entera, y tu plan de servir "ta" y "ble" fallará.

Para resolver esto, los autores utilizaron una técnica llamada "Programación Entera". Imagina una cuadrícula gigante de interruptores. Algunos interruptores activan una palabra (la ponen en el vocabulario) y otros activan una forma específica de picar una palabra. El objetivo es mover los interruptores para obtener el menor número total de piezas posible. Sin embargo, resolver esta cuadrícula para una biblioteca entera de texto es tan enorme que incluso las computadoras más rápidas tardarían una eternidad.

El Atajo Inteligente
Así que los autores idearon un truco ingenioso. En lugar de intentar resolver todo el rompecabezas a la vez, comenzaron con una versión pequeña y simple. Solo consideraron picar palabras en uno o dos trozos. Resolvieron el problema matemático y, si la computadora decía: "Oye, esta palabra es demasiado difícil de picar con solo estas piezas, necesito más opciones", añadían opciones de picado más complejas solo para esa palabra. Repitieron este proceso, añadiendo complejidad solo donde era necesario, hasta que la solución se estabilizó.

Este enfoque les permitió encontrar una solución que es increíblemente cercana al límite teórico perfecto. Descubrieron que el método estándar BPE ya estaba haciendo un gran trabajo, situándose dentro de un 1% a 2% del mejor resultado posible. Pero JOLT logró cerrar del 89,6% al 99,4% de ese espacio restante.

Los Resultados
Cuando probaron su nuevo sistema con diferentes cantidades de datos (de 100.000 a 400.000 palabras) y diferentes tamaños de vocabulario (32.000 y 64.000 palabras), los resultados fueron claros. JOLT utilizó consistentemente menos tokens que el método estándar BPE.

Con un vocabulario de 32.000 palabras, JOLT redujo el conteo de tokens en hasta un 0,78% en comparación con el método estándar.
Con un vocabelo de 64.000 palabras, la mejora fue menor pero aún presente, alcanzando hasta un 0,31%.

El artículo también comprobó qué tan cerca estaba su solución del límite matemático absoluto. Encontraron que su solución final redondeada estaba dentro de un 0,008% a 0,176% del mejor teórico. Esto significa que el proceso de "redondeo" (convertir la solución matemática en un vocabulario real y utilizable) no perdió mucha eficiencia. Las pequeñas ganancias que JOLT obtuvo sobre BPE no fueron una casualidad; fueron mejoras estructurales reales.

Por qué esto importa
Los autores también analizaron otros métodos. Encontraron que un método popular llamado WordPiece, que está diseñado para el mismo estilo de lectura de "coincidencia más larga", en realidad funcionó peor que BPE cuando se probó. Esto se debe a que WordPiece fue entrenado para maximizar un objetivo diferente (predecir la siguiente palabra) en lugar de minimizar el número de piezas. Esto demuestra que no puedes usar un vocabulario diseñado para un propósito y esperar que funcione perfectamente para otro. Tienes que entrenar el vocabulario específicamente para la forma en que la IA lee.

En resumen, este artículo muestra que, si bien el viejo bibliotecario "codicioso" (BPE) estaba haciendo un trabajo sorprendentemente bueno, todavía queda un pequeño espacio para exprimir. Al utilizar un enfoque matemáticamente riguroso que alinea el vocabulario perfectamente con el estilo de lectura de la IA, JOLT recupera casi todo ese espacio perdido. Es un recordatorio de que, en el mundo de la IA, incluso las pequeñas mejoras en la eficiencia pueden conducir a modelos más rápidos, más baratos y más capaces. Los autores no solo conjeturaron; demostraron matemáticamente que su método nos acerca al empaquetado perfecto más que nunca.

Resumen Técnico: Optimización Conjunta para la Tokenización de Coincidencia Más Larga Codiciosa (JOLT)

Planteamiento del Problema
La tokenización de subpalabras es un paso de preprocesamiento crítico en el PLN, donde la conversión de texto en tokens afecta la capacidad de la ventana de contexto y los costos de inferencia. Si bien la Codificación de Par de Bytes (BPE) es la heurística dominante, trabajos recientes (por ejemplo, ToaST, ConvexTok) han demostrado que el entrenamiento del vocabulario puede plantearse como un problema de optimización para minimizar directamente el recuento de tokens para reglas de inferencia específicas. Sin embargo, los enfoques de optimización existentes se dirigen a reglas de inferencia de árbol de división (split-tree) o de camino más corto (shortest-path). Existe una falta de técnicas de construcción de vocabulario diseñadas específicamente para la decodificación de coincidencia más larga de tipo Codicioso Izquierda-a-Derecha (GL2R), la regla de inferencia estándar utilizada por WordPiece. El desafío radica en formular la selección del vocabulario de tal manera que el recuento de tokens resultante coincida exactamente con lo que el algoritmo GL2R produce durante el despliegue, una restricción que acopla la selección del vocabulario con las elecciones de segmentación de una manera no trivial.

Metodología
Los autores proponen JOLT (Joint Optimization for Greedy Longest-match Tokenization), que formula el aprendizaje del vocabulario como un Programa Entero (IP) y lo resuelve mediante la relajación de Programación Lineal (LP).

Formulación: El modelo optimiza conjuntamente dos conjuntos de variables binarias:
1. Variables de selección de vocabulario ( $x_t$ ): Determinan qué tokens candidatos entran en el vocabulario.
2. Variables de elección de segmentación ( $z_{p,s}$ ): Determinan qué segmentación $s$ es seleccionada para cada pretoken $p$ .
Restricciones de Consistencia Codiciosa (Greedy-Consistency): La innovación central es un conjunto de restricciones que aseguran que una segmentación seleccionada es exactamente la que el algoritmo GL2R produciría dado el vocabulario seleccionado. Para que una segmentación sea válida bajo GL2R, no puede existir un token de vocabulario más largo que se superponga con el inicio de cualquier segmento en dicha segmentación. Estas restricciones obligan a la optimización a considerar explícitamente el comportamiento de "coincidencia más larga".
Escalada Iterativa: Dado que el número de posibles segmentaciones crece exponencialmente con la longitud del pretoken, JOLT no instancia todos los candidatos inicialmente. Comienza con segmentaciones de bajo orden (hasta orden 2) y una opción de "reserva" (fallback). Si el solucionador selecciona la opción de reserva para un pretoken, el sistema escala el orden máximo de segmentación para ese pretoken en la siguiente ronda, añadiendo candidatos de mayor orden. Esto mantiene la escala del LP tratable.
Relajación LP y Redondeo: El IP se relaja a un LP (permitiendo valores fraccionarios para $x_t$ y $z_{p,s}$ ) y se resuelve utilizando Gurobi. Un esquema de redondeo ponderado basado en contribuciones extrae un vocabulario discreto de la solución fraccionaria. El redondeo prioriza los tokens que más contribuyen a comprimir los pretokens de alta frecuencia.

Contribuciones Clave

Optimización Específica para GL2R: JOLT es el primer método que formula el aprendizaje del vocabulario específicamente para la inferencia GL2R, asegurando que el recuento de tokens optimizado sea igual al recuento realizado en el despliegue.
Restricciones de Consistencia Codiciosa: El artículo introduce un novedoso conjunto de restricciones que impone matemáticamente la propiedad de coincidencia más larga de GL2R dentro del marco de optimización, acoplando la selección del vocabulario y la segmentación.
Estrategia de Resolución Escalable: Los autores desarrollan un mecanismo de escalada impulsado por la opción de reserva que evita la explosión exponencial de variables al instanciar solo segmentaciones de mayor orden cuando es necesario.
Límites Casi Óptimos: La relajación LP proporciona un límite inferior válido sobre el recuento de tokens alcanzable. Los autores demuestran que las soluciones redondeadas están dentro del 0.008–0.176% de este límite inferior de la LP, certificando una compresión casi óptima.

Resultados
Los experimentos se realizaron en el conjunto de datos MiniPile con alcances de entrenamiento ( $N$ ) de 100k, 200k, 300k y 400k pretokens, y tamaños de vocabulario ( $|V|$ ) de 32k y 64k.

Ganancias de Compresión: En los datos de validación mantenidos (held-out), JOLT reduce el recuento de tokens en comparación con la decodificación nativa de BPE hasta en un 0.78% (en $N=400k, |V|=32k$ ). Las ganancias generalmente aumentan con el alcance de entrenamiento.
Cierre de Brecha: El límite inferior de la LP revela que las heurísticas estándar de BPE ya están cerca de la optimalidad para GL2R, situándose dentro del 1–2% del límite teórico. JOLT cierra el 89.6–99.4% de la brecha restante entre BPE y el límite de la LP.
Eficiencia de Redondeo: La brecha entre la relajación de la LP y el vocabulario redondeado final es insignificante (0.008–0.176%), lo que indica que el proceso de redondeo pierde casi ningún potencial de compresión.
Comparación con Líneas Base:
- BPE-greedy: Aplicar la decodificación GL2R a un vocabulario entrenado con BPE produce solo una mejora marginal (0.08%) sobre el nativo de BPE, confirmando que la heurística de fusión (merge) de BPE está estructuralmente alineada con GL2R.
- UnigramLM-greedy: A pesar de utilizar inferencia GL2R, UnigramLM tiene un desempeño significativamente peor (28–30% más tokens) porque su objetivo de entrenamiento (maximizar la verosimilitud) diverge del objetivo de minimizar el recuento de tokens.

Significancia y Reivindicaciones
El artículo afirma que la principal fuente de ineficiencia de compresión en los tokenizadores actuales no es la regla de inferencia en sí, sino el desalineamiento entre la heurística de construcción del vocabulario y la regla de inferencia específica. Si bien BPE ya es casi óptimo para GL2R, JOLT demuestra que el "margen" (la brecha entre BPE y el óptimo teórico) puede recuperarse en gran medida mediante la optimización del vocabulario alineada con la inferencia. Los resultados sugieren que la mayor parte de la compresión alcanzable para la inferencia GL2R es recuperable, siendo JOLT capaz de recuperar el 89.6–99.4% del beneficio teórico. El artículo no pretende que JOLT supere drásticamente a BPE en términos absolutos (las ganancias son <1%), sino que proporciona un enfoque basado en la optimización y con principios que certifica la casi-optimalidad y recupera el limitado potencial de compresión restante en las heurísticas estándar.

La historia de JOLT: Resolviendo el rompecabezas de las palabras

Más como este