💬 NLP

Are you going to finish that? A Practical Study of the Partial Token Problem

Este artículo investiga el "problema del token parcial", demostrando que los prompts realistas que terminan a mitad de un token —particularmente en lenguas sin espacios en blanco, lenguas de composición por composición y código— causan severas distorsiones de probabilidad en los modelos de lenguaje de gran tamaño que no mejoran con la escala, al tiempo que valida la efectividad de las soluciones de inferencia exacta en tiempo de ejecución.

Autores originales: Hao Xu, Alisa Liu, Jonathan Hayase, Yejin Choi, Noah A. Smith

Publicado 2026-02-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hao Xu, Alisa Liu, Jonathan Hayase, Yejin Choi, Noah A. Smith

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás jugando a un juego de "Termina la frase" con un robot muy inteligente, pero un poco rígido. Escribes una frase y se supone que el robot debe adivinar la siguiente palabra exacta.

Normalmente, esto funciona perfectamente. Pero este artículo descubre un fallo específico donde el robot se confunde, no porque no conozca las palabras, sino por cómo las cuenta.

Aquí tienes el desglose del problema, la evidencia y la solución, utilizando analogías sencillas.

1. El problema central: El fallo del "Ladrillo a medias"

Imagina el cerebro del robot como una biblioteca donde cada libro está hecho de ladrillos (tokens).

La visión del usuario: Tú ves palabras (como "manzana" o "es").
La visión del robot: Él ve ladrillos. A veces, un ladrillo cubre una palabra entera. A veces, un ladrillo cubre dos palabras. A veces, un ladrillo está cortado por la mitad.

El Problema del Token Parcial ocurre cuando dejas de escribir justo en medio de uno de estos ladrillos.

La analogía: Imagina que el robot espera que la palabra "procesando" sea un solo ladrillo sólido.
El error: Tú escribes "proces" y te detienes.
La confusión: El robot ve "proces" y piensa: "Espera, conozco el ladrillo 'proces'. Pero también conozco el ladrillo 'procesando'. Si simplemente añado 'ando' después, ¡estoy rompiendo mis propias reglas porque 'procesando' debería ser un ladrillo inquebrantable!".

Debido a que el robot fue entrenado para ver solo el ladrillo completo, le aterra completar la palabra de la forma en que tú esperas. Piensa: "Si te detuviste en 'proces', probablemente no quieras 'ando' después; probablemente quieras algo totalmente distinto".

2. ¿Dónde ocurre esto? (Las tres trampas)

El artículo descubrió que esto no es solo un fallo raro en inglés. Ocurre a menudo en tres situaciones específicas donde las "palabras" y los "ladrillos" no se alinean:

Idiomas sin espacios (como el chino): En inglés, los espacios le indican al robot dónde termina una palabra. En chino, no hay espacios. El robot tiene que adivinar dónde termina una palabra y dónde empieza la siguiente.
- Ejemplo: La frase "es un" podría ser un solo ladrillo. Si escribes "es" y te detienes, has cortado ese ladrillo por la mitad. El robot entra en pánico.
Idiomas que pegan palabras (como el alemán): El alemán suele combinar dos palabras en una sola palabra gigante (como "Eigelb" para yema de huevo).
- Ejemplo: Si el robot ve "Ei" (huevo) y te detienes ahí, pero el robot piensa que "Eigelb" es un solo ladrillo, se confunde sobre qué viene después.
Código de computación: El código utiliza símbolos como () o :. A menudo, un bloque entero de símbolos es un solo ladrillo.
- Ejemplo: Si escribes def main() y te detienes, pero el robot piensa que (): es un solo ladrillo, se queda atascado intentando adivinar el siguiente símbolo.

3. ¿Qué tan grave es? (El "Colapso Silencioso")

Los investigadores probaron esto con muchos robots diferentes (modelos de IA). Los resultados fueron impactantes:

La caída de la probabilidad: Cuando el robot se ve obligado a adivinar después de un "ladrillo a medias", se vuelve entre 1.000 y 10.000 veces menos confiado en que deba darte la respuesta correcta. Es como un estudiante que sabe la respuesta, pero tiene tanto miedo de las reglas de calificación del profesor que se niega a escribirla.
La caída de la precisión: El robot deja de dar la respuesta correcta entre el 60% y el 95% de las veces. Puede que omita una letra, añada un espacio extraño o dé una palabra completamente errónea.
Más grande no es mejor: Podrías pensar: "Si hacemos al robot más inteligente (un modelo más grande), solucionará esto". No. El artículo encontró que los robots más grandes y más inteligentes en realidad empeoran en esto. Están tan entrenados en sus reglas específicas de "ladrillos" que son aún más tercos en no romperlas.

4. Las soluciones: Cómo arreglar el fallo

El artículo probó dos formas de arreglar el fallo durante la fase de "pensamiento" (inferencia):

Método A: "Curación de Tokens" (El retroceso):
- Cómo funciona: Si escribes "proces" y el robot se confunde, este método le dice al robot: "Está bien, olvida la última parte. Pretende que solo viste 'pro'".
- El resultado: Ayuda a veces, pero es un acierto o un error. Es como intentar arreglar un jarrón roto cortando la parte superior; puede que encaje, pero no es perfecto.
Método B: "ByteSampler" (El mapa):
- Cómo funciona: En lugar de adivinar, este método dibuja un mapa de todas las formas posibles en las que el robot podría haber leído tu frase. Encuentra el camino que coincide exactamente con tu texto y luego continúa desde ahí.
- El resultado: Funciona perfectamente. En las pruebas, este método logró que el robot diera la respuesta correcta el 100% de las veces, incluso cuando el prompt estaba cortado en medio de un ladrillo. Es como tener un GPS que recalcula la ruta instantáneamente cuando tomas un giro equivocado, asegurando que llegues al destino.

La conclusión final

El artículo concluye que, aunque los modelos de IA son increíbles comprendiendo el lenguaje, también son esclavos de la forma específica en que se les enseñó a contar palabras (tokenización). Si un usuario deja de escribir de una forma que no coincide con las reglas de conteo internas del robot, la confianza del robot se desploma.

¿La buena noticia? No necesitamos reconstruir los robots. Solo necesitamos usar un "GPS" más inteligente (como ByteSampler) mientras están pensando para asegurar que no se tropiecen con sus propias reglas de conteo.

Resumen Técnico: "¿Vas a terminar eso? Un estudio práctico del Problema del Token Parcial"

Definición del Problema
El Problema del Token Parcial (PTP, por sus siglas en inglés) surge de un desajuste fundamental entre cómo los usuarios interactúan con los Modelos de Lenguaje (LM) y cómo los LM procesan el texto. Los usuarios proporcionan prompts como cadenas de caracteres, mientras que los LM operan sobre secuencias de tokens generados por un tokenizador. El PTP ocurre cuando el prompt de un usuario termina en la mitad de un token válido (un "token parcial"). Debido a que los LM han sido entrenados exclusivamente en secuencias de tokens válidos, asignan probabilidades inesperadamente bajas a las continuaciones que completan dichos tokens parciales. Aunque el problema está bien documentado en la literatura (p. ej., Lundberg, 2023; Ribeiro, 2023), los trabajos previos se han basado mayoritariamente en prefijos de caracteres arbitrarios para ilustrar el fenómeno. En consecuencia, la prevalencia y severidad del PTP en prompts realistas que respetan los límites naturales de palabras o sintaxis ha permanecido poco explorada.

Metodología
Los autores investigan sistemáticamente el PTP en escenarios realistas identificando dominios donde los límites de los tokens se desalinean frecuentemente con los límites semánticos o sintácticos:

Sistemas Logográficos (Chino): Las palabras no están delimitadas por espacios en blanco, lo que provoca que los tokenizadores fusionen caracteres a través de los límites de las palabras.
Lenguas Altamente Compuestas (Alemán): Las palabras compuestas suelen ser segmentadas por los tokenizadores de formas que ignoran los límites morfológicos.
Código: Los identificadores y la puntuación consecutiva se fusionan frecuentemente en tokens individuales.

Para cuantificar el problema, los autores construyeron una tarea de "repetir después de mí". Segmentaron oraciones naturales en prefijos y continuaciones de tal manera que:

El prefijo termina en un límite de palabra completo (semánticamente natural).
El prefijo termina en un límite de token parcial relativo al tokenizador (violando la condición de que encode(prompt) + encode(continuation) == encode(prompt + continuation)).
La continuación es inequívoca (el modelo debe repetir exactamente el texto proporcionado).

El estudio evaluó un conjunto diverso de modelos de frontera (incluyendo QWEN3, HUNYUAN, LLAMA, OLMO, GEMMA y MISTRAL) a través de estos dominios. El rendimiento se midió utilizando dos métricas:

$\Delta$ Logprob: La diferencia en la log-probabilidad asignada al siguiente token correcto entre el prompt alineado con la palabra (token parcial) y el prompt alineado con el token (retrocedido).
$\Delta$ Acc: La diferencia en la precisión al decodificar de forma codiciosa (greedy decoding) la continuación correcta.

Resultos Clave

Alta Prevalencia de Desalineación: Los tokenizadores estándar exhiben tasas significativas de desalineación. En chino, entre el 14% y el 25% de los límites de palabras no se alinean con los límites de los tokens. En código, los límites de puntuación se encuentran dentro de los tokens en tasas superiores al 50% para la mayoría de los modelos.
Distorsión Severa de la Probabilidad: Cuando se enfrentan a un PTP, los modelos asignan probabilidades drásticamente menores a la continuación correcta. En chino, la probabilidad cae hasta cuatro órdenes de magnitud en comparación con los prompts alineados con el token.
Colapso de la Precisión: Los modelos predicen la continuación correcta entre un 60% y un 95% menos de veces cuando el prompt termina con un token parcial. Por ejemplo, la precisión de QWEN3-32B en chino cayó del 93.92% (alineado con el token) al 15.36% (alineado con la palabra).
El Escalamiento No Ayuda: La degradación no disminuye con la escala del modelo; en muchos casos, los modelos más grandes sufren caídas de rendimiento iguales o mayores. Los autores hipotetizan que los modelos más grandes están mejor ajustados a sus tokenizadores específicos, lo que los hace más seguros de que una secuencia de tokens (p. ej., process + in) no puede ser seguida por un carácter (p. ej., g) que formaría un único token (processing).
Mitigaciones en Tiempo de Inferencia:
- Token Healing (Curación de Tokens): Un enfoque heurístico que elimina el último/los últimos token(s) del prompt y restringe la generación para que coincida con el texto eliminado. Esto mostró resultados mixtos, mejorando la precisión en algunos casos pero fallando en otros (p. ej., alemán).
- ByteSampler: Una solución exacta (Hayase et al., 2025) que construye un árbol de todas las secuencias de tokens válidas que cubren el prefijo del prompt y muestrea un camino. Este método logró una precisión del 100% en los tres dominios (chino, alemán, código) con una baja sobrecarga computacional (0.12–1.17 pasadas adicionales hacia adelante).

Significancia y Contribuciones
El artículo demuestra que el Problema del Token Parcial no es meramente un artefacto de la truncación arbitraria de texto, sino un modo de fallo serio en casos de uso realistas y semánticamente naturales. Los autores afirman que:

Impacto en el Mundo Real: El problema es omnipresente en lenguas no inglesas y en código, afectando incluso a los prompts que terminan con palabras completas.
Limitaciones del Escalamiento: Aumentar el tamaño del modelo no resuelve el problema, ya que los modelos se vuelven más rígidamente ligados a sus esquemas de tokenización de entrenamiento.
Recomendaciones Prácticas: El estudio valida la efectividad de las soluciones exactas en tiempo de inferencia como ByteSampler, que pueden mitigar completamente el problema sin requerir el reentrenamiento del modelo.

El trabajo subraya que los LM modelan no solo el lenguaje, sino también el tokenizador específico con el que fueron entrenados, y que esta interacción crea sesgos predecibles cuando los límites de los prompts no se alinean con los límites de los tokens. Los autores proporcionan recomendaciones prácticas para que los proveedores de inferencia adopten soluciones exactas para asegurar la fiabilidad en diversos contextos lingüísticos y de codificación.