💬 NLP

Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization

Este artículo presenta la Marginalización de Prefijo de Bytes (BPM, por sus siglas en inglés), un novedoso método de destilación on-policy entre diferentes tokenizadores que reexpresa las distribuciones del profesor sobre un espacio de bytes compartido para preservar la masa de probabilidad y mejorar el rendimiento del modelo estudiante en pruebas de referencia de matemáticas y programación.

Autores originales: Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

Publicado 2026-07-27

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde se construyen cerebros de IA gigantes y brillantes por diferentes arquitectos, cada uno utilizando su propio lenguaje único para pensar. Un arquitecto podría hablar con frases largas y fluidas, mientras que otro fragmenta sus pensamientos en sílabas diminutas y rápidas. Esta es la realidad de los "Modelos de Lenguaje Extensos" (LLM) modernos. Son increíblemente inteligentes, pero a menudo hablan diferentes lenguajes de "tokens". Un token es simplemente un fragmento de texto —como una palabra, una parte de una palabra, o incluso una sola letra— que la computadora utiliza para procesar información.

Ahora, imagina que quieres construir un estudiante de IA más pequeño, rápido y económico que pueda aprender de estos gigantes maestros. Esto se llama "destilación". Usualmente, solo harías que el estudiante copie las respuestas del maestro. Pero aquí está el problema: si el maestro y el estudiante hablan diferentes lenguajes de tokens, una copia directa es imposible. Es como intentar enseñarle a un estudiante que solo habla inglés entregándole un libro de texto escrito enteramente en un código de emojis y símbolos. El estudiante ve los símbolos, pero no sabe qué símbolo corresponde a qué palabra en inglés. Si intentas forzar una correspondencia, podrías accidentalmente enseñarle al estudiante que la imagen de un gato significa "manzana", o peor aún, podrías desechar la mitad de la sabiduría del maestro porque no encaja en el diccionario del estudiante.

Este artículo aborda exactamente ese dolor de cabeza. Los investigadores querían saber: ¿Podemos enseñar a un estudiante de IA a aprender de un maestro que habla un lenguaje de "tokens" completamente diferente, sin perder nada de la brillantez del maestro ni enseñarle accidentalmente tonterías?

La Solución: El Traductor de "Prefijo de Bytes"

Los autores, un equipo de KwaiKAT y la Universidad de las Academias de Ciencias de China, introdujeron un nuevo y astuto método llamado Marginalización de Prefijo de Bytes (BPM). Para entender cómo funciona, dejemos de lado la matemática compleja por un momento y pensemos en cómo las computadoras ven realmente el texto.

Aunque diferentes IA fragmentan el texto en tokens de diferentes tamaños, todas están de acuerdo en los bytes subyacentes. Los bytes son los bloques de construcción diminutos e invisibles del texto —los 0s y 1s puros que componen cada letra, espacio y signo de puntuación—. Aunque una IA vea la palabra "increíble" como un token gigante, o la divida en "in", "cre" e "íble", todas están de acuerdo en que los bytes de "in" vienen primero, seguidos por los bytes de "cre", y así sucesivamente.

Los autores se dieron cuenta de que, en lugar de intentar emparejar los tokens desordenados y de diferentes tamaños, podían traducir la sabiduría del maestro a este "lenguaje de bytes" compartido primero. Así es como funciona el BPM, paso a paso:

El Mapa de Bytes: Imagina que la siguiente predicción del maestro es una nube de probabilidad. El maestro dice: "Hay un 30% de probabilidad de que la siguiente palabra sea 'increíble'".
La Coincidencia Más Larga: El tokenizador del estudiante mira los bytes de "increíble" y pregunta: "¿Cuál es el fragmento más largo de mi diccionario que encaja al principio de estos bytes?". Tal vez el estudiante tiene un token para "in" y otro para "creíble".
La Transferencia: El BPM toma esa probabilidad del 30% de "increíble" del maestro y se la entrega al token "in" (o "creíble", el que sea la coincidencia más larga) del estudiante. Es como decir: "Si el maestro piensa que 'increíble' es probable, entonces el estudiante definitivamente debería pensar que 'in' es probable, porque 'in' es la primera parte de esa palabra".
La Red de Seguridad: ¿Qué pasa si el maestro dice algo con lo que el diccionario del estudiante ni siquiera puede empezar? El BPM no simplemente desecha esa probabilidad. La coloca en un cubo especial de "residuo", asegurando que se preserve el 100% de la masa de probabilidad del maestro. Nada se pierde.

Este método crea un objetivo perfecto de "preservación de masa". Garantiza que el estudiante aprenda exactamente lo que el maestro pretendía, incluso si hablan lenguajes diferentes, siempre y cuando estén de acuerdo en los bytes.

La Trampa del "Espacio en Blanco" y su Solución

Sin embargo, los investigadores descubrieron un problema curioso y complicado. Cuando el maestro y el estudiante están escribiendo código, a veces el siguiente "token" es solo un grupo de espacios o tabulaciones (indentación). Debido a que los diferentes tokenizadores fragmentan los espacios de manera distinta, el maestro podría estar diciendo: "Estoy añadiendo tres espacios", mientras que el tokenizador del estudiante ve eso como "Estoy añadiendo un gran token de espacio".

Si el estudiante intenta copiar la probabilidad exacta de estos tokens de espacio del maestro, se confunde. Empieza a aprender el "estilo de fragmentación" específico del maestro para los espacios, en lugar de la lógica real del código. Los autores descubrieron que, en algunos casos, esta confusión causó que el código del estudiante colapsara por completo: su capacidad para escribir programas funcionales cayó de un 49% a un desastroso 9%.

Para solucionar esto, añadieron una simple "máscara de espacio en blanco". Es como un árbitro que dice: "Oye, si el siguiente paso es solo espacios, no intentes copiar la probabilidad exacta del token de espacio del maestro. Simplemente ignora esa parte de la lección". Esta pequeña regla salvó el día, evitando el colapso y permitiendo que el estudiante se concentrara en la lógica real del código.

Los Resultados: Estudiantes más Inteligentes, más Rápidos

El equipo probó este método tomando tres diferentes maestros de IA gigantes (Qwen3-32B, GLM-Z1-9B y MiniMax-M2.7) e intentando enseñar a un único modelo estudiante más pequeño (Qwen3.5-2B). Estos maestros tenían lenguajes de tokens muy diferentes, lo que hacía que la tarea fuera bastante difícil.

Compararon su nuevo método BPM contra otros métodos existentes para manejar diferentes tokenizadores. Los resultados fueron claros:

Mejores Puntajes: En seis evaluaciones exigentes de matemáticas y codificación, los estudiantes entrenados con BPM superaron consistentemente a los otros métodos. Mejoraron el puntaje promedio entre 3.7 y 6.6 puntos sobre los intentos previos más fuertes.
Cerrando la Brecha: El método logró cerrar entre el 33.5% y el 43.9% de la brecha de rendimiento entre el estudiante diminuto y el gigante maestro. Esa es una enorme parte de la capacidad cerebral del maestro transferida al estudiante.
Robustez: El método funcionó bien incluso cuando el maestro y el estudiante eran muy diferentes (como el maestro MiniMax), demostrando que el enfoque de "prefijo de bytes" es un traductor universal.

Por Qué Esto Importa

Este artículo sugiere que no necesitamos forzar a todos los modelos de IA a usar el mismo diccionario para aprender unos de otros. Al usar el lenguaje compartido de "bytes" como un puente, podemos mezclar y combinar los mejores maestros de diferentes familias y enseñar a estudiantes eficientes sin perder conocimiento. Es un poco como darse cuenta de que, aunque todos hablan dialectos diferentes, todos están de acuerdo en el alfabeto. Si le enseñas al estudiante a leer el alfabeto primero, puedes enseñarle cualquier cosa, sin importar quién sea el maestro.

Los autores demostraron que este enfoque no es solo una idea teórica, sino una herramienta práctica que funciona hoy en día, ayudando a crear modelos de IA más pequeños, rápidos y más inteligentes que pueden resolver problemas complejos de matemáticas y codificación sin necesidad de la enorme potencia de cómputo de sus gigantes maestros.

Resumen Técnico: Destilación On-Policy entre Diferentes Tokenizadores mediante la Marginalización de Prefijos de Bytes

1. Planteamiento del Problema

Los modelos de lenguaje de pesos abiertos de diferentes familias exhiben fortalezas complementarias en razonamiento, codificación y uso de herramientas. La consolidación de estas capacidades en un único modelo estudiante compacto mediante la Destilación On-Policy (OPD) es deseable para la eficiencia y la simplicidad de despliegue. Sin embargo, la OPD densa estándar asume un tokenizador compartido entre el profesor y el estudiante. Cuando los tokenizadores difieren (tokenizadores heterogéneos), los métodos existentes de destilación cross-tokenizer no logran satisfacer tres requisitos críticos para la supervisión de vocabulario completo:

Completitud del Vocabulario (D1): La distribución objetivo debe estar bien definida para cada token en el vocabulario del estudiante.
Alineación a Nivel de Byte (D2): La masa de probabilidad del profesor debe mapearse a los tokens del estudiante basándose en la correspondencia de sus representaciones de bytes subyacentes, no solo en los IDs de token o rangos de probabilidad.
Preservación de la Masa (D3): La transformación debe preservar la masa de probabilidad total del profesor (que suma uno), incluyendo cualquier masa residual que no pueda mapearse a un token específico del estudiante.

Los métodos existentes violan estas propiedades: los enfoques de conjunto de candidatos descartan la masa no emparejada (violando D1), los métodos de emparejamiento de rangos asignan masa a tokens con contenido de bytes no relacionados (violando D2), y la destilación a nivel de secuencia evita por completo el emparejamiento de la distribución de vocabulario completo.

2. Metodología: Marginalización de Prefijos de Bytes (BPM)

Los autores proponen la Marginalización de Prefijos de Bytes (BPM), que reexpresa la distribución del siguiente token del profesor sobre el vocabulario del estudiante dentro de un espacio de bytes compartido. Dado que diferentes tokenizadores decodifican hacia la misma secuencia de bytes, BPM aprovecha esta representación compartida para construir un objetivo exacto.

Mecanismo Central

BPM opera bajo el principio de que la secuencia de bytes de un token del profesor puede ser segmentada de forma codiciosa (greedy) por el tokenizador del estudiante. El método procede de la siguiente manera:

Mapeo: Para cada token del profesor $w$ , el algoritmo identifica el token del estudiante más largo $u$ tal que la representación de bytes de $u$ es un prefijo de la representación de bytes de $w$ .
Agregación: La masa de probabilidad de todos los tokens del profesor que mapean al mismo token del estudiante se agrega.
Manejo de Residuos: La masa de los tokens del profesor que no contienen un prefijo de token completo del estudiante se asigna a una categoría residual explícita ( $\emptyset$ ). Esto asegura la preservación de la masa (D3) y la completitud del vocabulario (D1).
Corrección de Cobertura (Spanning Correction): En casos donde un solo token del estudiante abarca múltiples tokens del profesor (por ejemplo, un token del estudiante que cubre una secuencia de tokens del profesor), BPM utiliza un límite inferior factorizado en cadena derivado de la ruta de segmentación realizada por el profesor para asignar la masa, evitando que el estudiante aprenda a evitar el cierre de los espacios de razonamiento.

Objetivo de Entrenamiento

El estudiante es entrenado sobre sus propias trayectorias generadas minimizando una divergencia de Jensen-Shannon generalizada ( $D_\beta$ ) entre la distribución del estudiante y el objetivo transformado.

Manejo del Token de Parada: Se introduce un "puente de parada" (stop bridge) para manejar las señales de terminación, asegurando que el estudiante aprenda el comportamiento de parada del profesor incluso si el token de fin (EOS) realizado difiere del declarado.
Mitigación del Colapso de Espacios en Blanco: Los autores identifican un modo de fallo donde la supervisión exacta de bytes en filas de solo espacios en blanco (comunes en la generación de código) transfiere el ruido de segmentación específico del tokenizador en lugar de contenido semántico, lo que conduce a errores de indentación y colapso de código. Para abordar esto, BPM emplea una máscara precomputada que excluye todas las posiciones de espacios en blanco del objetivo de la función de pérdida.

3. Contribuciones Clave

Supervisión Exacta de Vocabulario Completo: BPM es el primer método que proporciona un objetivo exacto, preservador de la masa y alineado a nivel de byte para la OPD de cross-tokenizer de vocabulario completo. Los autores demuestran que el objetivo recupera exactamente la marginal de prefijo de bytes inducida por el profesor cuando el prefijo de bytes no abarca múltiples tokens del profesor, una condición que se cumple en >99% de las posiciones de entrenamiento.
Evaluación Sistemática: El artículo presenta una evaluación rigurosa a través de tres pares profesor-estudiante (Qwen3-32B, GLM-Z1-9B y MiniMax-M2.7 como profesores; Qwen3.5-2B como estudiante), cubriendo diversos grados de distancia de tokenizador.
Identificación y Corrección del Colapso de Espacios en Blanco: El trabajo descubre un modo de fallo específico en la destilación exacta de bytes para la generación de código (donde la indentación se corrompe por el ruido del tokenizador) y proporciona una solución de enmascaramiento simple y efectiva.

4. Resultados Experimentales

Los experimentos se realizaron en seis benchmarks: tres de matemáticas (AIME 2026, HMMT 2026, MATH-500) y tres de código (HumanEval+, LiveCodeBench, TACO).

Ganancias de Rendimiento: BPM superó consistentemente a los baselines actuales de cross-tokenizer (SimCT, ULD, GOLD) y a la referencia de SeqKD entrenada por separado.
- En los tres pares de profesor-estudiante, BPM mejoró el promedio de los seis benchmarks @8 (avg@8) entre 3.7 y 6.6 puntos sobre los baselines más fuertes.
- BPM cerró entre el 33.5% y el 43.9% de la brecha de rendimiento entre el estudiante y el profesor, comparado con el 19.9–26.6% de los baselines más fuertes.
Robustez: Las mejoras fueron más pronunciadas en los benchmarks de concurso (AIME, HMMT) que son posteriores a los cortes de entrenamiento de los profesores.
Cercanía Distribucional: Mientras que algunos baselines parecían "más cercanos" al profesor en términos de predictibilidad (debido al colapso en la repetición), BPM demostró una fidelidad superior en preservar la capacidad del estudiante para generar texto similar al del profesor sin degenerar.
Generación de Código: Sin la máscara de espacios en blanco, el brazo sin enmascarar sufrió una caída catastrófica en las tasas de aprobación de código (por ejemplo, del 49% al 9% en un par) debido a errores de indentación. El brazo con máscara mantuvo un alto rendimiento y cero errores de indentación a nivel de bloque.

5. Significado y Reivindicaciones

El artículo afirma que BPM establece un nuevo estándar para la destilación cross-tokenizer al resolver el problema fundamental de desalineación mediante la marginalización a nivel de byte.

Solidez Teórica: El método proporciona una solución matemáticamente exacta para la gran mayoría de las posiciones de entrenamiento, preservando la masa de probabilidad del profesor sin descartar información ni desalinear el contenido.
Impacto Práctico: Al permitir la consolidación de diversos modelos de alto rendimiento en un único estudiante eficiente sin requerir tokenizadores compartidos, BPM facilita un despliegue de modelos más flexible y capaz.
Limitaciones: Los autores señalan modestamente que BPM descarta señales de gradiente para las posiciones que no alcanzan un punto de sincronización (menos del 1% de las posiciones) y que la máscara de espacios en blanco, aunque efectiva, retiene la supervisión de aproximadamente el 3.5% de las filas de código alineadas. También reconocen que la calidad de los datos limita la extensión de las ganancias de rendimiento alcanzables.

En resumen, el artículo argumenta que la fidelidad en la destilación debe aplicarse con cuidado: la alineación exacta de bytes es esencial para el contenido, pero debe omitirse para las regiones de solo espacios en blanco para evitar la transferencia de artefactos específicos del tokenizador.