Resumen Técnico: Simetría de Retokenización Emergente en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

La tokenización en los Modelos de Lenguaje de Gran Escala (LLM) introduce redundancia representacional: una única cadena de bytes puede descomponerse en múltiples secuencias de tokens válidas (segmentaciones) que decodifican hacia el mismo texto superficial. Los tokenizadores estándar (p. ej., BPE, WordPiece) seleccionan una única segmentación "canónica", típicamente mediante algoritmos codiciosos o de programación dinámica. Aunque el entrenamiento sobre estas formas canónicas es el estándar, sigue sin estar claro si los modelos aprenden a tratar las segmentaciones no canónicas semánticamente equivalentes como entradas invariantes.

Trabajos previos han destacado la tokenización como una fuente de fragilidad, donde los modelos fallan en tareas a nivel de carácter o en operaciones sensibles a la ortografía. Por el contrario, estudios recientes sugieren que los modelos pueden poseer una comprensión composicional emergente, recuperando representaciones de palabras completas a partir de secuencias de subpalabras. Sin embargo, existe una brecha en la comprensión del compromiso entre la invarianza de segmentación (tratar diferentes segmentaciones de una misma cadena de forma idéntica) y la sensibilidad de segmentación (donde diferentes segmentaciones inducen estados internos y salidas distintas). La mayoría de los estudios previos de perturbación de entrada (p. ej., paráfrasis, erratas) alteran la cadena superficial, confundiendo cambios semánticos con robustez ante variaciones en la redacción. Existe la necesidad de una sonda controlada que aísle el efecto de la tokenización por sí sola sin cambiar la cadena de bytes, la sintaxis o la semántica subyacente.

Metodología

Los autores introducen la retokenización como una intervención controlada en tiempo de inferencia. Dada una vocabulario fijo y una cadena de bytes $s$, definen:

• $E_0(s)$: La codificación de tokens canónica.
• $E_\mu(s)$: Cualquier otra segmentación válida de $s$ bajo el mismo vocabulario.

El núcleo de la configuración experimental es el Muestreo de Retokenización:

1. Retokenización Estocástica: Para un prompt dado, los autores generan $k$ segmentaciones no canónicas válidas re-segmentando aleatoriamente los tokens (usando un algoritmo que muestrea uniformemente de las descomposiciones válidas) con una probabilidad $p_{retok}$.
2. Decodificación Codiciosa (Greedy): El modelo se ejecuta en cada prompt segmentado utilizando decodificación codiciosa (temperatura = 0). Esto asegura que la diversidad de la salida surja únicamente de la representación de entrada, no de la aleatoriedad de muestreo de la salida.
3. Métrica: Definen pass@retok(k) como la probabilidad de que al menos uno de los $k$ prompts retokenizados produzca una solución correcta. Esta es la analogía directa de la métrica estándar pass@k, pero con la diversidad originada en la segmentación de la entrada en lugar de la estocasticidad de la salida.

El estudio emplea esta metodología a través de:

• Modelos: La familia OLMo-2 (7B parámetros) en varias etapas de entrenamiento (pre-entrenamiento, SFT, DPO, Instruct) y otras familias de modelos (Qwen3, Llama-3.1, Gemma, Pythia).
• Benchmarks: HumanEval (generación de código), GSM8K (razonamiento matemático), GSM8K Python (matemáticas mediadas por código) y MMLU (recuperación de conocimiento).
• Comparaciones: Los autores comparan la retokenización contra:
  • Muestreo de Temperatura Canónica: Diversidad estándar en el lado de la salida.
  • Muestreo de Erratas (Typo Sampling): Perturbaciones de entrada que cambian la cadena superficial (un eje de búsqueda menos controlado pero más fuerte).
  • Análisis de Estados Ocultos: Medición del desplazamiento y la varianza de las representaciones latentes a través de las capas.

Contribuciones Clave

1. La Retokenización como Sonda Controlada: El artículo formaliza la retokenización como una intervención que preserva la semántica. Cambia únicamente la descomposición a nivel de token de una cadena de bytes fija, lo que permite un aislamiento limpio de los efectos de la segmentación respecto a los cambios semánticos o sintácticos.
2. Simetría Emergente y Sensibilidad Residual: A través del análisis de estados ocultos, los autores demuestran que, si bien las representaciones internas de las segmentaciones no canónicas se agrupan (indicando simetría emergente), estas no colapsan al estado canónico. Persiste una "sensibilidad residual", particularmente acentuada en las capas finales del modelo. Esta sensibilidad se aprende gradualmente durante el pre-entrenamiento y el post-entrenamiento.
3. Protocolo de Muestreo de Retokenización: Los autores introducen pass@retok(k) para cuantificar cómo la diversidad de la representación de entrada afecta el éxito de la tarea. Muestran que esta métrica exhibe una curva ascendente con rendimientos decrecientes, similar al pass@k estándar, indicando que las diferentes segmentaciones exponen trayectorias útiles distintas.
4. Ganancias Dependientes de la Tarea y Tendencias de Robustez:
   • Recuperación de Soluciones Perdidas: En HumanEval y GSM8K, el muestreo de retokenización recupera soluciones correctas que la decodificación canónica omite.
   • Diversidad Estructural: En HumanEval, el análisis basado en AST revela que las generaciones correctas retokenizadas abarcan un rango sustancial de estructuras de programas, no meramente un único template canónico.
   • Escalamiento del Modelo: Los modelos más fuertes generalmente se mantienen más fuertes bajo la retokenización, y la robustez de la segmentación sigue la capacidad general del modelo.
5. Análisis de Eficiencia Computacional: Los autores comparan la retokenización frente al muestreo de temperatura y de erratas bajo un presupuesto de tokens de prompt equivalente. Encuentran que, si bien la retokenización proporciona una diversidad única, es menos eficiente computacionalmente que el muestro de temperatura porque las segmentaciones no canónicas suelen aumentar la longitud del prompt.

Resultados

• Espacio de Representación: Durante el pre-entrenamiento, el desplazamiento (sesgo) y la varianza de las representaciones latentes bajo la retokenización disminuyen pero no desaparecen. La capa final muestra la mayor sensibilidad a los cambios de segmentación.
• Desempeño Conductual:
  • HumanEval: El muestreo de retokenización muestra la brecha más grande respecto al pass@k canónico, recuperando programas correctos estructuralmente diversos. Algunas tareas son resueltas únicamente por el muestreo de retokenización.
  • GSM8K & GSM8K Python: La retokenización mejora el desempeño, aunque la brecha con el muestreo canónico es menor que en la generación de código.
  • MMLU: Debido al espacio de respuestas pequeño y discreto, el muestreo repetido (tanto canónico como retokenizado) se satura rápidamente, haciendo que pass@retok sea menos distintivo en este dominio.
• Dinámicas de Entrenamiento: Tanto pass@k como pass@retok(k) mejoran durante el pre-entrenamiento y muestran incrementos agudos durante el post-entrenamiento (SFT, DPO, Instruct). Esto sugiere que la invarianza de segmentación es una propiedad aprendida que escala con la capacidad del modelo.
• Comparación con Erratas (Typos): El muestreo de erratas generalmente supera a la retokenización en términos de ganancias de precisión bruta, pero es menos controlado porque altera el texto visible. La retokenización permanece como la "sonda más limpia" para los efectos específicos de la segmentación.
• Diversidad: Las generaciones retokenizadas no colapsan en un solo template; exploran un rango de estructuras de programa comparable al de las generaciones muestreadas por temperatura, a pesar de utilizar decodificación codiciosa.

Significado y Reivindicaciones

El artículo posiciona la retokenización como una sonda simple pero poderosa de los modelos de lenguaje de gran escala, ofreciendo dos ideas principales:

1. Perspectiva Científica: Revela que los modelos tokenizados poseen una simetría de segmentación parcial y emergente. No están estrictamente ligados a las tokenizaciones canónicas y pueden procesar entradas equivalentes de diversas maneras, aunque retienen una sensibilidad residual que afecta la computación. Esto desafía la visión de que la tokenización es meramente un paso de compresión, sugiriendo que es una parte fundamental de la interfaz computacional del modelo.
2. Aplicación Práctica: La retokenización ofrece una nueva estrategia de muestreo (Muestreo de Retokenización) que genera diversidad a partir de los cálculos internos del modelo mediante entradas semánticamente equivalentes. Si bien no es actualmente un reemplazo directo para el muestreo de temperatura debido a los mayores costos computacionales (prompts más largos), sirve como un eje complementario para la búsqueda. Puede recuperar soluciones perdidas por métodos convencionales, particularmente en dominios de código abierto donde existen múltiples familias algorítmicas válidas.

Los autores afirman modestamente que este trabajo arroja luz sobre la comprensión composicional y la sensibilidad al prompt, demostrando que la multiplicidad de segmentaciones válidas es un "grado de libertad mecánicamente significativo" que no puede ignorarse en los LLM desplegados. No pretenden que la retokenización sea universalmente superior a otros métodos de muestreo, sino que proporciona una fuente de diversidad única que preserva la semántica.