🤖 AI

You Can Learn Tokenization End-to-End with Reinforcement Learning

Este artículo propone el aprendizaje de la tokenización de extremo a extremo utilizando aprendizaje por refuerzo con estimaciones de función de puntuación y descuento temporal para reducir la varianza, demostrando que este enfoque supera a los métodos previos de paso directo (straight-through) en la escala de 100 millones de parámetros.

Autores originales: Sam Dauncey, Roger Wattenhofer

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sam Dauncey, Roger Wattenhofer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Las computadoras modernas no entienden naturalmente el lenguaje humano; solo entienden números. Para cerrar esta brecha, los sistemas de inteligencia artificial que procesan texto deben primero traducir palabras y oraciones en un flujo de números que puedan digerir. Durante años, el método estándar para hacer esto ha sido un paso rígido y preprogramado llamado tokenización. Piense en este proceso como un bibliotecario que, antes de que una máquina pueda leer un libro, debe cortar las páginas en trozos específicos y predeterminados basados en un libro de reglas fijo. Este libro de reglas decide dónde termina una palabra y comienza la siguiente, agrupando a menudo combinaciones de letras comunes. Si bien esto funciona bien, es un paso manual y estático que se encuentra fuera del cerebro de la inteligencia artificial, separado del proceso de aprendizaje en sí mismo. A medida que estas mentes digitales se vuelven más grandes y capaces, los científicos han comenzado a preguntarse si este enfoque rígido y precortado los está frenando, y si la máquina podría aprender a cortar el texto por sí misma de una manera que tenga más sentido para su propia lógica interna.

Un equipo de investigadores de la ETH Zúrich ha dado un paso significativo para responder a esa pregunta al enseñar a una inteligencia artificial a aprender cómo cortar su propio texto desde cero, sin reglas preescritas. En su nuevo trabajo, demostraron que un modelo de computadora puede ser entrenado para decidir exactamente dónde colocar los límites entre las piezas de texto, simplemente intentando minimizar sus errores mientras aprende. En lugar de seguir un manual fijo o usar una suposición inteligente basada en espacios y puntuación, el modelo utiliza un enfoque de ensayo y error similar a cómo un animal aprende a navegar en un laberinto. El modelo adivina estocásticamente dónde debería ir un corte, observa qué tan bien predice la siguiente parte del texto y luego ajusta su estrategia. Si una suposición conduce a una mejor predicción, el modelo refuerza esa decisión; si conduce a la confusión, intenta algo más. Con el tiempo, el modelo descubre su propia forma óptima de descomponer el lenguaje, enseñándose efectivamente las reglas de la tokenización a medida que aprende el lenguaje.

Los investigadores descubrieron que cuando dejaron que el modelo aprendiera de esta manera, este comenzó naturalmente a colocar sus cortes en los mismos lugares que los humanos, como en los espacios entre palabras o al final de las oraciones, a pesar de que nadie se lo indicó. Esto sucedió sin que se le dieran al modelo instrucciones específicas sobre gramática o la estructura del lenguaje. En pruebas utilizando un conjunto de datos de más de cien millones de parámetros, este enfoque de autoaprendizaje demostró ser más efectivo que los métodos anteriores que intentaban aprender los límites utilizando una técnica matemática diferente y menos directa. El nuevo método no solo produjo mejores resultados, sino que también igualó el rendimiento de los sistemas que dependen de los libros de reglas tradicionales y artesanales, a pesar de no tener conocimiento previo de esas reglas.

Uno de los aspectos más sorprendentes de este descubrimiento es que el modelo aprendió a ser eficiente. Descubrió cómo agrupar bytes de datos en trozos que tuvieran sentido para su tarea específica, ya fuera leyendo texto general o comprendiendo código de computadora. Cuando los investigadores probaron el modelo con código Python, este aprendió a comenzar nuevos trozos al principio de los nombres de las funciones y a mantener juntas ciertas frases comunes, mostrando una comprensión intuitiva de la estructura del código que estaba leyendo. Esto sugiere que el modelo no solo está memorizando patrones, sino que está desarrollando activamente una estrategia que se alinea con el significado del texto que procesa.

El estudio también abordó un obstáculo importante que anteriormente había dificultado este tipo de aprendizaje: el ruido en la señal de aprendizaje. Debido a que la decisión de cortar el texto es una elección binaria —o cortas aquí o no lo haces—, es matemáticamente difícil decirle al modelo exactamente cómo mejorar. Los investigadores resolvieron esto tomando prestadas técnicas del aprendizaje por refuerzo, un campo donde los agentes aprenden a través de recompensas y penalizaciones. Introdujeron un método que suaviza el ruido, permitiendo que el modelo vea qué decisiones específicas fueron responsables de sus éxitos o fracasos a lo largo de un tramo largo de texto. Esto permitió que el modelo aprendiera de manera efectiva sin necesidad de una cantidad de potencia de cómputo imposiblemente grande.

Si bien los experimentos actuales se realizaron en modelos de un tamaño específico, los resultados ofrecen una visión convincente para el futuro de la inteligencia artificial. Al eliminar la necesidad de un paso separado y preprogramado para preparar el texto, los investigadores han demostrado que el procesamiento del lenguaje puede convertirse en un proceso de aprendizaje completo y de extremo a extremo. El modelo no solo aprende a hablar; aprende a escuchar y a analizar el mundo que lo rodea de la manera más eficiente posible. Este enfoque podría eventualmente conducir a sistemas que manejen lenguajes y tipos de datos para los cuales no existe un libro de reglas diseñado por humanos, haciendo que la inteligencia artificial sea más adaptable e inclusiva. El trabajo sugiere que el diseño rígido y artesanal de cómo alimentamos los datos a las máquinas pronto podría ser reemplazado por un método más fluido y de autodescubrimiento, donde la máquina aprenda la mejor manera de leer el mundo en sus propios términos.

Resumen Técnico: Aprendizaje de la Tokenización de Extremo a Extremo con Aprendizaje por Refuerzo

Planteamiento del Problema
La tokenización sigue siendo un paso de preprocesamiento codificado (hardcoded) en los procesos de entrenamiento de los Grandes Modelos de Lenguaje (LLM), apoyándose típicamente en heurísticas como la Codificación de Par de Bytes (BPE) o reglas diseñadas a mano (por ejemplo, la división de dígitos o la preservación de espacios en blanco). Mientras que la tendencia general en la arquitectura de IA se dirige hacia el aprendizaje de extremo a extremo (end-to-end), la tokenización ha resistido en gran medida este cambio. Los intentos previos de integrar la tokenización en la arquitectura del modelo se han enfrentado a dos limitaciones principales:

Dependencia de Heurísticas: Los métodos que operan directamente sobre bytes suelen utilizar reglas fijas (por ejemplo, detección de espacios en blanco) o picos de entropía para determinar los límites de los tokens, los cuales no son aprendidos a partir de los datos.
Debilidad Teórica de los Estimadores de Paso Directo (STEs): Los intentos previos de aprender los límites de los tokens de extremo a extremo han dependido de los STEs. Estos métodos relajan las decisiones discretas de los límites en variables continuas para permitir la retropropagación. Sin embargo, los STEs carecen de garantías teóricas sólidas porque no optimizan directamente el problema de la decisión discreta; dependen de aproximaciones de gradiente heurísticas que pueden no converger a una estrategia óptima.

Metodología
Los autores proponen un método para aprender los límites de los tokens de extremo a extremo utilizando estimadores de función de puntuación (score function estimators) derivados del aprendizaje por refuerzo (RL), específicamente dentro de una arquitectura U-Net autorregresiva.

Arquitectura: El modelo procesa texto a nivel de bytes, predice estocásticamente los límites de los tokens, realiza un submuestreo (downsampling) a una representación a nivel de token, lo procesa y luego realiza un sobremuestreo (upsampling) de vuelta al nivel de bytes para la predicción del siguiente byte. Esto permite al modelo reutilizar las representaciones de nivel de byte en el nivel de token.
Estimación de la Función de Puntuación: En lugar de los STEs, los autores tratan la selección de los límites de los tokens como una decisión estocástica discreta. Formulan el objetivo de aprendizaje como la minimización de la pérdida esperada de entropía cruzada marginalizada sobre todas las posibles estrategias de tokenización. El gradiente se estima utilizando el algoritmo REINFORCE (Williams, 1992), que descompone el gradiente en un término de pérdida condicional y un término de gradiente de política.
Reducción de la Varianza: Una aplicación directa de REINFORCE sufre de una alta varianza, lo que hace que el entrenamiento sea inestable. Los autores introducen tres técnicas específicas para reducir la varianza y hacer práctico el método:
1. Recompensas de Salida Temprana Relativas: Restan una recompensa base (estimada por un modelo de salida temprana a nivel de byte) de la recompensa total para eliminar el ruido independiente de la tokenización.
2. Descuento Temporal: Aplican un factor de descuento ( $\gamma = 0.99$ ) a las recompensas futuras al computar las ventajas. Esto desacopla la influencia de las partes distantes de la secuencia, reduciendo la varianza al proporcionar estímulos de entrenamiento más independientes por secuencia.
3. Ventajas Relativas al Lote (Batch): Centran las estimaciones de ventaja a través del lote para corregir los sesgos donde el modelo de la última capa supera consistentemente al modelo de salida temprana.
Control de la Tasa de Submuestreo: Para evitar que el modelo elija una estrategia computacionalmente costosa de separar cada byte, se impone una tasa de submuestre lo objetivo mediante un término de pérdida adicional que aplica presión al logit medio del lote.

Contribuciones Clave

Aprendizaje de Extremo a Extremo sin Sesgo Inductivo: Los autores demuestran que las estrategias de tokenización que se alinean con los límites semánticos (por ejemplo, espacios en blanco) pueden aprenderse puramente mediante la optimización de la pérdida de entropía cruzada usando un estimador de función de puntuación, sin principios lingüísticos explícitos o sesgos inductivos.
Superioridad sobre los Estimadores de Paso Directo (STEs): El artículo afirma que su enfoque de función de puntuación supera a los métodos previos basados en STE (tanto cualitativa como cuantitativamente), produciendo límites más significativos desde el punto de la semántica y logrando una menor pérdida de validación y bits por byte.
Robustez ante Tasas de Submuestreo: El método demuestra un rendimiento robusto a través de una variedad de tasas de submuestreo (aspect ratios de tokenización), mostrando que las estrategias aprendidas se adaptan eficazmente a diferentes objetivos de compresión.

Resultados Experimentales
Los experimentos se realizaron en modelos de 147 millones de parámetros entrenados con el conjunto de datos FineWeb y modelos de 90 millones de parámetros con CodeParrot.

Análisis Cualitativo: Los límites de los tokens aprendidos se alinean de manera fiable con los caracteres de espacio en blanco (espacios, saltos de línea) y las rupturas semánticas, a pesar de que el modelo no tiene instrucciones explícitas para ello. En el código, los límites se alinean con los nombres de los módulos y los encabezados de licencia.
Desempeño Cuantitativo:
- En las pruebas de lenguaje natural (PIQA, HellaSwag, LAMBADA, ARC-Easy), la política aprendida logró menores bits por byte que las líneas base uniformes, los métodos basados en STE (Nawrot et al., 2023; Hwang et al., 2025) y una línea base aleatoria.
- El desempeño del método aprendido fue comparable a una línea base guiada por BPE (donde los límites son fijados por un tokenizador BPE preentrenado), logrando 1.297 bits por byte en el conjunto de prueba de FineWeb frente a los 1.299 de la guía BPE.
- El método superó a los enfoques basados en STE en las curvas de pérdida de validación durante todo el proceso de entrenamiento.
Ablación: Una variante con un tamaño de ventana reducido ( $w=1$ ) funcionó de manera comparable al modelo completo, lo que sugiere que el contexto de ventana deslizante para los logits de los límites no es estrictamente necesario a esta escala.

Significancia y Reivindicaciones
El artículo postula que los estimadores de función de puntuación, reforzados por técnicas de reducción de la varianza de RL, ofrecen una alternativa teóricamente sólida y prácticamente efectiva para aprender los límites de los tokens discretos. Los autores argumentan que este enfoque permite que la tokenización se convierta en un componente totalmente aprendido de la arquitectura del LLM, alejándose de los diseños artesanales y hechos a mano.

Los autores mantienen la modestia respecto a la escala de sus experimentos (escala de 100M de parámetros), señalando que los efectos posteriores en la calidad del modelado de lenguaje son difíciles de evaluar directamente a este tamaño en comparación con los modelos de frontera. Sin embargo, afirman que el método recupera con éxito el rendimiento del submuestreo guiado por BPE sin principios externos. Identifican problemas abiertos relacionados con el escalado de las tasas de aspecto de tokenización óptimas con el tamaño del modelo y la generalización de estas estrategias a tasas de submuestreo variables. El trabajo sugiere que, a medida que los modelos se vuelven cada vez más de extremo a extremo, los estimadores de función de puntuación pueden convertirse en el método preferido para la tokenización.

Resumen Técnico: Aprendizaje de la Tokenización de Extremo a Extremo con Aprendizaje por Refuerzo

Más como este