ScribeTokens: Fixed-Vocabulary Tokenization of Digital Ink

El artículo presenta ScribeTokens, un método de tokenización de tinta digital basado en un vocabulario fijo de 10 símbolos que, combinado con una estrategia de preentrenamiento auto-supervisado, supera a las representaciones vectoriales en tareas de generación y reconocimiento de escritura manuscrita.

Lo esencial

¡Hola! Imagina que quieres enseñarle a una computadora a entender tu escritura a mano, no como una foto estática, sino como el movimiento en tiempo real de tu pluma sobre la pantalla. A esto los expertos le llaman "tinta digital".

El problema es que las computadoras son muy literales. Si les das una lista interminable de coordenadas exactas (como "moverse 0.001 cm a la derecha, luego 0.002 cm arriba..."), se aburren, se confunden y cometen muchos errores. Si intentas usar "palabras" para describir esos movimientos, a veces se quedan sin palabras para describir un trazo nuevo (el problema de las palabras desconocidas).

Aquí es donde entra ScribeTokens, la solución propuesta en este paper. Vamos a explicarlo con una analogía sencilla: El juego de "Sigue el punto".

1. El problema: Escribir con coordenadas vs. Escribir con pasos

Imagina que tienes que dibujar una línea recta en una cuadrícula gigante.

• El método antiguo (Vectores): Le dices a la computadora: "Empieza en el punto (10, 20) y termina en el (50, 60)". La computadora tiene que calcular matemáticamente cómo llegar allí. Es como darle una receta de cocina con fórmulas químicas: funciona, pero es lento y propenso a errores si la receta es muy larga.
• El problema de los "tokens" anteriores: Otros intentaron dividir el dibujo en "palabras" (como "arriba", "derecha", "diagonal"). Pero si tu dibujo era muy grande o tenía un ángulo raro, se quedaban sin "palabras" en su diccionario y decían "no sé qué hacer". Además, sus diccionarios eran enormes (miles de palabras), lo que hace que la computadora sea lenta.

2. La solución: ScribeTokens (El alfabeto de 10 letras)

Los autores crearon un nuevo sistema llamado ScribeTokens. Imagina que en lugar de dar coordenadas, le das a la computadora un alfabeto muy pequeño y simple para describir cualquier dibujo.

• La idea maestra: Imagina que tu pluma solo puede moverse de un cuadrito a otro en una cuadrícula, como un rey en el ajedrez pero solo un paso a la vez.
• El alfabeto de 10 letras: Solo necesitan 10 símbolos para describir cualquier trazo en el mundo:
  1. 8 flechas: Arriba, abajo, izquierda, derecha y las 4 diagonales (↗, ↘, etc.).
  2. 2 estados: "Pluma abajo" (estoy dibujando) y "Pluma arriba" (levanto la pluma para saltar al siguiente trazo).

La magia: No importa si escribes una "A" gigante o una "a" pequeña. El sistema convierte tu escritura en una secuencia de estos 10 pasos básicos. Es como traducir una novela compleja a un código de Morse simple.

3. ¿Por qué es tan bueno?

• Nunca se queda sin palabras: Como solo usas 10 símbolos básicos, nunca hay un trazo que la computadora no pueda entender. Siempre puedes construirlo paso a paso.
• Compresión inteligente: Aunque la secuencia de pasos puede ser larga, usan una técnica llamada BPE (como un compresor de archivos ZIP). Si ves que la computadora siempre hace "derecha, derecha, derecha", lo comprime en un solo símbolo "derecha x3". Esto hace que la computadora procese la información muchísimo más rápido.
• Independencia del tamaño: No importa si escribiste rápido (muchos puntos) o lento (pocos puntos). El sistema siempre ve el mismo camino de pasos. Es como ver el rastro de una hormiga: no importa si la hormiga caminó rápido o lento, el camino es el mismo.

4. Los resultados: ¿Qué aprendió la computadora?

Los investigadores probaron esto en dos tareas:

1. Reconocer lo que escribiste (Lectura): La computadora lee tu garabato y te dice qué dice.
   • Resultado: ScribeTokens fue el único sistema que superó a los métodos antiguos sin necesidad de "entrenamiento previo". Con entrenamiento, fue el mejor de todos.
2. Generar escritura (Dibujo): La computadora recibe una palabra (ej. "Hola") y tiene que dibujarla.
   • Resultado: ¡Aquí fue donde brilló! Los métodos antiguos fallaban estrepitosamente (70% de errores), creando garabatos ilegibles. ScribeTokens logró un 17% de errores, dibujando letras mucho más claras y naturales.

5. El secreto extra: "Adivina el siguiente paso"

Para entrenar a la computadora, usaron una estrategia genial: le mostraron miles de ejemplos de escritura y le dijeron: "Aquí hay un trazo, ¿qué paso viene después?".

• Esto es como enseñarle a un niño a caminar mostrándole miles de fotos de pies moviéndose, para que aprenda la lógica del movimiento antes de intentar escribir una palabra.
• Gracias a esto, la computadora aprendió a "pensar" en movimientos de pluma en lugar de memorizar coordenadas frías. Esto aceleró el aprendizaje hasta 83 veces más rápido en algunos casos.

En resumen

ScribeTokens es como inventar un nuevo idioma para las computadoras donde, en lugar de hablar con coordenadas matemáticas complejas, hablan con pasos simples de una cuadrícula.

• Antes: "Mueve 3.452 cm a la derecha, luego 1.201 cm arriba..." (Lento, confuso, propenso a errores).
• Ahora (ScribeTokens): "Derecha, derecha, arriba, diagonal..." (Rápido, claro, infalible).

Gracias a este método, las computadoras ahora pueden leer tu escritura a mano mucho mejor y, lo más impresionante, pueden dibujar como si fueran humanos, algo que antes les costaba muchísimo. Es un gran paso para que la tecnología entienda realmente cómo nos movemos al escribir.

Resumen técnico

Resumen Técnico: ScribeTokens

1. El Problema

La "tinta digital" (el flujo de coordenadas capturado de la entrada de un lápiz o pantalla táctil) carece de una representación unificada y eficiente para el modelado con transformadores. Las aproximaciones existentes presentan limitaciones significativas:

• Representaciones Vectoriales: Codifican la tinta como secuencias de coordenadas continuas $(x, y)$ con banderas binarias de "lápiz arriba/abajo".
  • Desventajas: Generan secuencias extremadamente largas, requieren normalización cuidadosa y, para tareas de generación, dependen de redes de densidad de mezcla (MDN) que sufren de inestabilidad en el entrenamiento, colapso de modos y valores de verosimilitud difíciles de interpretar.
• Representaciones Tokenizadas Existentes: Intentan discretizar la tinta para usar pérdida de entropía cruzada y compresión BPE (Byte-Pair Encoding).
  • Desventajas: Sufren de problemas de fuera del vocabulario (OOV) cuando aparecen coordenadas no vistas, requieren vocabularios base masivos que escalan con la resolución del lienzo, o poseen una sintaxis frágil donde secuencias malformadas no se decodifican en tinta válida. Además, en tareas de reconocimiento, suelen rendir peor que las representaciones vectoriales.

2. Metodología: ScribeTokens

Los autores proponen ScribeTokens, un esquema de tokenización que descompone el movimiento del lápiz en pasos unitarios de píxeles, logrando un vocabulario base fijo y robusto.

• Descomposición de Bresenham:
  • La idea central es tratar los trazos como secuencias de pasos direccionales unitarios en una cuadrícula discreta.
  • Utilizan el algoritmo de Bresenham para rasterizar los segmentos de línea entre puntos consecutivos (que no son adyacentes) en una secuencia óptima de celdas de cuadrícula adyacentes.
  • Cada transición entre píxeles adyacentes se codifica como uno de los 8 tokens de dirección (basados en los códigos de cadena de Freeman: $\rightarrow, \uparrow, \leftarrow, \downarrow$ y las diagonales).
• Vocabulario Fijo (10 Tokens):
  • Se añaden 2 tokens de estado del lápiz: [DOWN] (lápiz en el papel) y [UP] (lápiz levantado).
  • Esto crea un vocabulario base de 10 tokens que es suficiente para representar cualquier tinta digital, eliminando por completo el problema OOV.
• Compresión BPE:
  • Aunque el vocabulario base es pequeño, las secuencias pueden ser largas debido a la granularidad de píxel. Se aplica Byte-Pair Encoding (BPE) exclusivamente sobre los tokens de dirección.
  • Los tokens de estado [UP] y [DOWN] nunca se fusionan, lo que garantiza que los límites de los trazos permanezcan explícitos.
  • Cualquier token fusionado puede siempre descomponerse en sus tokens base, manteniendo la propiedad de "sin OOV".
• Invarianza al Muestreo:
  • Dado que la representación codifica caminos (rasterizados) y no puntos específicos, es invariante a la tasa de muestreo o densidad de puntos de la entrada original.

3. Contribuciones Clave

1. ScribeTokens: Una tokenización canónica, sin OOV, con un vocabulario base fijo de 10 tokens y sintaxis robusta (toda secuencia de tokens es tinta válida). Es la única representación tokenizada que supera a los vectores en reconocimiento sin preentrenamiento.
2. Preentrenamiento Auto-supervisado: Introducen la predicción del siguiente token de tinta (Next-Ink-Token Prediction) como estrategia de preentrenamiento.
   • Esto resuelve el problema de "arranque en frío" de las incrustaciones de tokens (que inicialmente no tienen significado espacial).
   • Acelera la convergencia en tareas posteriores hasta en 83 veces.
3. Evaluación Exhaustiva: Demuestran que las representaciones tokenizadas son superiores a las vectoriales para la generación de texto manuscrito, y que con preentrenamiento, ScribeTokens alcanza el mejor rendimiento en reconocimiento.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos: IAM (líneas de texto completas, secuencias largas) y DeepWriting (palabras individuales).

• Reconocimiento de Texto Manuscrito (HTR):

  • Sin preentrenamiento: ScribeTokens es el único modelo tokenizado que supera a la representación vectorial Point-5 en DeepWriting (10.75% CER vs 10.94%). En IAM, Point-5 lidera, pero TextTokens falla completamente.
  • Con preentrenamiento: ScribeTokens + PT logra los mejores resultados en ambos conjuntos de datos (8.27% CER en IAM y 9.83% en DeepWriting).
  • El preentrenamiento mejora consistentemente todos los modelos basados en tokens, pero degrada el rendimiento de Point-5 (vectores), sugiriendo que el preentrenamiento ayuda a los tokens a aprender estructura espacial que los vectores ya poseen implícitamente.

• Generación de Texto Manuscrito (HTG):

  • Las representaciones tokenizadas superan drásticamente a los vectores.
  • ScribeTokens logra un 17.33% de CER en IAM frente al 70.29% de los vectores (Point-5).
  • El preentrenamiento mejora significativamente la legibilidad y la tasa de éxito en la generación, especialmente en conjuntos de datos pequeños con secuencias largas (IAM).

• Eficiencia y Convergencia:

  • El preentrenamiento acelera la convergencia en HTR hasta 21x y en HTG hasta 83x en comparación con el entrenamiento desde cero.
  • Análisis de atención muestran que el preentrenamiento desplaza la atención del modelo de patrones de texto memorizados hacia la señal de tinta (de ~67% a ~91% de atención en la tinta), lo cual es crucial para el reconocimiento.

5. Significado e Impacto

Este trabajo establece un nuevo estándar para la representación de tinta digital en modelos de lenguaje grandes (LLMs) y transformadores:

• Unificación: Proporciona una representación discreta, compacta y matemáticamente robusta que elimina la necesidad de diseños complejos de normalización y estabilidad numérica requeridos por los vectores continuos.
• Escalabilidad: Al ser invariante al muestreo y libre de OOV, permite entrenar modelos más grandes y eficientes sin preocuparse por coordenadas no vistas.
• Paradigma de Preentrenamiento: Valida que el preentrenamiento auto-supervisado en tareas de predicción de tinta es esencial para desbloquear el potencial de las representaciones tokenizadas, superando las limitaciones de los enfoques vectoriales tradicionales en tareas de generación y reconocimiento de larga distancia.
• Aplicabilidad: Abre la puerta a la integración de la tinta digital en arquitecturas de lenguaje estándar, facilitando aplicaciones como reconocimiento de escritura, síntesis de bocetos y edición de documentos manuscritos.

En conclusión, ScribeTokens demuestra que la discretización inteligente del movimiento del lápiz, combinada con estrategias de preentrenamiento adecuadas, supera a los métodos vectoriales continuos tanto en eficiencia como en rendimiento final.