Resumen Técnico: ReconSpan: Tokenización Latente Adaptativa Guiada por la Reconstrucción

Declaración del Problema

Los modelos de lenguaje convencionales dependen de tokenizadores de subpalabras fijos (p. ej., BPE, WordPiece) que determinan los límites de los tokens basándose en estadísticas de frecuencia a nivel de corpus antes de la ejecución del modelo. Esta granularidad fija no logra adaptarse al contenido específico o a la dificultad de la entrada, lo que potencialmente conduce a una representación ineficiente de la información de grano fino o a una longitud de secuencia innecesaria. Si bien las entradas a nivel de bytes o de caracteres preservan detalles finos, resultan en secuencias sustancialmente más largas, lo que aumenta los costos computacionales. La tokenización latente adaptativa busca agrupar unidades adyacentes en tramos (spans) dependientes de la entrada, representando cada tramo con un único token latente continuo. Sin embargo, los métodos existentes para determinar estos límites de tramos suelen depender de posiciones fijas, entropía predictiva o enrutadores aprendidos entrenados como parte del objetivo de modelado de lenguaje, careciendo de un mecanismo directo para asegurar que las representaciones latentes resultantes sean suficientes para reconstruir el texto original.

Metodología

El artículo presenta ReconSpan, un método de tokenización latente adaptativa que divide el texto en fragmentos (chunks) basados en la fidelidad de la reconstrucción. La premisa central es que un fragmento debe ser tan largo como un decodificador hacia atrás sea capaz de reconstruir exitosamente a partir de un único código de prefijo contextual.

Arquitectura

ReconSpan utiliza dos componentes aprendidos:

1. Codificador de Prefijo ($E$): Un modelo causal (p. ej., Transformer) que mapea cualquier secuencia de tokens $x_{1:t}$ a un único código continuo $c_t$.
2. Decodificador hacia Atrás ($D$): Un modelo que toma un código $c_t$ e intenta reconstruir los tokens precedentes en orden inverso ($x_t, x_{t-1}, \dots$).

El uso de un decodificador hacia atrás es crítico: el punto en el que el decodificador falla por primera vez en predecir el token correcto sirve como una medida directa de qué tan lejos puede "alcanzar" ese único código.

Algoritmo de Segmentación (Chunking)

El proceso de tokenización ocurre en el tiempo de inferencia utilizando un algoritmo codicioso (greedy) de forzado de profesor (teacher-forced):

1. El codificador genera códigos de prefijo para toda la secuencia de entrada en una sola pasada.
2. Comenzando desde la posición final, el decodificador hacia atrás intenta reconstruir los tokens en orden inverso.
3. El proceso continúa hasta que se activa una regla de parada. El artículo define dos familias de reglas de parada:
   • Fallo($m$): Se detiene cuando el $m$-ésimo token es reconstruido incorrectamente.
   • Brecha de Logit($\tau$): Se detiene cuando la brecha acumulada entre el logit predicho del token correcto y el logit máximo excede un umbral $\tau$.
4. El sufijo reconstruido exitosamente se convierte en un fragmento (chunk). El código de prefijo correspondiente al límite final del fragmento se retiene como el token latente para ese fragmento.
5. El proceso se repite desde la primera posición no reconstruida hasta que todo el texto esté cubierto.

Entrenamiento

El modelo se entrena únicamente con un objetivo de reconstrucción de autoencoder. El codificador y el decodificador se entrenan conjuntamente (con un proceso de dos etapas que involucra una fase de pre-entrenamiento del codificador congelado). La asignación de tramos no es dirigida explícitamente por un objetivo de longitud; más bien, emerge de la capacidad del decodificador para reconstruir. Esto permite el control de la granularidad post-entrenamiento simplemente ajustando el umbral de la regla de parada sin reentrenar el modelo.

Contribuciones Clave

1. La Fidelidad de Reconstrucción como Criterio de Asignación: El artículo propone utilizar el alcance de la reconstrucción hacia atrás como la señal principal para determinar los límites de los tokens adaptativos, diferenciándose de las posiciones fijas, la entropía o la similitud semántica.
2. Control de Granularidad Post-Entrenamiento: El autor demuestra que un único autoencoder entrenado puede soportar múltiples longitudes promedio de fragmentos (que van de 6.5 a 12.2 tokens) al relajar los criterios de parada, ofreciendo un intercambio flexible entre la longitud de la secuencia y la calidad de la reconstrucción.
3. Caracterización de la Información Latente: A través de experimentos de lectura directa, el artículo separa la información retenida por el autoencoder de la información accesible para los lectores de downstream.

Resultados

Propiedades de la Tokenización

• Calidad de la Reconstrucción: Los límites de ReconSpan superan a los límites aleatorios de longitud emparejada en tareas de reconstrucción nativa. Por ejemplo, en WikiText, un ReconSpan con una longitud media de fragmento de 6.5 logró una perplejidad de 15.95, comparado con 20.03 para los límites aleatorios.
• Asignación de Tramos Adaptativa: El método produce longitudes de fragmentos variables, asignando fragmentos más cortos a tramos difíciles y más largos a tramos fáciles. Sin embargo, una parte significativa de los fragmentos bajo reglas estrictas (Failure(1)) son tokens individuales (28.1% de los fragmentos, cubriendo solo el 4.3% del texto), lo cual el autor señala como un artefacto mecánico del proceso de decodificación hacia atrás.
• Geometría Semántica: Los códigos latentes brutos no exhiben un agrupamiento semántico fuerte (bajo rendimiento en los benchmarks de MTEB comparado con SONAR), lo que indica que los códigos están optimizados para la reconstrucción más que para la similitud semántica.

Lectura (Readout) de Downstream

• Tema vs. Detalle: Los modelos de lenguaje (lectores) entrenados para predecir el texto directamente a partir de los tokens latentes pueden recuperar de manera confiable la información de tema (p. ej., la precisión de clasificación de AG News es comparable a la del texto bruto) pero tienen dificultades para extraer detalles léxicos exactos (p. ej., la predicción de palabras de LAMBADA permanece muy por debajo de la línea base de reconstrucción de ida y vuelta).
• Adaptación de Tareas: El ajuste fino supervisado del lector en tareas específicas reduce la brecha entre la lectura directa y la reconstrucción nativa, particularmente para tareas de recuperación como HotpotQA, aunque la extracción de detalles exactos sigue siendo una limitación.
• Robustez: Los lectores entrenados en una granularidad (p. ej., Failure(1)) siguen siendo funcionales cuando se evalúan en granularidades más gruesas (p. ej., Failure(2)) sin necesidad de reentrenamiento.

Significado y Reivindicaciones

El artículo afirma que ReconSpan establece la fidelidad de la reconstrucción como un criterio viable y controlable para la tokenización latente adaptativa. Su principal significancia radica en:

• Demostrar que un único autoencoder puede generar tokens latentes de longitud variable que preservan más texto que los límites aleatorios con longitudes de secuencia emparejadas.
• Resaltar una brecha entre la información retenida por el autoencoder (que es suficiente para una reconstrucción de alta calidad) y la información accesible para los lectores de downstream (que es fuerte para la semántica pero débil para los detalles exactos).
• Proporcionar un mecanismo para la asignación dependiente de la entrada y el control post-entrenamiento de la granularidad de los tokens sin reentrenar el modelo central.

El autor mantiene la modestia respecto a las limitaciones actuales, reconociendo que la "lectura de detalle exacto" es la limitación central del sistema actual y que los límites no necesariamente se alinean con las estructuras lingüísticas (sintaxis o discurso) sin mayor investigación. El trabajo se presenta como un paso hacia la comprensión de cómo asignar la capacidad de representación dinámicamente basándose en la dificultad del contenido de la entrada.