Resumen Técnico: Compresión de Triple Latente Genérica con Recuperación Asociativa con Compuerta

Planteamiento del Problema

El modelado de secuencias estándar depende de la autoatención completa para capturar interacciones de tokens de orden superior, lo que incurre en costos computacionales cuadráticos y requiere kernels altamente optimizados. Mientras que las alternativas recurrentes y de tiempo lineal (por ejemplo, RetNet, Mamba, RWKV) ofrecen eficiencia a través de estados comprimidos, a menudo sacrifican el poder expresivo, particularmente en el modelado de dependencias complejas de orden superior más allá de las interacciones de pares.

Este artículo investiga una pregunta específica: ¿Puede un estado latente genérico comprimir interacciones de tipo triple de manera lo suficientemente efectiva como para mejorar el rendimiento en benchmarks estándar de modelado de lenguaje sin depender de la enumeración explícita de tripletos de tokens o del análisis sintáctico específico de la tarea? Los autores buscan determinar si la compresión latente por sí sola puede recuperar los beneficios de las interacciones de orden superior y si la recuperación exacta (recuerdo asociativo) puede integrarse en tal marco comprimido.

Metodología

1. Arquitectura de Triple Latente Genérica

La contribución central es una familia de modelos recurrentes y no tipados que mantienen un estado de token en ejecución junto con una vía de memoria de pares comprimida. A diferencia de los modelos latentes tipados, estas arquitecturas reciben solo IDs de tokens crudos y no utilizan cabezales simbólicos específicos de la tarea.

• Actualización de Estado: Un estado en ejecución $s_t$ se actualiza mediante una compuerta de retención aprendida $\lambda_t$:
  $$s_t = \lambda_t \odot s_{t-1} + (1 - \lambda_t) \odot a_t$$
• Memoria de Pares Comprimida: Una memoria de pares densa $P_t$ almacena las interacciones entre el estado previo y un vector de escritura actual $b_t$:
  $$P_t = \gamma_t \odot P_{t-1} + (1 - \gamma_t) \odot (s_{t-1} \otimes b_t)$$
  donde $P_t \in \mathbb{R}^{H \times S \times S}$.
• Lectura (Readout): El modelo sondea la memoria comprimida con una consulta izquierda $q^\ell_t$ y compone el resultado con una consulta derecha $q^r_t$ para formar una característica de orden superior antes de la compresión:
  $$o_t = W_o \text{vec}((P_t q^\ell_t) \odot q^r_t)$$

2. Variantes de la Arquitectura

El estudio evalúa tres variantes específicas contra un baseline de Transformer:

• Triple-Latente: Utiliza memoria de pares densa $P_t$.
• Triple-Slot: Reemplaza la memoria densa con ranuras (slots) aprendidas que almacenan factores izquierdo y derecho de bajo rango.
• Triple-Híbrido: Mantiene la memoria de pares densa y añade una vía convolucional local antes de la pila recurrente.

3. Baseline de Compatibilidad (Transformer+Triple)

Para aislar el beneficio de las interacciones triples del reemplazo de la atención, se introduce un baseline de compatibilidad. Este modelo mantiene una pila de Transformer estándar pero añade una única capa de triple-latente en la salida como un cabezal residual de alto orden aditivo, preservando las búsquedas de clave-valor de autoatención estándar.

4. Recuperación Asociativa Híbrida con Compuerta

Reconociendo que los modelos puramente latentes fallan en la recuperación exacta, los autores proponen un híbrido enfocado en el recuerdo. Este diseño mantiene la pila triple-latente para la compresión, pero añade una vía de memoria de clave-valor explícita para la recuperación:

• Escritura de Memoria: Los pares clave-valor $(k_{t-1}, v_t)$ se escriben utilizando proyecciones aprendidas.
• Recuperación: Las consultas se generan a partir de la representación del token anterior ($q_t = W_q e_{t-1}$) para calcular puntuaciones de similitud top-k contra las claves almacenadas.
• Fusión Tardía con Compuerta: El vector recuperado se fusiona en la capa de salida mediante una compuerta de lectura aprendida y una fusión de logits, asegurando que la vía de compresión recurrente con pérdida permanezca intacta por las escrituras de recuperación.

Configuración Experimental

La evaluación utiliza un stack de benchmarks "deliberadamente simple":

1. WikiText-2 a nivel de bytes: Modelado de lenguaje autorregresivo sobre bytes UTF-8 crudos (vocabulario de 259 tokens).
2. Benchmark MiniMind Tokenizado: Un benchmark de preentrenamiento utilizando un tokenizador y corpus específicos, siguiendo un protocolo estricto de 120 pasos con tres semillas.
3. Recuerdo Asociativo: Una prueba de estrés sintética que involucra pares clave-valor, rellenos aleatorios y una consulta final.
4. Perfilado de Rendimiento (Throughput): Mediciones en Apple MPS a diversas longitudes de secuencia.

Resultados Clave

Rendimiento de Modelado de Lenguaje

• Configuración de Ancho Igualado (Matched-Width): Las tres variantes de triple-latente superaron al baseline de Transformer en WikiText-2 a nivel de bytes. El Triple-Híbrido alcanzó 4.766 bits-por-byte (BPB) frente a los 5.124 del Transformer.
• Configuración de Parámetros Igualados (Parameter-Matched): Incluso con menos parámetros, el Triple-Híbrido mantuvo una ventaja (5.067 BPB vs. 5.124 BPB). Un barrido dirigido encontró una configuración (d=64, dimensión de estado=8) que alcanzó un promedio de 4.806 BPB en tres semillas, superando significativamente los 5.143 BPB del Transformer.
• Benchmark MiniMind: Todos los modelos con triple-aumento mejoraron la pérdida media de tokens respecto al Transformer. El Gated Hybrid fue el modelo más fuerte (6.766 de pérdida), seguido del Triple-Híbrido (7.035) y el baseline de compatibilidad transformer_plus_triple (7.239).

Recuerdo Asociativo

• Fallo de Solo-Latencia: La familia base de triple-latente falló en mejorar el recuerdo asociativo, operando cerca del nivel del azar (~13.4%) comparado con el 25.4% del Transformer.
• Éxito del Gated Hybrid: El híbrido con compuerta enfocado en el recuerdo mejoró significativamente el rendimiento, alcanzando un 41.9% de recuerdo medio en tres semillas (frente al 25.0% del Transformer y el 11.6% del Triple-Híbrido plano). La mejor semilla alcanzó un 100.0% de precisión.
• Inestabilidad: El alto rendimiento de la recuperación es altamente sensible a la semilla y no es monotónico con respecto al ancho. Un intento de reentrenamiento posterior utilizando calentamiento (warmup) y programación curricular falló en reproducir el modo de alto recuerdo, colapsando de nuevo a un promedio de ~12.7% de recuerdo.

Rendimiento de Sistemas

• Throughput: Ninguno de los modelos logró una victoria en throughput de tiempo real. Debido a la implementación actual de referencia en bucle de Python (falta de kernels fusionados), el Triple-Híbrido fue ~32.7x más lento que el Transformer en una longitud de secuencia de 64, y el Gated Hybrid fue ~106.5x más lento.
• Estimación de Cómputo: Las estimaciones analíticas de FLOP sugieren que el Triple-Híbrido utiliza ~0.80x de los FLOP de la pasada hacia adelante dominantes del Transformer, indicando que la brecha de rendimiento es un artefacto de la implementación más que una limitación arquitectónica.

Significancia y Reivindicaciones

El artículo posiciona estos resultados como evidencia para dos conclusiones distintas:

1. La Compresión Latente es Efectiva para el Modelado Genérico: La familia base de triple-latente demuestra que la compresión latente genérica puede capturar con éxito interacciones de tokens de orden superior, mejorando el rendimiento del modelado de lenguaje tanto en benchmarks de nivel de bytes como en los tokenizados, sin requerir la enumeración explícita de tripletos o un análisis sintáctico específico de la tarea. Las ganancias persisten incluso bajo un emparejamiento aproximado de parámetros.

2. Separación de Compresión y Recuperación: La recuperación exacta se beneficia de una vía de memoria separada y con compuerta, en lugar de ser forzada dentro de un único estado comprimido. Aunque los modelos puramente latentes fallan en la recuperación, la adición de una vía de clave-valor separada con fusión tardía mediante compuerta permite que la arquitectura supere al Transformer en tareas de recuerdo asociativo.

Limitaciones y Advertencias:

• Los resultados se basan en experimentos a pequeña escala (Apple MPS) y horizontes de entrenamiento cortos.
• El alto rendimiento de recuperación es actualmente inestable entre semillas y anchos.
• Los resultados de throughput reflejan una implementación de investigación en Python; los autores señalan que un sistema de producción requeriría escaneos recurrentes fusionados, búsqueda asociativa en dispositivo y rutas de retropropagación compiladas para realizar el perfil de aritmética favorable.

Los autores concluyen que, si bien esto aún no es un reemplazo práctico para la atención estándar debido a la madurez de la implementación y los problemas de estabilidad, proporciona evidencia significativa de que la compresión latente y la recuperación exacta pueden coexistir en una arquitectura genérica única cuando se dirigen a través de vías separadas.