Resumen Técnico: CARVE (Content-Aware Recurrent with Value Efficiency)

1. Planteamiento del Problema

Los modelos de secuencias recurrentes basados en la familia de la regla delta (por ejemplo, GDN-2) comprimen el contexto pasado en una matriz de estado de tamaño fijo $S_t \in \mathbb{R}^{d_v \times d_k}$. Mientras que el estado del arte, GDN-2, emplea puertas de elementos completos para borrar y escribir, los autores identifican tres defectos estructurales intrínsecos que limitan su eficiencia y capacidad:

1. Puerta Ciega al Contenido (Memory-Blind Gating): Tanto la puerta de borrado ($B_t$) como la de escritura ($W_t$) se computan únicamente a partir del token entrante $x_t$. El modelo no puede observar el estado actual $S_{t-1}$ antes de decidir qué olvidar, lo que imposibilita realizar un olvido selectivo dependiente del contenido (por ejemplo, proteger asociaciones de alto valor mientras se elimina el ruido estancado).
2. Cuello de Botella de Ancho de Banda de la Puerta de Escritura: La proyección de la puerta de escritura en GDN-2 mapea la entrada a una matriz completa de $d_v \times d_k$. Esto incurre en un recuento de parámetros y una huella de memoria equivalentes a la propia proyección de valor, sin embargo, los autores argumentan que esta selectividad por valor ofrece un retorno expresivo insignificante para la tarea central de recuperación asociativa.
3. Destrucción del Paralelismo de Bloques (Chunk-Parallelism): El entrenamiento eficiente de los modelos de regla delta depende del resolvedor de bloques triangulares en forma WY, que agrupa los tokens en un único sistema lineal. Sin embargo, la puerta de borrado de GDN-2 actúa sobre los ejes de valor y clave. Este acoplamiento obliga al sistema intra-bloque a descomponerse en $d_v$ resoluciones independientes (una por cada fila de valor), colapsando el rendimiento de entrenamiento de un costo paralelo de $O(\log T)$ a costos de recurrencia serial.

2. Metodología: La Arquitectura CARVE

CARVE resuelve estos tres problemas simultáneamente mediante una única restricción arquitectónica: restringir todo el control de puertas (gating) únicamente al eje de la clave. Se demuestra que esta restricción es la condición necesaria y suficiente para que el resolvedor de bloques en forma WY siga siendo válido.

2.1 Borrado Consciente del Contenido mediante Reutilización de Salida

Para permitir un control de puertas consciente de la memoria sin el costo prohibitivo de leer la matriz de estado $S_{t-1}$ desde la Memoria de Alto Ancho de Banda (HBM), CARVE introduce un novedoso mecanismo de lectura:

• Mecanismo: El tensor de salida recurrente $o_t = S_{t-1}q_t$ ya es computado y escrito en la HBM por el kernel. CARVE reutiliza este tensor para calcular la media del bloque $m_c = \frac{1}{L}\sum o_t$.
• Gating: Esta media del bloque sirve como una señal de contenido pasada a través de una proyección de bajo rango inicializada en cero $U_b$ para modular la puerta de borrado: $b_{c,t} = \sigma(b_{x,t} + U_b m_c)$.
• Eficiencia: Esto añade cero tráfico adicional a la HBM. La señal tiene un retraso de un bloque ("stale"), pero el análisis teórico muestra que la perturbación de la puerta resultante decae como $O(1/\sqrt{L})$, midiendo empíricamente una desviación plana de 0.18% en longitudes de bloque de hasta $L=128$.

2.2 Puerta de Escritura de Valor Escalar

CARVE reemplaza la proyección de la puerta de escritura de $d_v$ dimensiones por un escalar único $w_{h,t}$ por cada cabeza de atención, transmitido uniformemente a través de todos los canales de valor.

• Impacto: Esto reduce los parámetros de la puerta de escritura por un factor de $d_v$ (por ejemplo, de 589,824 a 9,216 por capa con $H=12, d_v=768$).
• Garantía Teórica: Los autores demuestran (Teorema 15) que un escalar es suficiente para la recuperación asociativa de un solo slot, haciendo que esta reducción sea sin pérdida para la tarea principal.

2.3 Decaimiento y Fusión del Eje de la Clave

La arquitectura emplea una puerta de decaimiento exponencial estrictamente en el eje de la clave. La activación de decaimiento se fusiona directamente dentro del kernel de Triton ("gate-in-kernel"), eliminando la necesidad de almacenar un tensor de activación de secuencia completa, ahorrando memoria y mejorando el rendimiento.

3. Contribuciones Clave y Garantías Teóricas

El artículo proporciona seis resultados teóricos formales que sustentan el diseño:

1. Límite de Bloqueabilidad (Teorema 11): Demuestra que el borrado exclusivo en el eje de la clave es la condición necesaria y suficiente para que el resolvedor de bloques triangular en forma WY funcione sin descomposición.
2. Jerarquía de Subsumición (Teorema 1): Establece que CARVE generaliza estrictamente las arquitecturas de clave ciega a la memoria, las redes con puertas escalares y la regla delta original.
3. Incomparabilidad (Proposición 2): Demuestra que CARVE y GDN-2 operan en subespacios estructuralmente diferentes; ninguno contiene al otro, pero CARVE ofrece capacidades condicionadas a la memoria superiores.
4. Estabilidad de Lyapunov (Teorema 4): Muestra que el gating biaxial de CARVE (decaimiento + borrado) proporciona una razón de contracción estrictamente más ajustada que GDN-2, asegurando que las normas del estado permanezcan acotadas.
5. Flujo de Gradiente (Teorema 5): Acota las normas de los gradientes, mostrando que CARVE no introduce nuevas patologías de desvanecimiento de gradiente.
6. Separación de Expresividad (Teorema 7): Demuestra que CARVE puede resolver la tarea de "Sobrescritura Selectiva de Clave" (SKO) con $O(d_v + d_k)$ parámetros, mientras que cualquier puerta ciega a la memoria falla independientemente de su anchura.

4. Resultados Empíricos

Evaluado a la escala de 1.3B de parámetros en 100B de tokens de FineWeb-Edu utilizando GPUs NVIDIA H100 (promediado sobre tres semillas):

• Modelado de Lenguaje: En WikiText, CARVE logra una perplejidad de 15.72 frente a los 15.90 de GDN-2 (una reducción de $-0.18$, un efecto de 4.5$\sigma$). La variante híbrida (CARVE + Sliding Window Attention) alcanza 15.41 frente a 15.62.
• Tareas de Razonamiento: CARVE lidera todas las bases recurrentes con un promedio de +0.63 puntos porcentuales en nueve tareas comunes de razonamiento.
• Recuperación en Contexto (RULER): Establece el estado del arte en cada longitud de contexto de Aguja Única (S-NIAH) y Aguja de Múltiples Claves (MK-NIAH), superando a Mamba-3 y GDN-2.
• Recuperación en el Mundo Real: Lidera los seis benchmarks de recuperación del mundo real (SWDE, SQuAD, FDA, etc.) tanto en configuraciones recurrentes como híbridas.
• Eficiencia de Hardware:
  • Rendimiento (Throughput): 93.36K tokens/seg, dentro del 0.4% del baseline de GDN-2 (diferencia estadísticamente insignificante).
  • Memoria: El uso de memoria pico es un 13% menor (6.54 GB vs. 7.50 GB).
  • Parámetros: Los parámetros del mixer son un 19% menores debido a la puerta de escritura escalar.

5. Significado y Reivindicaciones

El artículo afirma que CARVE es la primera arquitectura en la familia de delta con puertas que logra simultáneamente:

1. Gating consciente del contenido (observar la memoria antes de olvidar) con costo de memoria adicional cero.
2. Entrenamiento de bloques paralelo en forma WY completa (preservando un alto rendimiento).
3. Reducción del recuento de parámetros (mediante puertas de escritura escalares).

Los autores enfatizan que estas mejoras no son aproximaciones, sino que están fundamentadas en pruebas formales y mediciones de hardware. El diseño resuelve la "tensión de tres vías" entre un gating más rico, menor ancho de banda y entrenamiento paralelo que anteriormente limitaba a modelos como GDN-2. El artículo concluye que la capacidad de "mirar su propia memoria antes de decidir qué olvidar" es alcanzable a un costo adicional de cero mediante la reutilización de tensores de salida, mejorando fundamentalmente la eficiencia y la capacidad de los modelos de lenguaje recurrentes.

Limitaciones Reconocidas: La señal de contenido depende de la media del bloque anterior; por lo tanto, las secuencias más cortas que dos bloques no reciben señal de contenido. La evaluación está actualmente limitada al pre-entrenamiento, y el comportamiento en regímenes de ajuste fino (fine-tuning) o seguimiento de instrucciones sigue siendo una pregunta abierta.