🤖 machine learning

The Query Knows What to Forget: A Second Erase Direction for Linear Attention

Este artículo introduce la Dirección de Borrado derivada de la Consulta (QED, por sus siglas en inglés), un mecanismo novedoso para la atención lineal que añade un segundo vector de borrado ortogonal a la consulta para resolver la interferencia de estado y extender significativamente la longitud del contexto utilizable más allá de las ventanas de entrenamiento.

Autores originales: Dhruman Gupta, Aritra Das, Debayan Gupta

Publicado 2026-08-17

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dhruman Gupta, Aritra Das, Debayan Gupta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando recordar una historia que escuchaste hace mucho tiempo. Tu cerebro tiene un espacio limitado para albergar estos recuerdos. Si intentas meter demasiadas historias en ese pequeño espacio, los detalles empiezan a mezclarse y podrías confundir el final de un cuento con el principio de otro. Esto es un poco como la forma en que los modelos de IA modernos manejan las conversaciones largas. Utilizan un tipo especial de memoria llamada "atención lineal" para llevar la cuenta de todo lo dicho hasta el momento sin quedarse sin espacio. En lugar de guardar cada palabra individual en una pila gigante y creciente, comprimen la información en un "estado" de tamaño fijo, como un bloc de notas mágico que se actualiza a sí mismo a medida que llegan nuevas palabras.

Sin embargo, hay un inconveniente. A medida que la conversación se alarga, los viejos recuerdos en ese bloc de notas empiezan a interferir entre sí. Cuando la IA intenta encontrar una pieza específica de información (como un nombre mencionado 10.000 palabras atrás), el ruido de todas las otras palabras hace que sea difícil recuperar la respuesta correcta. Los científicos han estado intentando solucionar esto haciendo que la IA sea más inteligente sobre qué borrar. Han construido sistemas que pueden "borrar" información vieja e irrelevante para hacer espacio para la nueva información, pero hasta ahora, estos borradores han sido un poco torpes. Solo saben qué borrar basándose en la palabra actual que se está procesando, no en lo que la IA realmente está buscando.

Este artículo presenta un truco ingenioso llamado QED (Dirección de Borrado Derivada de la Consulta o Query-derived Erase Direction) para solucionar esa torpeza. Los investigadores, trabajando con modelos de 340 millones de parámetros, descubrieron que, al permitir que la "pregunta de búsqueda" (la consulta o query) de la IA ayude a decidir qué borrar, el modelo puede retener información importante durante mucho más tiempo. Entrenaron sus modelos en un conjunto de datos masivo de 15 mil millones de tokens y descubrieron que este nuevo método permite a la IA recordar detalles de mucho más atrás en la conversación que antes. Específicamente, en una prueba llamada S-NIAH-1, el nuevo método duplicó la cantidad de texto que el modelo podía leer de manera fiable, empujando el límite útil de unas 8.000 palabras a 16.000 palabras. El artículo sugiere que este es un paso significativo hacia adelante para hacer que la IA sea mejor leyendo documentos largos, aunque los autores señalan que algunas partes específicas de su nueva herramienta podrían necesitar más pruebas para ver si son estrictamente necesarias.

El Problema: El Borrador de "Una Vía"

Para entender el avance, observemos cómo funcionan estos modelos de IA actualmente. Imagina que la memoria de la IA es una biblioteca con mucha actividad donde los libros (la información) se intercambian constantemente. Cuando llega un libro nuevo, el bibliotecario (el modelo) tiene que decidir qué libro viejo desechar para hacer espacio.

En los modelos utilizados antes de este artículo (como Gated DeltaNet-2), el bibliotecario solo mira el libro nuevo (la "clave" o key) para decidir qué tirar. Es como decir: "Este nuevo libro trata sobre gatos, así que tiraré el libro viejo sobre gatos". Esto funciona bien, pero tiene un punto ciego.

El problema es que la IA no solo mira el libro nuevo; también tiene una pregunta específica que intenta responder (la "consulta" o query). Tal vez la pregunta es: "¿Quién es el personaje principal?". El bibliotecario necesita encontrar la respuesta a esa pregunta específica. Pero el viejo borrador de "una vía" solo sabe qué eliminar basándose en el tema del libro nuevo, no en la pregunta que se está haciendo.

Los autores se dieron cuenta de que la "interferencia" —el ruido que confunde a la IA— vive exactamente donde la pregunta está buscando. Si la pregunta busca un detalle específico, pero el bibliotecario solo borra basándose en el tema del libro nuevo, el ruido confuso podría quedarse justo en el camino de la pregunta. Es como intentar encontrar una aguja en un pajar mientras el bibliotecario solo elimina el heno que tiene el mismo color que la aguja, ignorando el hecho de que la aguja está escondida bajo una pila de paja.

La Solución: El Borrador de "Dos Vías"

El artículo propone una solución llamada QED. En lugar de solo un borrador, añaden un segundo que es guiado por la propia pregunta.

Piénsalo de esta manera: la IA ahora tiene un "Borrador Dirigido por la Clave" (el antiguo) y un nuevo "Borrador Dirigido por la Consulta".

El Borrador Dirigido por la Clave sigue haciendo su trabajo: mira la nueva información y elimina lo viejo que coincida con ella.
El Borrador Dirigido por la Consulta mira lo que la IA está pidiendo actualmente. Si la pregunta es "¿Quién es el villano?", este borrador apunta específicamente y elimina la información vieja y confusa que podría estar ocultando la respuesta a esa pregunta.

Crucialmente, este nuevo borrador está diseñado para ser "ortogonal" al anterior. En lenguaje sencillo, esto significa que limpia las partes de la memoria que el viejo borrador no puede alcanzar. Es como tener una aspiradora que puede succionar el polvo de las esquinas de la habitación que la escoba no logra alcanzar.

Los investigadores probaron esto entrenando modelos con 15 mil millones de tokens de texto. Encontraron que cuando dejan que la "pregunta" guíe el borrado, el modelo se vuelve mucho mejor encontrando hechos específicos en textos largos.

Lo Que Encontraron (y lo Que No)

Los resultados fueron bastante prometedores, pero los autores fueron cuidadosos de no exagerar. Esto es lo que los datos realmente mostraron:

Superpoder de Contexto Largo: En una prueba llamada S-NIAH-1 (que comprueba si un modelo puede encontrar una "aguja en un pajar" de texto), el nuevo método mejoró la precisión significativamente. Por ejemplo, en una longitud de 16.000 tokens (palabras), el modelo estándar obtuvo aproximadamente un 21,8% de aciertos, mientras que el nuevo modelo QED obtuvo un 39,8%. A 32.000 tokens, el salto fue aún más dramático, pasando del 9,4% al 15,8%.
Duplicando la Longitud Útil: Los autores afirman que esta mejora efectivamente duplica la longitud de contexto utilizable. Antes, el modelo empezaba a confundirse alrededor de los 8.000 tokens; con QED, se mantuvo fiable hasta los 16.000 tokens.
Sin Perplejidad Mágica: Curiosamente, el nuevo método no hizo que la IA fuera mejor escribiendo o prediciendo la siguiente palabra en una oración (una métrica llamada "pérdida de validación" o validation loss). La pérdida se mantuvo exactamente igual. Esto sugiere que QED no hace que la IA sea más "inteligente" en un sentido general; simplemente la hace mejor en la recuperación de memorias específicas de su estado comprimido.

El Misterio de la "Ablación": ¿Qué Partes Importan?

Para determinar exactamente por qué funcionó QED, los investigadores realizaron experimentos en los que desactivaron diferentes partes del nuevo sistema. Esto es como desarmar el motor de un coche para ver qué tornillo es el que realmente hace que el coche vaya más rápido.

Probaron tres componentes principales:

La Dirección: Usar la "pregunta" (consulta/ query) para guiar el borrado.
La Compuerta (Gate): Un interruptor que decide cuándo borrar (para que no elimine cosas que la IA aún necesita).
La Proyección: Una regla matemática para asegurar que el nuevo borrador no desordene accidentalmente el trabajo del borrador anterior.

Aquí está el giro: los resultados fueron algo mixtos.

La Dirección es la Clave: Cada vez que usaron la "pregunta" para guiar el borrado, el modelo mejoró. Esta parte parece ser la verdadera heroína.
La Compuerta y la Proyección son Poco Claras: Cuando desactivaron la "compuerta" o la "proyección", los resultados fueron inconsistentes. A veces el modelo funcionaba mejor, otras veces peor, dependiendo de la semilla aleatoria (random seed) que usaron para el entrenamiento. Los autores sugieren que, aunque estas partes podrían ayudar, los experimentos no demostraron que sean estrictamente necesarias. Es posible que, para el tamaño específico de modelo que utilizaron, la "proyección" no estuviera haciendo mucho debido a que el modelo evitaba naturalmente los problemas para los que fue diseñada.

Conclusión

El artículo concluye que QED es una forma exitosa de ayudar a los modelos de IA a recordar cosas en conversaciones largas. Al permitir que la "consulta" ayude a decidir qué olvidar, el modelo puede limpiar el ruido que normalmente bloquea su memoria.

Sin embargo, los autores son honestos sobre los límites de sus hallazgos. No demostraron que la "compuerta" o la "proyección" sean esenciales; solo demostraron que usar la "consulta" para guiar el borrado es la mejora más consistente. También señalaron que la fuerza de este nuevo borrador podría necesitar ajustes dependiendo de la tarea específica, ya que cambiar la "intensidad" del borrado en el momento de la prueba dio resultados diferentes para distintos modelos.

En resumen, el artículo sugiere que si quieres que una IA lea una novela entera y recuerde el nombre del villano en el último capítulo, deberías darle un "borrador guiado por la consulta". Pero es posible que aún necesites realizar más pruebas para determinar exactamente cómo ajustar los otros controles de esa nueva máquina.

Resumen Técnico: La Consulta Sabe Qué Olvidar

Planteamiento del Problema
Los mecanismos de atención lineal reemplazan el caché dependiente de la longitud de la secuencia de la atención softmax con un estado recurrente de tamaño fijo, ofreciendo memoria y computación constantes por token. Sin embargo, a medida que la longitud del contexto crece, múltiples asociaciones almacenadas deben compartir este estado acotado, lo que genera una interferencia que degrada la fiabilidad de la recuperación. Aunque arquitecturas recientes como Gated DeltaNet-2 (GDN-2) han mejorado la selectividad del estado mediante el desacoplamiento de las compuertas de borrado (erase) y escritura (write), persiste un desajuste fundamental: el vector de borrado se deriva de la clave (key) del token actual, mientras que la interferencia de recuperación se mide mediante la consulta (query). En consecuencia, el contenido visible para la consulta (y que causa interferencia) puede residir en partes del estado que el paso de borrado derivado de la clave no puede modificar directamente.

Metodología: Dirección de Borrado Derivada de la Consulta (QED)
Los autores proponen QED, una modificación a la regla de actualización de GDN-2 que introduce una segunda dirección de borrado derivada de la consulta.

Mecanismo: El vector de borrado estándar de GDN-2 $a_t = b_t \odot k_t$ se aumenta con un término de compuerta derivado de la consulta $q_t$ . El nuevo vector de borrado se define como:
$a_t = b_t \odot k_t + \lambda_h P^\perp_{k_t}(b_t \odot q_t)$
donde $b_t$ es la compuerta de borrado por canal, $\lambda_h$ es una fuerza aprendida por cabeza, y $P^\perp_{k_t}$ proyecta el término derivado de la consulta de forma ortogonal a la clave $k_t$ .
Justificación Teórica: En la visión de pesos rápidos (fast-weight view), una actualización delta de rango uno estándar (dirigida por la clave) no puede alterar el componente del estado ortogonal a la clave. Dado que la consulta selecciona el contenido basándose en su propia dirección, la interferencia suele residir en el subespacio ortogonal a la clave y a la consulta. QED permite al modelo cancelar este "contenido del estado antiguo" proyectando la corrección a lo largo de la dirección de la consulta, manteniendo al mismo tiempo la estructura de actualización de rango uno y las condiciones de estabilidad de GDN-2.
Costo: La modificación preserva la actualización de rango uno e incurre en un costo computacional insignificante adicional.

Configuración Experimental
Los autores entrenaron modelos de 340 millones de parámetros (24 capas, 1024 de tamaño oculto) con 15 mil millones de tokens de datos de FineWeb-Edu. El estudio utilizó dos semillas aleatorias y cinco brazos experimentales para aislar las contribuciones de los componentes del mecanismo:

Línea de base (Baseline): GDN-2 (sin corrección).
QED (completo): Mecanismo completo con compuerta, proyección y dirección derivada de la consulta.
QED-nogate: Dirección y proyección de la consulta, pero sin compuerta.
QED-nogate-noproj: Dirección de la consulta sin compuerta ni proyección.
QED-rand: Un control que utiliza un vector unitario fijo aleatorio en lugar de la consulta para la dirección.

La evaluación incluyó perplejidad de modelado de lenguaje, recuperación de contexto largo (tareas RULER S-NIAH) y recuperación de documentos (tareas de recuperación basadas en: SWDE, FDA, SQuAD-completion).

Resultados Clave

Recuperación de Contexto Largo: QED mejora significativamente la precisión de la recuperación más allá de la ventana de entrenamiento (2048 tokens). En la tarea S-NIAH-1, QED mejoró la precisión hasta en 39 puntos porcentuales en longitudes de extrapolación (4K–32K) en comparación con la línea de base, duplicando efectivamente la longitud de contexto utilizable.
Recuperación de Documentos: QED mejoró las puntuaciones de recuperación de FDA en 3.4 y 3.7 puntos a través de las semillas. No se observaron cambios significativos en SQuAD-completion o SWDE (siendo este último un resultado nulo).
Modelado de Lenguaje: El mecanismo apunta específicamente a la recuperación; la pérdida de validación (perplejidad) se mantuvo sin cambios en todos los brazos, con variaciones dentro de 0.0034 nats.
Perspectivas de Ablación:
- Dirección: El uso de la consulta para definir la dirección de borrado es consistentemente beneficioso. El control QED-rand (dirección aleatoria) no logró igualar el rendimiento de QED completo, confirmando la necesidad de la dirección derivada de la consulta.
- Compuerta y Proyección: Los beneficios de la compuerta de borrado ( $b_t$ ) y la proyección ortogonal a la clave ( $P^\perp$ ) fueron inconcluyentes, ya que sus efectos variaron entre las semillas de entrenamiento. El análisis sugiere que, a la escala de modelo actual, las correcciones aprendidas tienen naturalmente una alineación insignificante con la clave, haciendo que la restricción de proyección sea efectivamente inactiva (una salvaguarda que no fue estrictamente necesaria para la estabilidad en estas ejecuciones específicas).

Significancia y Reivindicaciones
El artículo afirma que QED resuelve el desajuste entre la lectura y la edición en la atención lineal al permitir que el modelo "olvide" el contenido seleccionado específicamente por la consulta. Esto permite una cancelación más efectiva de la interferencia en el estado recurrente.

Impacto Práctico: El método mejora la recuperación en cada longitud pasada la ventana de entrenamiento sin degradar la calidad del modelado de lenguaje.
Alcance Modesto: Los autores declaran explícitamente que, si bien la dirección derivada de la consulta es el principal motor de mejora, la necesidad de los subcomponentes de compuerta y proyección sigue sin decidirse debido a los resultados inconsistentes entre ejecuciones. Enfatizan que se requiere más trabajo para determinar la fuerza de corrección óptima ( $\lambda_{max}$ ) y para probar las restricciones de estabilidad de la proyección en escalas de modelos más grandes.