💬 NLP

YaRN: Efficient Context Window Extension of Large Language Models

YaRN es un método computacionalmente eficiente para extender la ventana de contexto de los modelos de lenguaje mediante la optimización de los incrustamientos de posición rotatorios (RoPE), permitiendo una extrapolación superior con una fracción del entrenamiento requerido por métodos anteriores.

Autores originales: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Publicado 2026-02-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🧠 El Problema: La "Memoria de Pez" de la Inteligencia Artificial

Imagina que estás leyendo una novela épica de mil páginas. Para entender el final, necesitas recordar quién era el villano en el capítulo uno.

Los modelos de lenguaje actuales (como ChatGPT o Llama) son como lectores muy inteligentes, pero con un problema: tienen una "ventana de atención" limitada. Es como si solo pudieran mantener abiertas 50 páginas de la novela en su mente a la vez. Si intentas que lean un libro entero de golpe, empiezan a olvidar el principio o se confunden, porque su "memoria de corto plazo" no está diseñada para manejar tanta información de una sola vez.

Cuando los científicos intentan "estirar" esa memoria para que lean más páginas, el cerebro de la IA se rompe. Es como intentar estirar un chicle: si lo estiras demasiado rápido o de forma desigual, se rompe y deja de funcionar.

🛠️ La Solución: YaRN (El "Acordeón Inteligente")

Los investigadores crearon YaRN (Yet another RoPE extensioN method). Para entender qué hace, usemos tres analogías:

1. El problema del "Zoom" (Interpolación)

Imagina que tienes una foto de un mapa muy detallado. Si quieres ver un área más grande, lo más fácil es "alejar la cámara" (hacer zoom hacia afuera). El problema es que, al alejar la cámara, los detalles pequeños (como los nombres de las calles) se vuelven borrosos y ya no los ves.

Los métodos anteriores intentaban estirar el mapa de forma uniforme, pero la IA perdía los "detalles finos" (la información de alta frecuencia) y se volvía "torpe".

2. La técnica de YaRN: El "Acordeón de Precisión"

YaRN no estira todo el mapa por igual. En lugar de eso, usa una técnica que los autores llaman "NTK-by-parts".

Imagina un acordeón.

Para las notas musicales muy rápidas y agudas (los detalles pequeños), YaRN casi no mueve el fuelle; mantiene la precisión para que la IA no pierda el ritmo.
Para las notas largas y graves (la estructura general de la historia), YaRN estira el fuelle con fuerza para cubrir más espacio.

Al tratar de forma distinta a los "detalles" y a la "estructura general", YaRN logra que la IA pueda leer textos muchísimo más largos sin perder la nitidez de los detalles.

3. El "Termostato de la Atención" (Attention Scaling)

Además, YaRN añade un pequeño ajuste de "temperatura". Imagina que cuando la IA lee un texto larguísimo, se siente abrumada y empieza a gritar todas las palabras a la vez (se confunde). YaRN actúa como un termostato que regula la intensidad de la voz de la IA, permitiéndole mantener la calma y concentrarse en lo importante, incluso cuando el texto es gigante.

🚀 ¿Por qué es esto un gran avance?

Es súper eficiente: Es como si hubieran encontrado una forma de hacer que un corredor de maratón corra el doble de distancia gastando la mitad de energía. Requiere mucho menos entrenamiento que los métodos anteriores.
Aprende poco, rinde mucho: Los investigadores descubrieron que puedes entrenar a la IA con solo un "poquito" de datos largos, y de repente, la IA es capaz de entender textos que son muchísimo más grandes de lo que practicó. Es como si un niño practicara leer frases cortas y, de repente, ¡pudiera leer un diccionario entero!
No pierde la inteligencia: A diferencia de otros métodos que hacen que la IA se vuelva "tonta" en tareas cotidianas al intentar darle más memoria, YaRN mantiene la capacidad de la IA casi intacta.

En resumen:

YaRN es como darle a una IA un par de gafas de alta definición y un acordeón inteligente, permitiéndole leer libros enteros con la misma claridad con la que leía un párrafo, de forma más rápida y barata que nunca.

Resumen Técnico: YaRN (Yet another RoPE extensioN method)

1. El Problema: La Limitación de la Ventana de Contexto

Los Modelos de Lenguaje de Gran Escala (LLMs) basados en la arquitectura Transformer utilizan Rotary Position Embeddings (RoPE) para codificar la información posicional. Aunque RoPE es altamente efectivo, los modelos presentan una incapacidad crítica para generalizar más allá de la longitud de secuencia (ventana de contexto) con la que fueron entrenados originalmente.

Los métodos previos de extensión intentaban solucionar esto mediante:

Positional Interpolation (PI): Estira todas las dimensiones de RoPE por igual, lo que provoca una pérdida de información de alta frecuencia (detalles locales).
NTK-aware Interpolation: Intenta mitigar la pérdida de alta frecuencia escalando las dimensiones de forma desigual, pero es difícil de optimizar y puede introducir valores "fuera de rango" que degradan el rendimiento durante el ajuste fino (fine-tuning).

2. Metodología: La Propuesta de YaRN

YaRN propone un método de interpolación más sofisticado y eficiente que combina tres innovaciones técnicas principales para extender la ventana de contexto de modelos como LLaMA, GPT-NeoX y PaLM.

A. Interpolación "NTK-by-parts"

En lugar de un escalado uniforme, YaRN analiza las longitudes de onda ( $\lambda$ ) de cada dimensión de RoPE. El método aplica una estrategia diferenciada según la frecuencia:

Frecuencias altas (longitudes de onda muy cortas): No se interpolan, para preservar la capacidad del modelo de distinguir el orden relativo de tokens cercanos.
Frecuencias bajas (longitudes de onda largas): Se interpolan linealmente para evitar que las distancias largas queden fuera de la distribución de entrenamiento.
Frecuencias intermedias: Utilizan una función de transición suave (ramp function) para pasar gradualmente entre ambos estados.

B. Escalamiento de la Atención (Attention Scaling)

YaRN introduce un factor de temperatura $t$ en la función softmax de la atención:
$\text{softmax}\left(\frac{q^T k}{\sqrt{|D|} \cdot t}\right)$
Este ajuste compensa la pérdida de entropía causada por la interpolación. Lo ingenioso es que este cambio se puede implementar mediante un "truco de escalamiento de longitud" que modifica los embeddings de RoPE directamente, lo que permite que sea compatible con implementaciones optimizadas como Flash Attention 2 sin modificar el código del mecanismo de atención.

C. Dynamic Scaling (Escalamiento Dinámico)

Para la inferencia, YaRN permite el Dynamic-YaRN, donde el factor de escala $s$ se actualiza en cada paso de la secuencia según la longitud actual. Esto permite que el modelo degrade su rendimiento de forma gradual y elegante en lugar de colapsar abruptamente al alcanzar el límite de entrenamiento.

3. Contribuciones Clave

Eficiencia Computacional: Requiere 10 veces menos tokens y 2.5 veces menos pasos de entrenamiento que los métodos anteriores para lograr extensiones de contexto similares.
Capacidad de Extrapolación: Demuestra que un modelo puede ser entrenado con una ventana de contexto moderada (ej. 64k) y extrapolar con éxito a una mucho mayor (ej. 128k) sin degradación significativa.
Compatibilidad: Al ser un método basado en la modificación de embeddings, es un "drop-in replacement" que no requiere alterar la arquitectura del Transformer.

4. Resultados Principales

Perplejidad (Perplexity): En las pruebas con el dataset Proof-pile, los modelos LLaMA 2 extendidos con YaRN mostraron una perplejidad significativamente menor que los métodos PI y NTK-aware, manteniendo la estabilidad incluso en contextos de 128k tokens.
Recuperación de Passkey: En tareas de recuperación de información específica (passkey retrieval), YaRN alcanzó precisiones superiores al 99% en ventanas de contexto extendidas, superando a Code Llama y otros modelos.
Benchmarks Estándar: Los resultados en el Hugging Face Open LLM Leaderboard (ARC, HellaSwag, MMLU) muestran que la degradación del rendimiento en tareas de corto contexto es mínima tras la extensión.
Eficiencia de Entrenamiento: La Tabla 4 del estudio destaca que YaRN alcanza resultados de vanguardia con una fracción del costo en horas de GPU (A100) comparado con métodos como PI o el ajuste de base de Code Llama.

5. Significación

La importancia de YaRN radica en su capacidad para democratizar el acceso a contextos largos. Al permitir que modelos pre-entrenados se extiendan de manera extremadamente eficiente y con pocos datos, reduce drásticamente la barrera de entrada computacional para trabajar con documentos extensos, libros o bases de código completas, manteniendo la integridad de la inteligencia del modelo original.