🤖 AI

Long-Context Fine-Tuning with Limited VRAM

Este artículo presenta un marco de ajuste fino de contexto largo y eficiente en memoria que combina la Atención Global Jerárquica, la retropropagación por segmentos y el almacenamiento de KV por niveles para permitir el entrenamiento en secuencias de hasta 16.384 tokens y la evaluación de hasta 131.072 tokens en una sola GPU de 16 GB con un rendimiento comparable al de la atención densa.

Autores originales: Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

Publicado 2026-07-20

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a leer una biblioteca llena de libros. El robot tiene un cerebro brillante, pero su "memoria de trabajo" —ese pequeño escritorio que usa para pensar mientras lee— es increíblemente pequeña. En el mundo de la inteligencia artificial, este escritorio se llama VRAM (Memoria de Acceso Aleatorio de Video). Si el robot intenta leer una historia larga, necesita recordar cada palabra que ya ha leído para comprender la oración actual. Pero si la historia es demasiado larga, el escritorio del robot se llena de desorden y colapsa antes de poder terminar la lección. Este es el problema del "contexto largo": ¿cómo enseñamos a estos modelos a recordar miles de palabras sin quedarnos sin espacio en el escritorio?

Para resolver esto, los científicos han desarrollado algunos trucos. Uno es QLoRA, que es como comprimir el cerebro del robot en una mochila más pequeña y ligera para que quepa en el escritorio. Otro es la atención densa, que es la forma en que el robot mira hacia atrás a cada una de las palabras que ha leído hasta ahora para encontrar las pistas adecuadas. Aunque esto funciona de maravilla para historias cortas, se vuelve imposible para las largas porque el robot tiene que cargar con todo el historial en su diminuta memoria de trabajo. Este artículo explora una nueva forma de enseñar a estos robots a manejar historias masivas sin necesidad de un escritorio gigante, utilizando una mezcla ingeniosa de trucos de memoria y un nuevo estilo de lectura tipo "motor de búsqueda".

El Problema: El Diminuto Escritorio del Robot

Imagina que estás estudiando para un examen de historia. Tienes un libro de texto de 10,000 páginas. Tu cerebro solo puede retener unas 2,000 páginas de notas a la vez. Si intentas leer la página 8,000, necesitas recordar qué pasó en la página 100, pero tus notas están llenas. En el pasado, los modelos de IA eran como estudiantes que intentaban mantener una copia de cada una de las páginas que habían leído en su escritorio. Si el libro era demasiado largo, el escritorio explotaba.

Los autores de este artículo quisieron entrenar un modelo llamado Qwen3-8B (un robot inteligente con 8 mil millones de "neuronas") en una tarjeta gráfica específica llamada Quadro RTX 5000 que solo tiene 16 GB de memoria. Intentaron enseñarle usando un método estándar llamado "atención densa". ¿El resultado? El robot podía manejar una historia de 2,048 tokens (un token es un fragmento de una palabra, como una sílaba o una palabra corta). Pero tan pronto como intentaron que la historia fuera de 4,096 tokens de largo, el escritorio del robot se llenó y el entrenamiento falló. Simplemente no podía hacer caber la memoria del pasado en el diminuto espacio disponible.

La Solución: La Biblioteca de "Atención Global Jerárquica" (HGA)

El equipo ideó una nueva estrategia llamada Atención Global Jerárquica (HGA). En lugar de intentar mantener cada palabra del pasado sobre el escritorio, construyeron un sistema de archivo inteligente de dos niveles.

Imagina la historia como una biblioteca masiva.

Los Resúmenes (El Catálogo): Primero, el robot crea una pequeña tarjeta de resumen para cada fragmento de 64 tokens de la historia. Estas tarjetas de resumen son tan pequeñas que todas pueden caber en el escritorio.
Los Grupos (Los Estantes): Dentro de esos fragmentos, hay grupos más pequeños de 8 tokens. El robot también mantiene un caché de resúmenes para estos grupos.
Los Libros Reales (Las Palabras Exactas): Cuando el robot necesita leer una parte específica de la historia, no carga la biblioteca entera. Mira las tarjetas de resumen en el escritorio, elige los fragmentos más relevantes y luego extrae únicamente las palabras exactas (los datos "Key" y "Value") de esos fragmentos específicos desde la sala de almacenamiento (RAM o un disco duro) y las trae al escritorio.

Esto es como tener un bibliotecario que sabe exactamente qué páginas necesitas. En lugar de cargarte el libro entero, el bibliotecario te trae solo las tres páginas que estás buscando. El resto del libro se queda en el estante (en la RAM o en el disco duro), ocupando cero espacio en tu escritorio.

Cómo Funciona en la Práctica

Los investigadores dividieron la historia larga en segmentos. Entrenan al robot en un segmento a la vez.

El Segmento Activo: La parte actual de la historia que se está aprendiendo está sobre el escritorio.
El Historial: Las partes pasadas están almacenadas en la "sala de almacenamiento".
La Magia: Cuando el robot necesita mirar hacia atrás, utiliza las tarjetas de resumen para encontrar las páginas adecuadas, recupera solo esas páginas específicas y aprende de ellas. Una vez que termina ese segmento, devuelve las páginas viejas a la sala de almacenamiento para hacer espacio para el siguiente segmento.

Este método se llama retropropagación por segmentos (segment-wise backpropagation). Es como estudiar un capítulo, hacer un examen y luego despejar tu escritorio para estudiar el siguiente capítulo, mientras mantienes un mapa de dónde están los datos importantes en los capítulos anteriores.

Los Resultados: Historias Más Grandes, Mismo Escritorio

El equipo probó esto en su tarjeta gráfica de 16 GB. Esto fue lo que sucedió:

La Forma Antigua (Atención Densa): Solo podía manejar 2,048 tokens. A los 4,096 tokens, fallaba por completo.
La Nueva Forma (HGA): Entrenó con éxito historias de hasta 16,384 tokens (e incluso probó hasta 32,768 tokens) en la misma tarjeta exacta.

El uso máximo de memoria para el nuevo método fue de 15.28 GB, lo que cabe cómodamente dentro del límite de 16 GB. El robot pudo manejar una historia 8 veces más larga que antes sin necesidad de un escritorio más grande.

Velocidad y Calidad: ¿Es un Intercambio?

Usualmente, cuando haces algo más inteligente o más grande, se vuelve más lento. Los autores comprobaron si este nuevo método era más lento.

A 1,024 tokens, el nuevo método era aproximadamente un 20% más lento que el anterior. Esto se debe a que la "búsqueda" de las páginas correctas toma un poco de tiempo extra cuando la historia es corta.
Sin embargo, a 2,048 tokens, el nuevo método fue en realidad ligeramente más rápido (217.75 tokens por segundo frente a 207.02 tokens por segundo).
Los autores explican que, a medida que la historia se vuelve más larga, el método antiguo tiene que mirar más y más palabras, lo que lo ralentiza. El nuevo método solo mira un número fijo y pequeño de palabras importantes, por lo que su velocidad se mantiene constante. Predicen que, para historias muy largas, el nuevo método será mucho más rápido.

¿Aprendió el robot igual de bien? Probaron el conocimiento del robot usando una prueba de lectura estándar (conjunto de datos PG19).

El robot entrenado con el nuevo método obtuvo una puntuación de 2.7405 (una medida de qué tan bien predice la siguiente palabra).
El robot entrenado con el método antiguo obtuvo una puntuación de 2.7383.
La diferencia es mínima (0.0022), lo que significa que el nuevo método aprendió tan bien como el anterior, a pesar de que estaba mirando menos palabras.

El Problema: Lo que el Robot Aún No Puede Hacer

El artículo es muy honesto sobre lo que este método no puede hacer todavía.

Fuga Causal (Causal Leakage): Si entrenas al robot durante un tiempo muy largo (cientos de millones de tokens), podría empezar a hacer trampa. Debido a que el robot agrupa las palabras para crear resúmenes, una palabra temprana podría accidentalmente "ver" información sobre una palabra posterior que no debería conocer todavía. Esto se llama "fuga causal". Los autores dicen que esto no es un problema para sesiones de entrenamiento cortas (como los 100 pasos que realizaron), pero no recomiendan usar esto para entrenar a un robot desde cero para un proyecto masivo de varios años todavía.
Inferencia (Leer la Historia): El robot puede aprender usando este nuevo método, pero cuando llega el momento de leer o escribir una historia, actualmente utiliza el método estándar y más lento para asegurar que sea compatible con el software existente. Los autores están trabajando en una versión de "grado de producción" que le permita al robot leer usando el nuevo método rápido también, pero eso aún no está listo.

La Conclusión

Este artículo demuestra que no necesitas una computadora gigante y supercara para entrenar a una IA en historias largas. Al utilizar un sistema de archivo inteligente (HGA) y un estilo de aprendizaje "por fragmentos", puedes meter una sesión de entrenamiento de 16,384 tokens en una tarjeta gráfica de 16 GB que antes solo podía manejar 2,048 tokens. El robot aprende igual de bien y, a medida que las historias se vuelven más largas, este nuevo método es más rápido que el anterior. Es un truco ingenioso que convierte un límite de memoria en un rompecabezas manejable, abriendo la puerta a una IA más inteligente que puede leer libros enteros sin quedarse sin espacio en el escritorio.

Resumen Técnico: Ajuste Fino de Contexto Largo con VRAM Limitada

1. Declaración del Problema

La adaptación de contexto largo en modelos de lenguaje extensos está frecuentemente constreñida no por el número de parámetros de los adaptadores entrenables, sino por los requisitos de memoria de los mecanismos de atención y los estados de retropropagación. Aunque los métodos de Ajuste Fino de Parámetros Eficientes (PEFT) como QLoRA reducen la memoria del modelo y del optimizador mediante la cuantización de los pesos congelados y el entrenamiento de adaptadores de bajo rango, estos siguen dependiendo de una atención densa. La atención densa requiere procesar el historial completo de tokens, lo que provoca que la huella de memoria crezca linealmente con la longitud de la secuencia. En consecuencia, el entrenamiento en hardware con VRAM limitada o de consumo (por ejemplo, GPUs de 16 GB), el entrenamiento denso suele fallar más allá de longitudes de contexto cortas (por ejemplo, 4,096 tokens), impidiendo el ajuste fino de modelos sobre documentos largos.

2. Metodología

El artículo propone un marco que combina la Atención Global Jerárquica (HGA) con la retropropagación por segmentos y el almacenamiento escalonado de Key-Value (KV) para desacoplar el conjunto de trabajo de la GPU del historial completo de entrenamiento.

2.1 Atención Global Jerárquica (HGA)

HGA reemplaza la atención estándar sin alterar las proyecciones preentrenadas Q/K/V/O. Opera mediante un mecanismo de enrutamiento de dos niveles:

Selección de Chunks (Fragmentos): El contexto se divide en chunks de tamaño fijo (por ejemplo, 64 tokens). Los vectores de resumen compactos de cada chunk cerrado permanecen residentes en la VRAM. El bloque de consulta actual califica estos resúmenes para seleccionar los chunks históricos más relevantes, junto con sumideros (sinks) fijos y ventanas locales.
Selección de Grupos: Los chunks seleccionados se dividen además en grupos más pequeños (por ejemplo, 8 tokens). Los resúmenes de grupo se almacenan en un búfer de VRAM más grande; los resúmenes faltantes se recuperan de la RAM del Host o del NVMe. El enrutador selecciona los mejores grupos dentro de los chunks elegidos.
Atención de Tokens Exactos: Solo los pares Key/Value (K/V) exactos de los grupos seleccionados se cargan en el conjunto de trabajo para el cómputo de la atención. Los vectores de resumen se utilizan únicamente para el enrutamiento, no como valores de atención.

Crucialmente, la selección del enrutamiento se ejecuta sin seguimiento de gradientes, mientras que la recolección de K/V y la atención de tokens exactos siguen siendo diferenciables. El método no añade pesos de enrutador aprendidos, asegurando que los gradientes actualicen las mismas proyecciones que en el entrenamiento denso.

2.2 Retropropagación por Segmentos y Almacenamiento Escalonado

Para gestionar la memoria durante la retropropagación, la secuencia de longitud $L$ se divide en segmentos de longitud $S$ .

Retropropagación a través del tiempo truncada (TBPTT): Cada segmento computa la pérdida y ejecuta la retropropagación inmediatamente. En el límite del segmento, el K/V histórico para ese segmento se desvincula del grafo de computación.
Jerarquía de Memoria Escalonada:
- VRAM: Contiene el modelo cuantizado, los adaptadores, el optimizador, el segmento diferenciable activo, los K/V exactos enrutados, todos los resúmenes de chunks y un caché de resúmenes de grupos.
- RAM del Host/NVMe: Almacena el K/V histórico desvinculado y los resúmenes de grupos no residentes.
- Escalabilidad: La huella de VRAM crece como $O(S) + O(B_{route})$ (tamaño del segmento + presupuesto de enrutamiento), mientras que el registro histórico externo crece como $O(L)$ . Esto permite el entrenamiento en secuencias que exceden con creces la capacidad de la VRAM, limitado únicamente por la RAM del sistema y el almacenamiento NVMe.

3. Contribuciones Clave

Contexto Entrenable Extendido: El método permite el ajuste fino en una GPU de 16 GB con una longitud de contexto de 16,384 tokens (y evaluación hasta 131,072 tokens), donde el entrenamiento denso falla a los 4,096 tokens en el mismo hardware.
Paridad de Calidad: En el punto de traslape (2,048 tokens), los adaptadores entrenados con HGA producen pesos que son prácticamente indistinguibles de los entrenados con atención densa cuando se evalúan bajo una lectura de atención densa estándar.
Eficiencia de Rendimiento (Throughput): Aunque HGA incurre en sobrecarga en contextos muy cortos, se vuelve marginalmente más rápido que el entrenamiento denso a los 2,048 tokens. Los autores proyectan que HGA será significamente más rápido a medida que la longitud del contexto aumente, ya que su trabajo de atención por token permanece aproximadamente constante mientras que el trabajo denso crece linealmente.
Inferencia Modular: El adaptador resultante puede utilizarse tanto con la atención densa original (para compatibilidad con marcos existentes) como con HGA para recuperación y generación.

4. Resultados Experimentales

Los experimentos se realizaron utilizando Qwen3-8B (4-bit NF4 QLoRA) en una Quadro RTX 5000 (16 GB) con el conjunto de datos PG19.

4.1 Viabilidad del Entrenamiento

Entrenamiento Denso: Falla (OOM - Out of Memory) a los 4,096 tokens.
Entrenamiento HGA: Entrena exitosamente hasta 32,768 tokens con un uso pico de VRAM de ~15.28 GB.
Densidad de Selección: A medida que el contexto crece, la fracción de tokens históricos atendidos disminuye (del 59.4% a 2K al 4.4% a 32K), pero el modelo permanece estable.

4.2 Eficiencia

1,024 tokens: HGA es ~20% más lento que el denso (225.54 vs 282.32 tokens/s) debido a la sobrecarga de enrutamiento que aún no se ha amortizado.
2,048 tokens: HGA se vuelve marginalmente más rápido (217.75 vs 207.02 tokens/s), marcando un cruce de rendimiento (throughput).

4.3 Métricas de Calidad

Perplejidad (PPL): A 2,048 tokens, el adaptador entrenado con HGA logra una PPL de 15.495 bajo lectura densa, comparado con 15.461 para el adaptador entrenado con denso (una diferencia de ~0.04 PPL). Ambos superan significativamente al modelo base (19.185 PPL).
Recuperación: En tareas de tipo RULER (passkey, multikey, multivalue), los adaptadores entrenados con HGA logran un 100% de recuperación en las tareas de passkey y multikey a 4K/8K, igualando a las líneas base entrenadas con denso.
Costo de Enrutamiento: Aumentar el número de chunks enrutados de 8 a 32 produce rendimientos decrecientes en la perplejidad, lo que sugiere que el presupuesto de enrutamiento por defecto está cerca de la saturación.

5. Limitaciones y Reivindicaciones

El artículo señala explícitamente las siguientes limitaciones:

Fuga Causal (Causal Leakage): En la implementación actual, compartir decisiones de enrutamiento entre tokens dentro de un chunk crea un canal lateral causal débil. Esto se vuelve medible después de 100–200 millones de tokens de entrenamiento, donde el modelo explota información indirecta sobre tokens futuros. Por consiguiente, el método se valida para el ajuste fino dentro de los horizontes probados, pero aún no es adecuado para el preentrenamiento desde cero. Se propone una variante estrictamente causal como trabajo futuro.
Alcance de la Evaluación: Las comparaciones de calidad a 8K–16K no pueden realizarse contra una línea base densa porque el entrenamiento denso falla en el hardware objetivo.
Preparación para Producción: La ruta de inferencia enrutada es actualmente una implementación de investigación. Se está desarrollando un motor de servicio de grado de producción (por ejemplo, integrado con vLLM o SGLang).

6. Significancia

El artículo demuestra que HGA, combinado con la retropropagación por segmentos y el almacenamiento escalonado, separa efectivamente el conjunto de trabajo de la GPU del historial completo de entrenamiento. Esto permite el ajuste fino de contexto largo en hardware con VRAM limitada sin sacrificar la calidad de los pesos aprendidos (según la lectura densa). El enfoque ofrece un camino práctico para escalar las longitudes de contexto más allá de los límites de la atención densa, con el potencial de mejorar el rendimiento en secuencias más largas.