💻 computer science

LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment

LoCA introduce un método de ajuste de dos etapas y de solo ida que amortiza la asignación de crédito global en una única calibración de un solo paso para ajustar adaptadores de bajo rango mediante soluciones de forma cerrada, eliminando así la necesidad de retropropagación repetida al tiempo que logra un menor uso de memoria y una inferencia más rápida en comparación con LoRA.

Autores originales: Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu

Publicado 2026-08-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un chef brillante y de clase mundial que ha pasado años perfeccionando el arte de la cocina. Este chef es tu "columna vertebral congelada": un modelo de IA masivo y preentrenado que sabe hablar, razonar y resolver problemas. Ahora, quieres enseñarle al chef una nueva habilidad específica, como hacer la lasaña vegana perfecta para un restaurante local. En los viejos tiempos del entrenamiento de IA, para enseñarle esta nueva habilidad, tendrías que arrastrar al chef completo de vuelta a la cocina, hacer que probara cada uno de los ingredientes, calcular exactamente cuánto se equivocó y luego obligarlo a reescribir todo su libro de recetas mentales desde cero. Es como pedirle al chef que vuelva a aprender a picar cebollas solo porque necesita añadir albahaca a una salsa. Este proceso es increíblemente pesado, requiere computadoras masivas y enormes cantidades de energía, lo que a menudo hace que sea imposible realizarlo en dispositivos más pequeños.

Pero, ¿qué pasaría si pudieras darle al chef un pequeño delantal especializado? Este delantal representa una actualización pequeña y eficiente que le ayuda a cocinar el nuevo plato sin tener que reescribir todo su cerebro. Esta es la idea detrás del "ajuste de parámetros eficiente" (parameter-efficient tuning). Sin embargo, incluso con este pequeño delantal, el método antiguo requería arrastrar al chef de vuelta a la cocina para un control completo hacia "atrás" (backward check) cada vez que intentaba un ingrediente nuevo. La gran pregunta que los científicos se han estado haciendo es: ¿Podemos saltarnos los pesados y repetitivos controles en la cocina? ¿Podemos simplemente darle al chef una instrucción única sobre cómo ajustarse y luego dejar que cocine solo hacia adelante (forward-only), usando únicamente su conocimiento existente y el nuevo delantal? Este es el desafío del entrenamiento "libre de backprop" (backprop-free), un método que podría permitirnos actualizar modelos de IA gigantes en dispositivos que no tienen supercomputadoras, como una computadora portátil estándar o incluso un teléfono.

Entra LoCA (Asignación de Crédito Local), un nuevo método de dos etapas introducido por los investigadores Linhan Xia, Rui Liu y su equipo. Piensa en LoCA como un ingenioso truco de "calibración de una sola vez". En lugar de hacer que el chef vuelva a probar todo el plato cada vez que comete un error, LoCA hace algo diferente. Primero, ejecuta una única y rápida pasada hacia atrás de "sondeo" (probe)—solo una prueba de sabor—para determinar un mapa simple. Este mapa es como una hoja de referencia que le dice al chef: "Si el plato final está demasiado salado, ajusta la sal en la segunda capa; si está demasiado insípido, retoca las hierbas en la cuarta capa". Este mapa es de bajo rango (low-rank), lo que significa que es una versión simplificada y comprimida de la matemática compleja, pero es lo suficientemente buena para cambios pequeños.

Una vez creado esta hoja de referencia (operador de retroalimentación), ocurre la verdadera magia. El chef nunca necesita volver a la cocina para un control completo hacia atrás otra vez. Para cada plato nuevo, el chef simplemente cocina hacia adelante, observa el resultado final y utiliza la hoja de referencia para calcular instantáneamente exactamente cómo retocar su pequeño delantal. La matemática para este ajuste es una solución de "forma cerrada" (closed-form), lo que equivale a tener una clave de respuestas precalculada en lugar de adivinar y probar. Los investigadores probaron esto en cinco tareas diferentes utilizando modelos Qwen2.5 que van desde 0.5 mil millones hasta 14 mil millones de parámetros. Encontraron que en 16 de las 25 comparaciones, LoCA produjo mejores resultados (menor entropía cruzada) que el método estándar, LoRA.

Los beneficios son enormes para los dispositivos con recursos limitados. El estudio midió que el uso de memoria pico de LoCA en una tarjeta gráfica era entre un 26% y un 29% menor que el de LoRA. Más importante aún, una vez realizada la calibración inicial, el uso de memoria en estado estacionario en una CPU estándar es entre un 36% y un 52% menor, y el tiempo que toma procesar cada pasada es entre un 43% y un 48% más rápido. El equipo incluso demostró que podían usar la misma configuración de la "hoja de referencia" a través de diferentes tamaños de modelo, desde el diminuto modelo de 0.5B hasta el masivo de 14B, e incluso en una familia de modelos diferente llamada SmolLM2.

Sin embargo, los autores tienen cuidado de no llamar a este método una "solución mágica" que lo resuelve todo. Señalan que este método funciona mejor para adaptaciones de "cambio pequeño": enseñar al modelo una habilidad nueva y específica sin cambiar su personalidad fundamental. Si intentas enseñarle al chef una cocina completamente nueva que requiere una revisión masiva de su cerebro, la hoja de referencia podría quedar desactualizada y necesitarías ejecutar la calibración nuevamente. Además, aunque LoCA es más rápido y ligero, todavía requiere esa pasada de sondeo hacia atrás inicial, por lo que no es enteramente libre de computación hacia atrás; simplemente traslada ese trabajo pesado a un único paso inicial. Los investigadores sugieren que para los dispositivos que no pueden realizar cálculos hacia atrás en absoluto, una computadora potente podría realizar la calibración una vez y enviar la hoja de referencia, permitiendo que el dispositivo más pequeño realice el resto del ajuste utilizando solo pasadas hacia adelante. En resumen, LoCA sugiere una nueva forma práctica de actualizar modelos de IA gigantes mediante la amortización del trabajo pesado en una sola calibración, haciendo posible el ajuste de estos modelos en hardware que anteriormente era demasiado débil para manejar la tarea.

Resumen Técnico: LoCA – Asignación de Crédito Local sin Retropropagación mediante Post-entrenamiento

1. Planteamiento del Problema

Las técnicas de post-entrenamiento, como el ajuste de instrucciones y la adaptación de dominio, suelen requerir una retropropagación (backpropagation) repetida de extremo a extremo a través de un modelo de base congelado. Incluso cuando se utilizan métodos eficientes en parámetros como LoRA (Adaptación de Bajo Rango), el proceso requiere almacenar o recomputar activaciones, propagar gradientes y mantener estados del optimizador. Esto resulta en un consumo de memoria hasta 12 veces superior al de la inferencia y aumenta significativamente los costes computacionales, lo que hace que tales métodos sean impracticables en entornos con recursos limitados o dispositivos que carecen de soporte para el cálculo de retropropagación.

Aunque existen métodos de solo paso hacia adelante (por ejemplo, MeZO) y enfoques de aprendizaje local, estos suelen sufrir de una alta varianza del estimador, dependencia de perturbaciones estocásticas o objetivos que son más adecuados para el aprendizaje de representaciones que para el ajuste fino (fine-tuning). El artículo aborda la siguiente pregunta: ¿Puede la cadena de retropropagación repetida requerida para la adaptación ser reemplazada por una calibración de una sola vez, permitiendo que el ajuste posterior proceda mediante la ejecución de solo paso hacia adelante?

2. Metodología: LoCA

Los autores proponen Asignación de Crédito Local (LoCA, por sus siglas en inglés), un método de dos etapas diseñado para la adaptación de cambios pequeños en modelos pre-entrenados. LoCA desacopla la estimación de las señales de crédito del ajuste de los parámetros del adaptador.

Etapa 1: Calibración (Sonda de una sola vez)

Antes del bucle principal de ajuste, LoCA realiza un único paso hacia atrás (backward pass) de sonda a través del modelo de base congelado.

Objetivo: Ajustar un operador de retroalimentación de bajo rango, $F_\ell$ , para cada bloque transformador $\ell$ .
Mecanismo: El operador mapea el error de predicción de la última capa ( $e$ ) hacia una estimación del gradiente del estado oculto local ( $g_\ell$ ).
Implementación: Utilizando muestras del paso hacia atrás, el método resuelve un problema de mínimos cuadrados regularizados para encontrar $\hat{F}_\ell$ . Este mapa se trunca mediante la Descomposición en Valores Singulares (SVD) a una aproximación de bajo rango (rango $k=8$ ).
Resultado: Un conjunto fijo de matrices $\{F_\ell\}$ que aproximan la asignación de crédito sin requerir más retropropagación.

Etapa 2: Adaptación de Solo Paso hacia Adelante

Después de la calibración, el proceso de ajuste procede sin ningún paso hacia atrás a través del modelo de base.

Objetivos Locales: Para cada bloque, se construye un objetivo de regresión $\tau_\ell$ utilizando el estado oculto hacia adelante $h_\ell$ , un tamaño de paso $\eta$ y el operador de retroalimentación calibrado:
$\tau_\ell = h_\ell - \eta F_\ell e$
Aquí, $e$ es el error de la capa superior derivado de la cabeza congelada.
Actualizaciones de Forma Cerrada: Cada adaptador de bajo rango ( $B_\ell$ ) se ajusta resolviendo un problema local de regresión de Ridge:
$\min_{B_\ell} \sum_n \| B_\ell p^{(n)}_\ell - \rho^{(n)}_\ell \|^2 + \lambda \|B_\ell\|^2_F$
donde $\rho_\ell$ es el objetivo residual y $p_\ell$ es la entrada proyectada. Esto produce una solución única de forma cerrada para $B_\ell$ que no requiere optimizadores de gradiente, programas de tasa de aprendizaje o estados de optimizador.
Iteración: El proceso se repite para $T$ pasos externos. En cada paso, un paso hacia adelante actualiza los estados ocultos y los errores, los cuales, a su vez, actualizan los objetivos locales para el siguiente cálculo de forma cerrada.

Normalización de Escala

Para asegurar que el método se generalice a través de diferentes tamaños de modelo (0.5B a 14B), el tamaño de paso $\eta$ se normaliza en relación con la escala del flujo residual ( $RMS(h_{\ell-1})$ ). Esto permite que un conjunto de hiperparámetros candidatos compartido pueda ser reutilizado en diferentes familias de modelos (Qwen2.5 y SmolLM2).

3. Contribuciones Clave

Crédito Local Calibrado: LoCA reutiliza operadores de retroalimentación derivados de un único paso de retropropagación de sonda para generar objetivos locales para las etapas posteriores de ajuste de solo paso hacia adelante.
Actualizaciones Locales de Forma Cerrada: Al formular el ajuste del adaptador como un problema de regresión de Ridge con objetivos locales fijos, LoCA elimina la necesidad de un descenso de gradiente iterativo dentro del bucle de ajuste.
Eficiencia Empírica: El método demuestra una reducción en la sobrecarga de memoria y tiempo en comparación con los baselines estándar de LoRA y MeZO, particularmente en la memoria de CPU en estado estacionario y el tiempo de ejecución por paso.

4. Resultados Experimentales

Los autores evaluaron LoCA en cinco benchmarks discriminativos (SST-2, BoolQ, ARC-Easy, OpenBookQA, HellaSwag) utilizando modelos Qwen2.5 que van desde 0.5B hasta 14B de parámetros, y SmolLM2-1.7B.

Rendimiento: En 16 de las 25 comparaciones de tarea-escala reportadas, LoCA logró una entropía cruzada (CE) de evaluación más baja que la ejecución correspondiente de LoRA. Notablemente, en BoolQ para modelos de 7B y 14B, LoCA mantuvo una mayor precisión de clasificación mientras que la precisión de LoRA cayó significativamente a pesar de las mejoras en la CE, lo que sugiere que LoCA puede evitar ciertos modos de sobreajuste.
Eficiencia de Memoria:
- Pico de GPU: Incluyendo la fase de calibración, el uso de memoria pico de GPU de LoCA fue un 26–29% menor que el de LoRA.
- Estado Estacionario de CPU: Tras la calibración, el uso de memoria de CPU de LoCA fue un 36–52% menor que el de LoRA.
- Viabilidad: En un dispositivo de 32 GB, LoCA completó una tarea donde LoRA falló debido a errores de falta de memoria (out-of-memory).
Velocidad: Tras la calibración, el tiempo por paso de LoCA en CPU fue un 43–48% menor que el de LoRA.
Reutilización de Hiperparámetros: Un conjunto de candidatos escalado y normalizado para el tamaño de paso $\eta$ fue reutilizado con éxito en todos los tamaños de Qwen2.5 probados y en SmolLM2, basándose en la selección de la CE en datos no utilizados (held-out).

5. Significancia y Reclamaciones

El artículo posiciona a LoCA como una solución práctica para escenarios donde la retropropagación repetida es computacionalmente prohibitiva o inviable por hardware (por ejemplo, dispositivos dedicados únicamente a la inferencia).

Coste Amortizado: LoCA amortiza el coste de la asignación de crédito global en un único paso de calibración. Una vez calibrado, el dispositivo que realiza la adaptación requiere únicamente la ejecución hacia adelante y resoluciones lineales locales.
Diferente Ruta de Adaptación: Los autores señalan que LoCA no es un mero aproximador de LoRA; sigue una ruta de optimización diferente definida por objetivos de Ridge locales y selección de datos no utilizados. Esto puede conducir a diferentes comportamientos de generalización, como una mejor preservación de la precisión de clasificación en tareas específicas.
Limitaciones y Alcance: Los autores son modestos en sus afirmaciones, declarando que:
- Los resultados son principalmente descriptivos (basados en ejecuciones únicas) y no prueban una superioridad general sobre LoRA.
- El método está limitado a la adaptación de cambios pequeños. Los mapas de retroalimentación fijos pueden degradarse si el modelo cambia significativamente respecto al estado de calibración o para tareas que requieren grandes cambios de distribución (por ejemplo, generación de texto largo).
- LoCA no es enteramente "libre de retropropagación"; requiere un host capaz de entrenamiento para la calibración inicial. Sin embargo, separa eficazmente el trabajo pesado (calibración) del despliegue (ajuste de solo paso hacia adelante).

En conclusión, LoCA ofrece un compromiso que permite un post-entrenamiento eficiente y con recursos limitados al reemplazar la retropropagación iterativa con una calibración de una sola vez y actualizaciones locales de forma cerrada posteriores.