Resumen Técnico: CRAFT – Adaptación Basada en Intervención Consciente del Olvido para el Aprendizaje Continuo

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) sufren olvido catastrófico cuando se adaptan a nuevas tareas mediante ajuste fino. Esto ocurre porque el ajuste fino estándar actualiza los mismos parámetros que codifican el conocimiento previo, creando un compromiso inherente entre plasticidad (aprender nuevas tareas) y estabilidad (retener las antiguas). Las soluciones existentes, como la regularización (por ejemplo, EWC), los mecanismos de reproducción o las restricciones arquitectónicas como los grupos de LoRA, operan dentro del espacio de parámetros, donde surge el conflicto. Estos métodos a menudo requieren mecanismos de enrutamiento aprendidos (que en sí mismos son susceptibles al olvido) o referencias fijas que no logran capturar el conocimiento compartido en evolución.

El artículo postula que el aprendizaje continuo debe reformularse no como un problema de competencia de parámetros, sino como la organización y el control de intervenciones a nivel de representación. Al mantener los pesos del modelo base congelados y editar las representaciones ocultas en un subespacio de bajo rango, se elimina la fuente de interferencia a nivel de pesos. Sin embargo, persisten desafíos en el aprendizaje basado en representaciones: cómo compartir capacidad entre tareas similares sin forzar a tareas no relacionadas a competir, cómo enrutar tareas sin una puerta aprendida y cómo controlar el olvido durante la adaptación sin limitar la eficiencia.

2. Metodología: CRAFT

CRAFT (Ajuste Fino Anclado a Representación Continuo) es un marco que realiza el enrutamiento, la adaptación y la fusión completamente en el espacio de representaciones sin modificar los pesos del modelo. Aprovecha LoReFT (ReFT en Subespacio Lineal de Bajo Rango), que edita los estados ocultos $h^{(l)}$ en posiciones específicas de tokens utilizando una función de intervención de bajo rango $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$.

El marco opera en tres etapas unificadas impulsadas por una única señal de divergencia de Kullback–Leibler (KL):

A. Arquitectura de Intervención

CRAFT divide las intervenciones en dos flujos de prompt dentro del flujo residual:

1. flujo-f: Aplicado a los primeros $t_{pos}$ tokens (prefijo), codificando instrucciones.
2. flujo-l: Aplicado a los últimos $t_{pos}$ tokens (sufijo), donde se compromete la salida.
   Las tareas dentro de un grupo de tareas similares $S_k$ comparten un estado de intervención común $\phi_{S_k}$, mientras que las tareas en diferentes grupos permanecen aisladas.

B. Enrutamiento Determinista (Sin Puerta Aprendida)

En lugar de un enrutador entrenable, CRAFT utiliza la divergencia de la distribución de salida para asignar tareas:

1. Calentamiento: Una nueva tarea $\tau_t$ experimenta un breve calentamiento ($S_{wu}$ pasos) desde una semilla aleatoria compartida para producir una intervención provisional $\tilde{\phi}^{(t)}$.
2. Cálculo de Distancia: La distribución de salida $\pi_{\tilde{\phi}^{(t)}}$ se compara con las distribuciones almacenadas de los grupos existentes $S_k$ utilizando una distancia KL simétrica normalizada:
   $$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$$
   donde $D_K$ es la distancia de la nueva tarea desde la línea base, $D_{G_k}$ es la distancia del grupo desde la línea base, y $D_{KG_k}$ es la distancia entre la tarea y el grupo.
3. Asignación: Si $d(t, k) \le \delta$, la tarea se une al grupo $S_k$. De lo contrario, se siembra un nuevo grupo. Esto no requiere parámetros de enrutamiento entrenables ni identificadores de tareas.

C. Adaptación y Fusión Regularizadas por KL

Una vez asignada a un grupo $S_k$:

1. Anclaje: El estado actual del grupo $\phi_{S_k}$ se congela como un ancla $\phi_{anchor}$.
2. Entrenamiento: La intervención de la tarea $\phi^{(t)}$ se entrena en la nueva tarea con una función de pérdida:
   $$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$$
   El término KL actúa como una señal unificada que:
   • Regulariza el entrenamiento para evitar la deriva del conocimiento previo del grupo.
   • Predice el olvido: Basado en leyes empíricas (Shenfeld et al., 2025), una alta divergencia KL se correlaciona con el olvido. Si la KL media de la época inicial supera un umbral $\eta$, la tarea se expulsa a un nuevo grupo.
3. Fusión: Al converger, la $\phi^{(t)}$ entrenada sobrescribe el estado compartido $\phi_{S_k}$.

3. Contribuciones Clave

1. Aprendizaje Continuo a Nivel de Intervención: CRAFT es el primer marco que realiza conjuntamente el enrutamiento, la adaptación y la fusión completamente en el espacio de representaciones sin modificar los pesos del modelo.
2. Enrutamiento Determinista sin Puertas Aprendidas: Elimina la necesidad de parámetros de enrutamiento entrenables utilizando un breve calentamiento y la distancia KL de la distribución de salida para asignar tareas, haciendo que el enrutador sea robusto al olvido.
3. Control Unificado del Olvido: Introduce una única señal basada en KL que regula simultáneamente la deriva del entrenamiento, predice el olvido y gobierna la integración de nuevo conocimiento, reemplazando heurísticas disjuntas.
4. Validación Empírica: El enfoque se valida en tres LLM distintos (Llama-3.2-1B, Gemma-2B, Llama-2-7B) y diversos puntos de referencia (TRACE, Math-LLM, secuencias O-LoRA).

4. Resultados Experimentales

CRAFT se evaluó frente a bases sólidas que incluyen SeqLoRA, GEM, EWC, L2P, DualPrompt, HiDeLoRA, O-LoRA, TreeLoRA y métodos recientes como SAPT y TASL.

• Ganancias de Rendimiento: CRAFT mejora el Rendimiento General (OP) en hasta un 8.03% (en Llama-3.2-1B) en comparación con los mejores métodos del estado del arte.
• Reducción del Olvido: Reduce la tasa de olvido de la Transferencia Hacia Atrás (BWT) en hasta un 6.49%. En la secuencia de 15 tareas con Llama-3.2-1B, CRAFT logró un BWT del 2.60% en comparación con el 6.41% de TreeLoRA y el 10.99% de O-LoRA.
• Eficiencia de Parámetros: CRAFT utiliza 3.75 veces menos parámetros de intervención entrenables que las bases sólidas basadas en LoRA. Por ejemplo, en Llama-3.2-1B con 15 tareas, CRAFT requirió solo 4.20M de parámetros frente a 15.73M para LoRA estándar.
• Robustez: El método permanece robusto frente a diferentes ordenamientos de tareas y es insensible a variaciones en el umbral de enrutamiento $\delta$ y la longitud de calentamiento $S_{wu}$ dentro de una amplia meseta.
• Invarianza Intergrupo: El análisis teórico y empírico confirma que entrenar una tarea en un clúster no afecta la salida de inferencia de las tareas en otros clústeres, ya que el alcance del optimizador solo toca la intervención del grupo específico.

5. Significado y Afirmaciones

El artículo afirma que controlar la adaptación en el espacio de representaciones, guiado por la divergencia en el espacio de salida, proporciona un enfoque escalable y fundamentado para el aprendizaje continuo.

• Reformulación del Compromiso: Al eliminar las actualizaciones de pesos, CRAFT desplaza el compromiso estabilidad-plasticidad de una lucha de tracción en el espacio de parámetros a un problema de organizar ediciones de representaciones.
• Control Fundamentado del Olvido: El uso de la divergencia KL como señal unificada permite que el sistema mida y controle directamente el olvido en lugar de depender de proxies.
• Escalabilidad: El marco escala con el número de grupos de tareas descubiertos ($K$) en lugar del número total de tareas ($T$), ofreciendo una solución más eficiente para secuencias largas de tareas.
• Limitaciones: Los autores reconocen que el mecanismo de enrutamiento podría tener dificultades con tareas cercanas al techo o secuencias donde las tareas son casi duplicados pero se presentan secuencialmente (por ejemplo, dos mitades del mismo conjunto de datos), ya que la distancia KL simétrica podría saturarse. Sugieren que el trabajo futuro podría involucrar sembrar calentamientos desde clústeres existentes para manejar tales casos.

En esencia, CRAFT demuestra que el olvido catastrófico puede controlarse efectivamente a nivel de salidas del modelo mediante la edición estructurada de representaciones, sin necesidad de restringir o modificar los pesos base subyacentes.