Grow, Don't Overwrite: Fine-tuning Without Forgetting

El artículo presenta un método de expansión funcional que replica parámetros preentrenados con una corrección de escala para eliminar el olvido catastrófico, permitiendo un ajuste fino que iguala el rendimiento de la sintonización completa en nuevas tareas sin degradar las capacidades originales y con un menor costo computacional mediante la expansión selectiva de capas.

Lo esencial

¡Claro que sí! Imagina que tienes un chef experto (un modelo de inteligencia artificial) que ha pasado años aprendiendo a cocinar de todo: desde sopas caseras hasta postres complejos. Este chef es genial, pero si le pides que aprenda a hacer sushi (una nueva tarea), el problema es que, al intentar aprenderlo, podría empezar a olvidar cómo hacer la sopa o incluso cómo cortar las verduras. A esto los científicos le llaman "olvido catastrófico".

La mayoría de los métodos actuales para enseñar algo nuevo a un chef son como obligarlo a reescribir todo su libro de recetas. Si escribe mucho sobre el sushi, borra las páginas de la sopa. O bien, le ponen un "candado" al libro para que no olvide la sopa, pero entonces el sushi queda mal hecho. Es un dilema: o aprendes lo nuevo o mantienes lo viejo, pero no las dos cosas a la vez.

Este paper presenta una solución brillante llamada "Crecer, no sobrescribir". Aquí te explico cómo funciona con analogías sencillas:

1. La Idea Principal: Construir un anexo, no reformar la casa

En lugar de borrar las recetas viejas para escribir las nuevas, la propuesta es construir un anexo a la cocina.

• El problema: Los métodos antiguos intentan cambiar los ingredientes originales (los parámetros del modelo) para adaptarse a la nueva tarea.
• La solución: Ellos toman la cocina existente y le añaden una nueva sección idéntica justo al lado. Pero hay un truco mágico: al conectar esta nueva sección, ajustan las tuberías de tal manera que, al principio, la comida que sale es exactamente la misma que antes. Nadie nota la diferencia. El chef sigue cocinando igual de bien su sopa.

2. El Truco Matemático (La "Fórmula Mágica")

Imagina que la cocina tiene dos pasos para hacer una receta:

1. Subir: Tomar los ingredientes y mezclarlos en un tazón gigante (esto es la capa "up-projection").
2. Bajar: Servir la mezcla en un plato final (esto es la capa "down-projection").

El método hace lo siguiente:

• Duplica el tazón gigante: Ahora tienes dos tazones idénticos en lugar de uno.
• Ajusta la cuchara de servir: Como ahora tienes el doble de mezcla, divides la cantidad que sirves en el plato final por la mitad en cada uno de los dos tazones.

Resultado: Si sumas lo que sale de los dos tazones, ¡obtienes exactamente la misma cantidad de comida que antes! La función se mantiene intacta. El modelo sigue siendo "el mismo" matemáticamente al inicio, pero ahora tiene el doble de espacio para aprender cosas nuevas sin tocar lo que ya sabía.

3. ¿Cómo aprende lo nuevo?

Una vez que el anexo está construido y conectado perfectamente:

• Opción A (G-Freeze): Congelamos la cocina original (la receta de la sopa) y dejamos que el chef aprenda el sushi solo en el nuevo anexo. Así, la sopa nunca se arruina.
• Opción B (G-Train): Si la tarea es muy difícil (como matemáticas complejas), permitimos que el chef ajuste un poco más la mezcla en el anexo, pero seguimos protegiendo la parte final de la receta para no perder la esencia.

4. El Beneficio Sorprendente: No necesitas reformar toda la casa

Lo más increíble es que no necesitas construir un anexo para toda la cocina.

• Los autores descubrieron que, para aprender una nueva habilidad, a veces solo necesitas expandir unas pocas habitaciones (capas específicas del modelo).
• Si eliges las habitaciones correctas (las que más se usan para esa tarea), puedes lograr el mismo resultado que si hubieras reformado toda la casa, pero gastando la mitad de los recursos. Es como si solo necesitaras añadir un pequeño mostrador nuevo en lugar de construir un restaurante entero.

En resumen

Este paper nos dice que para enseñar algo nuevo a una Inteligencia Artificial, no debemos obligarla a olvidar su pasado ni a luchar contra sus propias limitaciones. En su lugar, le damos más espacio (expandimos su capacidad) de una manera inteligente que garantiza que lo que ya sabe se preserve perfectamente.

• Antes: "O aprendes sushi o mantienes la sopa."
• Ahora: "Añadimos una cocina nueva al lado. La sopa sigue igual de rica, y ahora también hacemos sushi perfecto."

Es una forma de hacer que las máquinas sean más flexibles y menos propensas a olvidar quién son, permitiéndoles crecer sin perder su esencia.

Resumen técnico

Resumen Técnico: Grow, Don't Overwrite

1. El Problema: El Olvido Catastrófico

El ajuste fino (fine-tuning) de modelos preentrenados grandes (LLMs) en tareas especializadas a menudo conduce al olvido catastrófico. Este fenómeno ocurre cuando la optimización para una nueva tarea sobrescribe los parámetros del modelo, degradando drásticamente sus capacidades fundamentales adquiridas durante el preentrenamiento (por ejemplo, un modelo especializado en física cuántica podría perder su capacidad para realizar aritmética básica).

Las soluciones existentes presentan un compromiso (trade-off) insatisfactorio:

• Regularización: Intenta penalizar los cambios en los parámetros, pero impone una restricción de capacidad fija donde aprender lo nuevo implica olvidar lo viejo.
• Crecimiento de Capacidad (Network Growing): Añade nuevos parámetros y congela los antiguos. Sin embargo, los métodos actuales fallan en equilibrar la estabilidad y la eficiencia: o bien inician los nuevos módulos con pesos aleatorios (ignorando el conocimiento preexistente) o reutilizan pesos pero alteran la función de salida inicial, rompiendo la estabilidad.

2. Metodología: Expansión Funcionalmente Preservadora

Los autores proponen una técnica novedosa de expansión de red que preserva la función del modelo original al momento de la inicialización, permitiendo el aprendizaje de nuevas habilidades sin destruir las antiguas.

Mecanismo Central:
El método se aplica específicamente a los submódulos MLP (Perceptrón Multicapa) dentro de las capas de los transformadores. El proceso consta de dos pasos matemáticos precisos para duplicar la dimensión interna ($p$) de la capa:

1. Expansión de la Proyección Ascendente (Up-projection):
   Se duplica la matriz de pesos $W^{(1)}_n$ (que mapea la entrada a la dimensión oculta interna) concatenándola horizontalmente consigo misma:
   $$\hat{W}^{(1)}_n = [W^{(1)}_n \quad W^{(1)}_n]$$
   Esto duplica la capacidad de representación interna.

2. Corrección de Escala en la Proyección Descendente (Down-projection):
   Para garantizar que la salida del módulo MLP permanezca idéntica a la del modelo original (inicialmente), se duplica la matriz de pesos $W^{(2)}_n$ (que mapea de vuelta a la dimensión del modelo) verticalmente, pero escalando cada copia por un factor de $1/2$:
   $$\hat{W}^{(2)}_n = \begin{bmatrix} \frac{1}{2}W^{(2)}_n \\ \frac{1}{2}W^{(2)}_n \end{bmatrix}$$

Prueba de Preservación Funcional:
La salida del MLP expandido es:
$$\text{ReLU}(X \hat{W}^{(1)}_n) \times \hat{W}^{(2)}_n = [\text{ReLU}(X W^{(1)}_n) \quad \text{ReLU}(X W^{(1)}_n)] \times \begin{bmatrix} \frac{1}{2}W^{(2)}_n \\ \frac{1}{2}W^{(2)}_n \end{bmatrix}$$
$$= \frac{1}{2} Y W^{(2)}_n + \frac{1}{2} Y W^{(2)}_n = Y W^{(2)}_n$$
Donde $Y$ es la salida original. El resultado es matemáticamente idéntico al modelo original, garantizando estabilidad inmediata.

Estrategias de Ajuste Fino:

• G-Freeze (Estrategia Predeterminada): Se congelan todos los parámetros originales. Solo se entrenan los nuevos pesos añadidos (tanto en la proyección ascendente como en la descendente escalada).
• G-Train: Para tareas cognitivamente complejas (como razonamiento matemático), se entrena toda la matriz expandida de la proyección ascendente, manteniendo congelada la proyección descendente y los parámetros originales. Esto se basa en la hipótesis de que el conocimiento factual reside en la capa descendente, la cual debe protegerse.

3. Contribuciones Clave

1. Resolución del Compromio Plasticidad-Estabilidad: El método elimina el trade-off entre aprender nuevas habilidades y retener las antiguas, logrando un olvido catastrófico cercano a cero.
2. Reutilización Eficiente del Conocimiento: A diferencia de los métodos que inician con ceros, este método reutiliza los pesos preentrenados, permitiendo un aprendizaje más eficiente.
3. Eficiencia Modular: Se demuestra que expandir solo un subconjunto selecto de capas (aprox. 10 capas en lugar de todas) es suficiente para igualar el rendimiento del ajuste fino completo, reduciendo drásticamente el costo computacional.
4. Ahorro de Parámetros: Incluso al expandir todas las capas, solo se entrenan aproximadamente el 60% de los parámetros originales (en comparación con el 100% en el ajuste fino estándar), ya que los pesos originales se congelan.

4. Resultados Experimentales

Los experimentos se realizaron en modelos Gemma-1B y Gemma-4B sobre diversas tareas: traducción, entrelazamiento científico, preguntas de ciencia y razonamiento matemático (MathQA).

• Rendimiento en Tareas Nuevas: El método iguala o supera el rendimiento del ajuste fino estándar (SFT) en todas las tareas de adaptación.
• Retención de Conocimiento: Mientras que el SFT estándar sufre un colapso en el rendimiento en tareas de dominio original (especialmente en traducción y entrelazamiento), el método propuesto mantiene el rendimiento original casi intacto.
• Escalabilidad: El rendimiento en tareas nuevas escala positivamente con el número de capas expandidas. Las tareas complejas (como MathQA) requieren expandir más capas debido a que requieren actualizaciones de rango alto en casi todas las capas del modelo.
• Estabilidad de Representaciones: Mediante el uso de Vectores de Función (Function Vectors), se demostró que el método preserva las representaciones latentes originales del modelo. Mientras que el SFT reduce la similitud de los vectores de función a 0.28, el método propuesto mantiene una similitud de 0.95, indicando que los circuitos neuronales originales no se han alterado.

5. Significado e Impacto

Este trabajo presenta un avance fundamental en el aprendizaje continuo y la adaptación de modelos grandes.

• Paradigma de "Crecer, no Sobrescribir": Cambia la estrategia de ajustar los pesos existentes (que causa interferencia) a expandir la arquitectura de manera controlada.
• Viabilidad Práctica: Al permitir el ajuste fino sin olvidar, habilita la creación de modelos expertos especializados que no pierden su competencia general, algo crucial para aplicaciones en medicina, ciencia y educación.
• Eficiencia: La capacidad de lograr resultados de ajuste fino completo entrenando solo un subconjunto de capas y parámetros reduce significativamente los costos de computación y almacenamiento, haciendo viable la adaptación de modelos masivos en entornos con recursos limitados.

En conclusión, la técnica propuesta cierra la brecha entre la estabilidad (retención de conocimiento) y la plasticidad (aprendizaje de nuevas tareas), ofreciendo una solución matemáticamente sólida y empíricamente robusta para el olvido catastrófico en modelos de lenguaje grandes.