Resumen Técnico: La Trampa del Ajuste Fino en el Razonamiento Matemático de Menos de 1B

Planteamiento del Problema

El despliegue de Modelos de Lenguaje Pequeños (SLM) en dispositivos de borde requiere estrategias de adaptación eficientes que no degraden las capacidades generales. Sin embargo, este artículo identifica una vulnerabilidad crítica en modelos con menos de 300 millones de parámetros: el Ajuste Fino Completo (Full FT) induce a menudo una "transferencia negativa", dañando activamente el rendimiento y reduciendo la precisión por debajo de los niveles de referencia de zero-shot. Este fenómeno, denominado la "Trampa del Ajuste Fino", sugiere que para los modelos sub-1B, el ajuste fino estándar no es simplemente una elección de eficiencia, sino un requisito de estabilidad. Los autores argumentan que los SLM operan cerca de la "saturación de capacidad", donde el conocimiento preentrenado denso no deja parámetros redundantes para absorber nuevos gradientes específicos de la tarea sin sobrescribir las capacidades lingüísticas y de razonamiento fundamentales.

Metodología

El estudio emplea un marco empírico sistemático para evaluar cinco arquitecturas de solo decodificador en un rango de parámetros de 135M a 2B.

• Selección de Modelos: La evaluación abarca tres regímenes:
  • Régimen Tiny (<500M): SmolLM2-135M y SmolLM2-360M.
  • Régimen de Transición (~500M): Qwen2.5-0.5B (altamente alineado).
  • Régimen de Referencia (>1B): OLMo-1B y Gemma-2B.
• Tareas: El enfoque principal es el razonamiento matemático, utilizando un subconjunto estratificado de 10,000 ejemplos de OrcaMath para el entrenamiento. La evaluación cubre GSM8K (razonamiento en distribución), SVAMP (robustez fuera de distribución) y MATH (problemas de alta dificultad).
• Estrategias de Ajuste Fino: El estudio compara:
  • Full FT: Actualización de todos los parámetros.
  • PEFT (Ajuste Fino Eficiente en Parámetros): Específicamente LoRA (Adaptación de Bajo Rango) y DoRA (LoRA de Pesos Descompuestos).
• Protocolo de Entrenamiento: Los experimentos se realizaron en nodos H100. Los autores utilizaron hiperparámetros distintos para la estabilidad, empleando una tasa de aprendizaje más alta para PEFT ($2 \times 10^{-4}$) en comparación con Full FT ($2 \times 10^{-5}$) para dar cuenta de la inicialización en cero de los adaptadores frente a la necesidad de preservar los priors en Full FT.
• Análisis: Los autores analizaron la dinámica de entrenamiento mediante normas de gradiente, trayectorias de pérdida y análisis espectral de la Hessiana para comprender la estabilidad de la optimización.

Contribuciones Clave

1. Identificación de un Umbral de Estabilidad: El artículo establece una "Transición de Fase" aproximadamente en los 500M de parámetros. Por debajo de este umbral, el Full FT falla consistentemente, resultando a menudo en un olvido catastrófico. Por encima de 1B de parámetros, el Full FT recupera su eficacia a medida que los modelos poseen suficiente capacidad de "holgura" (slack).
2. Formalización Teórica de la Inestabilidad: Los autores modelan el fallo del Full FT en modelos diminutos a través de tres lentes:
   • Dimensiones Intrusas: Las actualizaciones no restringidas de Full FT atraviesan subespacios ortogonales ($W_{pre}^\perp$) caracterizados por direcciones de alta curvatura (grandes autovalores de la Hessiana), lo que conduce a la inestabilidad. PEFT restringe las actualizaciones al manifold preentrenado.
   • Condicionamiento Arquitectónico: Los SLM modernos suelen utilizar arquitecturas "Profundas y Delgadas" (Deep and Thin). Esto aumenta exponencialmente el número de condición del Jacobiano de entrada-salida, causando una varianza extrema de gradientes que el Full FT no puede equilibrar, mientras que LoRA desacopla las actualizaciones para mitigarlo.
   • Acotación del Olvido: Los métodos PEFT delimitan estrictamente el desplazamiento desde los pesos preentrenados ($\delta_{PEFT}$), asegurando que el modelo permanezca dentro de una "región de confianza", a diferencia del desplazamiento no acotado de Full FT.
3. Dinámicas Comparativas de PEFT: El estudio proporciona un análisis granular que muestra que, si bien tanto LoRA como DoRA estabilizan el entrenamiento, sus fortalezas difieren. DoRA (que desacopla magnitud y dirección) destaca en tareas de razonamiento complejo (GSM8K), mientras que LoRA domina en el emparejamiento de patrones (OrcaMath).
4. Compromisos de Hardware y Económicos: El artículo redefine el valor de PEFT para los SLM. En hardware de alto nivel (H100), el Full FT es en realidad 2 veces más rápido en tiempo de ejecución debido a los núcleos de matrices densas optimizados, mientras que el PEFT incurre en una sobrecarga de núcleos (kernel overhead). Sin embargo, PEFT es esencial para la accesibilidad, reduciendo los requisitos de VRAM de ~16GB (Full FT) a <4GB, lo que permite el entrenamiento en hardware de consumo (ej. RTX 4090) donde el Full FT excedería los límites de memoria.

Resultados Empíricos

• El Acantilado de Optimización: Para el modelo de 135M (SmolLM2), la pérdida de Full FT se estancó tempranamente en ~0.82 con normas de gradiente inestables, mientras que los métodos PEFT convergieron a ~0.74. La precisión de Full FT en OrcaMath cayó al 4.80% (por debajo de la línea base zero-shot del 6.00%).
• Colapso de Alineación: En el modelo Qwen2.5-0.5B altamente alineado, el Full FT logró puntuaciones altas en la distribución, pero resultó en una precisión del 0.00% en el benchmark de robustez SVAMP. Esto indica que el Full FT sobrescribió los vectores de seguridad y robustez con la estrecha distribución de la tarea. Los métodos PEFT preservaron estas capacidades.
• Fallos Cualitativos: El Full FT en modelos diminutos condujo a "bucles de repetición" (pasos de cálculo infinitos) y "pérdida de lógica aritmética" (pasos intermedios matemáticos sin sentido), lo que sugiere daños en las cabezas de atención responsables de la estructura del discurso.
• Éxito en el Régimen de Referencia: Para modelos >1B (OLMo, Gemma), el Full FT superó al PEFT (ej. Gemma-2B Full FT: 19.8% GSM8K vs. LoRA: 18.5%), confirmando que la capacidad suficiente permite actualizaciones de rango completo sin colapso.

Significado y Recomendaciones

El artículo concluye que el "Compromiso entre Estabilidad y Capacidad" dicta un límite operativo estricto para los SLM:

1. La Zona de Peligro <500M: Para modelos como SmolLM2, el Full FT es activamente perjudicial. Los profesionales deben recurrir por defecto al PEFT para evitar el colapso del razonamiento.
2. El Mandato de Alineación: Para modelos alineados (ej. Qwen2.5), el Full FT destruye la robustez y la alineación de seguridad. El PEFT es obligatorio para preservar el "subespacio de seguridad" de los pesos preentrenados, actuando como un "entorno de pruebas seguro" (safety sandbox).
3. El Retorno a la Escala: El Full FT vuelve a ser viable solo cuando el recuento de parámetros supera los 1B, donde la capacidad intrínseca puede absorber actualizaciones de rango completo.

Los autores recomiendan recurrir al PEFT por defecto para todos los modelos sub-1B alineados y advierten contra el uso de Full FT para cualquier arquitectura menor a 500M de parámetros. Enfatizan que, aunque el Full FT puede ser más rápido en clústeres, el PEFT es el habilitador crítico para democratizar el entrenamiento de SLM en dispositivos de borde y mantener la seguridad y robustez requeridas para industrias reguladas.