🤖 machine learning

Super Weights in LLMs and the Failure of Selective Training

Este artículo demuestra que el concepto de "Pesos Superiores" no se generaliza en todos los LLM y que intentar entrenar estos parámetros críticos identificados individualmente de forma aislada causa un fallo catastrófico de rendimiento, probando que el ajuste fino efectivo depende de descomposiciones estructuradas en todo el nivel en lugar de apuntar a pesos específicos de alta importancia.

Autores originales: Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

Publicado 2026-07-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro de robot gigante y superinteligente (un Modelo de Lenguaje Extenso) que ya ha aprendido a leer, escribir y razonar. Recientemente, algunos científicos descubrieron unos pocos "botones mágicos" dentro de este cerebro. Los llamaron Pesos Superiores (Super Weights).

Lo increíble es que, si simplemente borras uno de estos botones mágicos, el cerebro del robot se vuelve completamente loco. Su rendimiento cae de tal manera que es como si hubiera olvidado cómo hablar por completo. Fue tan impactante que todos asumieron que estos botones eran las partes más importantes del cerebro.

Así que surgió una pregunta natural: Si estos botones son tan importantes, ¿qué pasa si solo entrenamos ellos?

La idea era: "Congelamos el resto del cerebro y solo dejamos que estos Pesos Superiores aprendan cosas nuevas. Dado que son las 'estrellas', deberían ser capaces de arreglar los errores del robot por sí solos, ¿verdad?".

La respuesta es un rotundo NO.

De hecho, el artículo muestra que intentar entrenar solo estos Pesos Superiores es un desastre. Es como intentar arreglar el motor de un coche roto girando únicamente el volante. Por mucho que lo intentes, el coche no se moverá.

El experimento de los "Botones Mágicos"

Los investigadores tomaron dos versiones de un modelo llamado OLMo (una con 1.000 millones de parámetros y otra con 7.000 millones). Intentaron enseñar al modelo una nueva tarea (responder preguntas de opción múltiple) actualizando únicamente los Pesos Superiores.

Probaron diferentes cantidades de botones:

Entrenaron solo 100 Pesos Superiores.
Probaron con 1.000.
Incluso probaron con 8.192 (que es 81 veces más que el primer intento).

¿El resultado? La precisión del modelo cayó a niveles de adivinación aleatoria.

Para el modelo de 1.000 millones, obtuvo aproximadamente un 25% de aciertos (que es lo que obtienes si simplemente adivinas a ciegas en una pregunta de 4 opciones).
Para el modelo de 7.000 millones, también cayó alrededor del 25–26%.

Incluso cuando intentaron ser amables y entrenar los Pesos Superiores más sus vecinos inmediatos (un pequeño "vecindario" de unos 36.000 parámetros), aun así fallaron. El modelo simplemente no podía aprender.

El giro de "No son los botones, es la estrategia"

Podrías pensar: "Vale, tal vez el problema es que estaban entrenando un conjunto de botones muy pequeño y disperso. Tal vez si entrenaran cualquier conjunto diminuto de botones, fallaría".

El artículo dice: No, eso tampoco es.

Para demostrar esto, los investigadores realizaron una prueba de control ingeniosa. Eligieron el mismo número de botones (4.096), pero en lugar de elegir los "Superiores", eligieron botones aleatorios de la misma parte del cerebro.

Resultado: ¡El modelo en realidad mejoró! Obtuvo un 64,18% (superando la línea base de 60,65%).

Esto demuestra que el fallo no se debió a que estuvieran entrenando muy pocos parámetros. El fallo se debió específicamente a que estaban apuntando a los Pesos Superiores. Esas coordenadas específicas están "rotas" para ser entrenadas de forma aislada.

¿Por qué fallan? La analogía del "Amplificador"

Piensa en los Pesos Superiores como grandes perillas de volumen en un sistema de sonido. Están subidas tanto que amplifican la señal una cantidad masiva.

Si los borras: El sistema de sonido se queda en silencio (el modelo se rompe).
Si intentas ajustarlos solos: Es una pesadilla. Debido a que ya están tan altos, incluso un pequeño ajuste envía el volumen hacia la estratosfera, causando bucles de retroalimentación y distorsión. El sistema se vuelve inestable y colapsa.

El artículo sugiere que cuando intentas entrenar estas perillas de forma aislada, las matemáticas se salen de control. La "curvatura" (qué tan empinada es la colina de aprendizaje) en estos puntos es tan enorme que el optimizador (lo que realiza el aprendizaje) se confunde y el modelo colapsa.

El verdadero héroe: LoRA

Entonces, ¿cómo enseñamos realmente cosas nuevas a estos modelos sin romperlos? El artículo señala un método llamado LoRA (Adaptación de Bajo Rango o Low-Rank Adaptation).

Imagina a LoRA no como un mecánico intentando arreglar tornillos individuales, sino como un director de orquesta dirigiendo una orquesta.

En lugar de tocar las perillas de los Pesos Superiores directamente, LoRA añade una pequeña capa estructurada de música antes de que el sonido llegue a las perillas.
Actualiza cada una de las posiciones en las capas de atención (la "orquesta") utilizando una estructura de bajo rango, pero solo entrena aproximadamente el 0,16% de los parámetros totales.
El Resultado: ¡El modelo aprende perfectamente!
- En el modelo de 1.000 millones, alcanzó un 66,88% de precisión.
- En el modelo de 7.000 millones, alcanzó un 77,3% de precisión.

¿Aún más genial? Los investigadores intentaron "congelar" las partes de LoRA que correspondían a las ubicaciones de los Pesos Superiores (para ver si esos puntos específicos eran el problema). No importó. El modelo seguía funcionando de maravilla. Esto demuestra que el estilo de la actualización (el director dirigiendo a toda la orquesta) es lo que importa, no la ubicación específica de los botones.

¿Qué pasa con la "magia" del artículo original?

El artículo también comprobó el descubrimiento original de los Pesos Superiores. El estudio anterior los encontró mirando solo un ejemplo. El nuevo artículo revisó 1.000 ejemplos diferentes.

Encontraron que 9 botones específicos eran críticos en el 100% de los casos.
Esto confirma que los Pesos Superiores son partes estructurales reales del cerebro, no solo anomalías de una pregunta específica.

La conclusión fundamental

El artículo entrega un mensaje claro: Solo porque una parte del cerebro sea importante, no significa que puedas entrenarla sola.

Borrar los Pesos Superiores rompe el modelo.
Entrenar los Pesos Superiores solos rompe el modelo.
Entrenar un conjunto aleatorio de partes pequeñas funciona bien.
Entrenar todo el sistema con un enfoque estructurado de bajo rango (LoRA) es lo que mejor funciona.

Resulta que la "magia" de estos modelos no reside en unos pocos botones especiales que puedas manipular. Está en el trabajo conjunto de toda la red. No puedes simplemente remendar el motor girando un solo tornillo; necesitas afinar toda la máquina en armonía.

Resumen Técnico: Pesos Superiores en LLMs y el Fracaso del Entrenamiento Selectivo

Declaración del Problema

Investigaciones recientes (Yu et al., 2025) identificaron los "Pesos Superiores" (Super Weights)—parámetros escalares individuales en Modelos de Lenguaje de Gran Escala (LLMs) cuya eliminación provoca una degradación del rendimiento por órdenes de magnitud. Este hallazgo sugirió una hipótesis: si ciertos parámetros son tan críticos, entonces las estrategias de ajuste fino que apuntan y actualizan deliberadamente solo estos parámetros "importantes" deberían ser altamente efectivas, superando potencialmente a los métodos que actualizan subconjuntos de parámetros aleatorios o distribuidos.

Este artículo desafía esa hipótesis. Investiga si la importancia de los parámetros (definida por el fallo catastrófico tras su eliminación) implica la capacidad de entrenamiento de los mismos de forma aislada. Los autores prueban si entrenar solo los Pesos Superiores, o sus vecindarios locales inmediatos, puede adaptar con éxito un modelo, o si tal entrenamiento disperso y específico de coordenadas conduce a un fallo catastrófico.

Metodología

Los autores realizaron una suite exhaustiva de experimentos en OLMo-1B y OLMo-7B, con replicación de la poda en 10 familias de modelos diferentes (incluyendo variantes de Llama, Phi, Mistral y Gemma).

1. Validación de la Consistencia de los Pesos Superiores

Trabajos previos identificaron los Pesos Superiores mediante una única pasada hacia adelante (forward pass). Los autores validaron que estos pesos son propiedades estructurales del modelo y no artefactos específicos de la entrada, ejecutando 1,000 muestras aleatorias de WikiText-2. Encontraron que 9 posiciones de peso específicas produjeron consistentemente los picos de activación más grandes en el 100% de las entradas, confirmando su estabilidad estructural.

2. Replicación de la Poda

Los autores replicaron los experimentos de poda de Yu et al. (2025) en múltiples arquitecturas. Pusieron a cero las coordenadas de los Pesos Superiores identificados y midieron el impacto en la perplejidad y la precisión (ARC-Easy, Winogrande). También probaron si un simple ranking basado en magnitud podía identificar los Pesos Superiores en modelos no cubiertos por el artículo original.

3. Experimentos de Entrenamiento Selectivo

El núcleo del estudio consistió en entrenar subconjuntos aislados de parámetros mientras se congelaban el resto:

Entrenamiento Directo de Pesos Superiores: Entrenar solo los top- $k$ Pesos Superiores ( $k \in \{100, 1000, 4096, 8192\}$ ).
Entrenamiento de Vecindario: Entrenar los Pesos Superiores más todos los parámetros dentro de un radio de 1 (formando parches de $3 \times 3$ ), aumentando el recuento de parámetros entrenables hasta aproximadamente 36,864.
Control Aleatorio: Entrenar un número igual de posiciones elegidas aleatoriamente en las mismas capas (down proj), excluyendo las coordenadas de los Pesos Superiores, para aislar el efecto de la dispersión frente a la selección de coordenadas.
Variantes de LoRA:
- LoRA Vanilla: Adaptación de bajo rango estándar en las capas de atención.
- LoRA-dproj-SW-freeze: Restringir las actualizaciones de LoRA en las posiciones de atención cuyas índices corresponden a las coordenadas de los Pesos Superiores en las capas de proyección descendente (MLP).
- LoRA-∆W-SW-freeze: Congelar las top-1,000 posiciones de mayor magnitud dentro de la propia matriz de actualización de LoRA ( $\Delta W$ ).

4. Análisis Teórico

Los autores proporcionaron argumentos teóricos respecto a:

Dimensionalidad Intrínseca: Las actualizaciones alineadas con coordenadas dispersas capturan solo una fracción insignificante ( $k/N$ ) del subespacio de ajuste fino en comparación con las descomposiciones de bajo rango.
Dinámica del Optimizador: Los optimizadores adaptativos suprimen implícitamente las actualizaciones en las posiciones de los Pesos Superiores debido a la curvatura ( $M^2$ veces mayor) del Hessiano en estas ubicaciones atípicas, donde $M$ es la relación de amplificación de la activación.

Resultados Clave

1. Fracaso del Entrenamiento Aislado de Pesos Superiores

El entrenamiento de los Pesos Superiores en aislamiento resultó en un colapso completo del rendimiento, cayendo la precisión a niveles de elección aleatoria (~25% para ARC-Easy de 4 opciones, ~50% para Winogrande de 2 opciones) tanto en OLMo-1B como en OLMo-7B.

Aumentar el número de parámetros entrenados de 100 a 8,192 no proporcionó ninguna mejora.
Expandir a vecindarios locales (hasta 36,864 parámetros) también falló en recuperar el rendimiento.
La pérdida de entrenamiento disminuyó durante la optimización, pero la perplejidad de validación explotó, indicando un sobreajuste a los datos de entrenamiento sin capacidad de generalización.

2. Especificidad del Fallo

El fallo es específico de las coordenadas de los Pesos Superiores, no de la dispersión o el tipo de módulo:

Control Aleatorio: Entrenar un número igual de posiciones elegidas aleatoriamente en las mismas capas de proyección descendente mejoró la precisión sobre la línea base (64.18% vs. 60.65% para OLMo-1B).
Control de Bajo Rango: Aplicar una actualización de bajo rango de rango-8 a la capa de proyección descendente también tuvo éxito (68.77%).
Conclusión: El colapso es causado por apuntar a las coordenadas específicas de los Pesos Superiores, lo que rompe la estructura relacional en la que el modelo preentrenado confía.

3. Robustez de LoRA

LoRA Vanilla tuvo éxito con el 0.16% de los parámetros, logrando 66.88% (OLMo-1B) y 77.3% (OLMo-7B).
Restricciones Posicionales: Congelar las posiciones de actualización de la atención que corresponden a las coordenadas de los Pesos Superiores (LoRA-dproj-SW-freeze) no tuvo un efecto mensurable en el rendimiento. Un ablativo de 10 semillas confirmó resultados estadísticamente indistinguibles ( $p > 0.05$ ) entre el LoRA vanilla y la variante restringida.
Criticidad Interna de LoRA: Congelar las posiciones de mayor magnitud dentro de la matriz de actualización de LoRA ( $\Delta W$ ) tampoco tuvo efecto, contrastando con el fallo catastrófico de congelar los Pesos Superiores del modelo base.

4. Generalización de la Poda

Aunque la poda de los Pesos Superiores causó una degradación catastrófica en OLMo, Phi-3, Mistral y Llama-3-8B (usando las coordenadas originales), la identificación basada en magnitud simple falló al identificar pesos críticos en otros modelos (ej. Llama-3.1, Qwen2.5, Gemma-2). Esto sugiere que los Pesos Superiores son valores atípicos de activación específicos de cada familia de modelos, no definidos universalmente por la magnitud por sí sola.

Significado y Reivindicaciones

El artículo establece que la importancia de los parámetros no implica su capacidad de entrenamiento en aislamiento. Los autores argumentan que:

Estructural vs. Entrenable: Los Pesos Superiores actúan como amplificadores de alta ganancia y fijos. Modificar estos pesos de forma aislada rompe la estructura coordinada de la red. El ajuste fino efectivo requiere actualizar las representaciones que fluyen hacia estos pesos (vía capas de atención en LoRA) en lugar de los pesos mismos.
Coordinación sobre Dispersión: El éxito en PEFT depende de descomposiciones estructuradas sobre capas completas (como la estructura de bajo rango de LoRA) en lugar de apuntar a parámetros individualmente importantes. LoRA tiene éxito porque su factorización de bajo rango coordina las actualizaciones a través de toda la capa, preservando la estructura relacional, mientras que el entrenamiento disperso aísla los parámetros y rompe estas dependencias.
Dinámica del Optimizador: El análisis teórico sugiere que los optimizadores adaptativos protegen implícitamente a los Pesos Superiores al suprimir las actualizaciones debido a la alta curvatura. Entrenar explícitamente estas posiciones anula esta protección, provocando inestabilidad y colapso.

Los autores concluyen que los futuros métodos de PEFT deberían derivar su eficiencia de descomposiciones estructuradas y de capa completa, en lugar de intentar identificar y actualizar parámetros individuales "críticos".