🤖 machine learning

Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models

Este artículo propone la Descomposición en Valores Singulares con Pesado de Fisher Generalizada (GFWSVD), un método de compresión post-entrenamiento escalable para modelos de lenguaje extensos que utiliza una aproximación factorizada por Kronecker de la matriz de información de Fisher completa para capturar las correlaciones de los parámetros y superar significativamente las técnicas de compresión basadas en la diagonal existentes.

Autores originales: Viktoriia Chekalina, Daniil Moskovskiy, Tatiana Matveeva, Andrey Kuznetsov, Evgeny Frolov

Publicado 2026-07-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Viktoriia Chekalina, Daniil Moskovskiy, Tatiana Matveeva, Andrey Kuznetsov, Evgeny Frolov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encoger una biblioteca masiva e intrincada para que quepa dentro de una mochila sin perder las historias en su interior. Este es el desafío diario para los científicos que trabajan en el campo de la inteligencia artificial, específicamente con las "redes neuronales": programas informáticos diseñados para aprender como los cerebros. Estos programas están construidos a partir de millones de diminutos interruptores llamados "parámetros". Para que estos programas funcionen más rápido y en dispositivos más pequeños, los investigadores intentan eliminar los interruptores que no están haciendo mucho trabajo. Pero aquí está la parte difícil: los interruptores no trabajan solos. Son como una compañía de danza compleja; si sacas a un bailarín, toda la rutina podría colapsar porque ese bailarín estaba de la mano con alguien más.

Durante años, la forma estándar de decidir qué bailarines cortar fue observar a cada uno individualmente, ignorando el hecho de que se toman de la mano. Era como comprobar si un bailarín estaba cansado sin notar que estaba apoyando a un compañero. Este método era rápido, pero a menudo arruinaba la actuación. El artículo que vas a leer aborda este problema introduciendo una nueva forma de ver la "danza" de los parámetros. Utiliza una herramienta matemática llamada "Matriz de Información de Fisher", que actúa como un mapa que muestra cómo cada interruptor está conectado con todos los demás. El objetivo es encoger la biblioteca (el modelo de IA) manteniendo las historias (la inteligencia) perfectamente intactas.

La Gran Idea: Ver la Danza Completa, No Solo a los Bailarines

Los autores de este artículo, Viktoriia Chekalina y su equipo, se dieron cuenta de que los mapas antiguos eran demasiado borrosos. Querían un mapa que mostrara no solo qué bailarines eran importantes, sino cómo estaban vinculados entre sí. Para hacer esto, inventaron un nuevo algoritmo llamado Factorización de Fisher Libre de Matrices (MFF).

Piensa en la Matriz de Información de Fisher como una gigantesca y densa niebla que cubre toda la pista de baile. En el pasado, intentar ver a través de esta niebla para encontrar las conexiones era imposible porque la niebla era demasiado espesa y la pista de baile demasiado grande. Los métodos antiguos simplemente suponían que las conexiones eran simples (como una línea recta), lo que perdía las curvas complejas de la danza real.

El nuevo truco del equipo, MFF, es como tener unos lentes especiales que te permiten ver la estructura de la niebla sin tener que despejar toda la niebla. En lugar de intentar escribir cada una de las conexiones (lo que tomaría mucha memoria), su algoritmo calcula las conexiones sobre la marcha, centrándose solo en las "capas" específicas de la danza. Es un enfoque "libre de matrices", lo que significa que nunca construye realmente el mapa gigante y pesado; simplemente utiliza la forma del mapa para guiar los cortes.

La Solución: Una Nueva Forma de Encoger el Modelo

Utilizando esta nueva forma de ver las conexiones, el equipo desarrolló un método llamado GFWSVD (SVD Ponderado por la Información de Fisher Generalizada). Si imaginas el modelo de IA como un bloque de arcilla, los métodos estándar podrían simplemente rebanar los bordes. GFWSVD, sin embargo, comprende el grano interno de la arcilla. Sabe que algunas partes de la arcilla están estrechamente tejidas y deben cortarse de una manera específica para mantener la forma.

El artículo demuestra que bajo ciertas condiciones matemáticas (específicamente, si las conexiones siguen un patrón llamado "distribución Normal Multivariante de Matrices"), su método es la forma única y óptima de encoger el modelo. No es solo una suposición; es la forma matemáticamente perfecta de minimizar el daño al rendimiento del modelo cuando se eliminan parámetros.

Lo Que Encontraron: Recortando la Mitad del Modelo

El equipo probó su nuevo método en algunos de los modelos de IA más famosos que existen, incluyendo Llama 2 y Llama 3.1, que son modelos de lenguaje masivos utilizados para todo, desde escribir código hasta chatear. También probaron BERT, un modelo utilizado para la comprensión de texto.

Esto es lo que descubrieron:

El Poder de Compresión: Fueron capaces de encoger estos modelos gigantes hasta en un 50%. Eso significa reducir el número de parámetros a la mitad.
El Rendimiento: Incluso con la mitad del tamaño, los modelos funcionaron tan bien como, o incluso mejor que, las versiones originales. En muchas pruebas, GFWSVD superó a los mejores métodos actuales (como las aproximaciones diagonales y los métodos basados en activaciones) en todos los aspectos.
Evitando el Colapso: Cuando intentaron comprimir los modelos en un 40%, los métodos estándar empezaron a fallar, causando que la IA perdiera su capacidad de razonar o responder preguntas correctamente. GFWSVD, sin embargo, se mantuvo robusto y fiable.
La Velocidad: Debido a que los modelos son más pequeños, funcionan más rápido. En un chip potente (un NVIDIA A100), los modelos comprimidos procesaron texto 1.34 veces más rápido que los modelos originales sin comprimir.

Por Qué Esto Importa

Los autores demostraron que, al prestar atención a las conexiones ocultas entre los parámetros (los elementos fuera de la diagonal), se puede encoger los modelos de IA de forma mucho más agresiva sin romperlos. Demostraron que ignorar estas conexiones, como hacen la mayoría de los otros métodos, deja mucho potencial de rendimiento sobre la mesa.

También demostraron que este método funciona como un excelente "punto de partida" para otros procesos de entrenamiento. Si utilizas GFWSVD para encoger un modelo primero, y luego dejas que el modelo aprenda un poco más (ajuste fino o fine-tuning), mantiene su precisión mucho mejor que si hubieras utilizado los métodos de encogimiento estándar.

En resumen, este artículo proporciona unas "tijeras" matemáticamente sólidas para recortar los modelos de IA gigantes. Nos permite mantener la inteligencia mientras desechamos el volumen, haciendo que la IA poderosa sea accesible en dispositivos más pequeños y más barata de ejecutar, todo ello sin perder la magia del modelo original.

Resumen Técnico: Aproximación de Fisher Factorizada por Kronecker Escalable para la Sensibilidad de Parámetros en Redes Neuronales

1. Planteamiento del Problema

La Matriz de Información de Fisher (FIM) ofrece un marco geomético fundamentado para comprender la sensibilidad de los parámetros en redes neuronales, particularmente para tareas como la compresión post-entrenamiento. Sin embargo, la FIM completa es computacionalmente inviable de calcular o almacenar para modelos de aprendizaje profundo de alta dimensionalidad debido a su escalamiento cuadrático ( $O(d^2)$ ). En consecuencia, los métodos existentes suelen depender de aproximaciones diagonales (por ejemplo, Frankle & Carbin, 2019; Wu et al., 2024), las cuales asumen independencia de parámetros. Este supuesto descarta estructuras críticas de correlación fuera de la diagonal entre los parámetros del modelo, lo que conduce a una compresión subóptima y a una potencial degradación de la precisión, especialmente en arquitecturas densas como los Modelos de Lenguaje de Gran Escala (LLMs).

2. Metodología

Factorización de Fisher Libre de Matrices (MFF)

Los autores proponen la Factorización de Fisher Libre de Matrices (MFF), un algoritmo tratable en GPU diseñado para aproximar la FIM sin materializar la matriz completa.

Estructura de Kronecker: MFF aproxima la FIM empírica ( $I_F$ ) como un producto de Kronecker de dos matrices más pequeñas, $A$ y $B$ , tal que $I_F \approx A \otimes B$ . Esta estructura captura tanto las dependencias de fila como de columna dentro de la matriz de pesos de una capa lineal.
Computación Libre de Matrices: Para evitar la complejidad $O(m^2n^2)$ de construir la matriz de Fisher permutada $\tilde{I}_F$ , MFF utiliza el método de Lanczos para la SVD truncada. Se basa únicamente en operaciones de multiplicación matriz-vector (matvec).
Matvec Eficiente: Aprovechando la propiedad $(K \otimes L)\text{vec}(C) = \text{vec}(K^\top CL)$ , el algoritmo computa la acción de la matriz de Fisher permutada sobre un vector utilizando una secuencia de multiplicaciones de matrices compactas que involucran matrices de gradientes ( $G_i$ ) de los mini-batches. Esto reduce la complejidad temporal a $O(mn^2 + m^2n)$ , haciéndolo factible para capas de transformadores de gran tamaño.

SVD Ponderada por Fisher Generalizada (GFWSVD)

Construyendo sobre MFF, los autores derivan GFWSVD, un método de descomposición de capa de bajo rango de forma cerrada para la compresión post-entrenamiento.

Fundamento Teórico: Bajo el supuesto de que los pesos de la capa siguen una distribución Normal Multivariante de Matriz (MVN) y que la FIM admite una factorización de Kronecker, los autores demuestran que la minimización del aumento esperado de la pérdida de segundo orden (sensibilidad de parámetros) produce una descomposición óptima única.
Algoritmo: La aproximación de rango- $r$ óptima de una matriz de pesos $W^*$ viene dada por $W_r = L_B^{-\top} \hat{W}_r L_A^{-1}$ , donde $\hat{W}_r$ es la SVD truncada de rango- $r$ de una matriz auxiliar $\hat{W} = L_B^\top W^* L_A$ . Aquí, $L_A$ y $L_B$ son los factores de Cholesky de los componentes de Kronecker $A$ y $B$ .
Generalización: Este enfoque generaliza métodos previos:
- La SVD estándar corresponde a transformaciones de identidad.
- La SVD Ponderada por Fisher (FWSVD) corresponde a transformaciones diagonales en un solo lado.
- GFWSVD emplea transformaciones completas, no diagonales, en ambos lados, capturando estructuras de correlación más ricas.

3. Contribuciones Clave

Primitiva Algorítmica: La derivación de MFF, un algoritmo escalable y tratable en GPU para la aproximación de la FIM con estructura de Kronecker que evita el almacenamiento explícito de la matriz.
Optimalidad Teórica: Una demostración de que, bajo los supuestos de MVN y FIM con estructura de Kronecker, GFWSVD proporciona la descomposición de bajo rango única que minimiza el aumento esperado de la pérdida de segundo orden.
Desempeño Empírico: La propuesta de GFWSVD como un método de compresión que supera consistentemente a las aproximaciones de Fisher diagonales (FWSVD) y a los baselines basados en activaciones (ASVD, SVD-LLM) en diversos regímenes de compresión.

4. Resultados Experimentales

Los autores evaluaron su método en conjuntos de datos sintéticos, modelos de solo codificador (BERT) y LLMs de solo decodificador (Llama 2 7B, Llama 3.1 8B).

Benchmarks Sintéticos: En entornos controlados con estructuras de correlación explícitas (isotrópicas, anisotrópicas y de Toeplitz), GFWSVD demostró ventajas sustanciales sobre los métodos diagonales a medida que aumentaban las correlaciones, confirmando la importancia de capturar las dependencias fuera de la diagonal.
Compresión de BERT: En el benchmark GLUE, GFWSVD logró resultados de vanguardia (state-of-the-art), particularmente en rangos bajos (mayor compresión). Por ejemplo, con una relación de compresión del 40%, GFWSD mantuvo una puntuación macro-promedio de GLUE de 0.51, superando significativamente a SVD (0.37) y FWSVD (0.38).
Compresión de LLM:
- Llama 2 7B y Llama 3.1 8B: GFWSVD superó sustancialmente a los métodos de descomposición de capa independiente (FWSVD, ASVD) y a los métodos de intercambio de base (Basis Sharing) en relaciones de compresión de hasta el 50%.
- Robustez: Con una reducción de parámetros del 40%, GFWSVD evitó de manera fiable el colapso de rendimiento observado en arquitecturas densas donde los métodos estándar se degradan.
- Inicialización de Fine-Tuning: Cuando se utilizó para inicializar pipelines de optimización como Dobi-SVD, GFWSVD preservó mejor la precisión que la inicialización estándar de SVD, mostrando solo una degradación moderada al 40% de compresión en comparación con las caídas sustanciales de los baselines.
Eficiencia: El tiempo de ejecución para computar los factores de Kronecker para una sola capa en Llama 3.1 8B fue de aproximadamente 249 segundos en una GPU, demostrando su tratabilidad incluso para modelos grandes. Se observaron aceleraciones de throughput de inferencia de hasta 1.34 $\times$ al 50% de compresión.

5. Significado y Reivindicaciones

El artículo posiciona a MFF y GFWSVD como primitivas algorítmicas fundamentales para la aproximación de redes neuronales escalable y consciente del segundo orden.

Avance Teórico: El trabajo establece un vínculo directo entre la geometría de Fisher y la aproximación de bajo rango óptima, generalizando los métodos previos basados en la diagonal de Fisher hacia un marco de sensibilidad de matriz completa teóricamente fundamentado.
Impacto Práctico: Al evitar la construcción explícita de la FIM completa, el método permite aprovechar la información de segundo orden en redes neuronales grandes, ofreciendo una vía práctica para la compresión eficiente de modelos sin los costos de memoria prohibitivos de la estimación de curvatura completa.
Alcance: Los autores enfatizan que, aunque su evaluación se centra en la compresión post-entrenamiento, la formulación subyacente apunta a la sensibilidad de parámetros mediante la pérdida cuadrática ponderada por Fisher, lo que sugiere aplicabilidad a otras tareas impulsadas por la sensibilidad. Señalan que el método asume un óptimo local y una distribución MVN, que son conveniencias analíticas que se mantienen bien empíricamente pero que pueden no reflejar perfectamente la dinámica compleja del entrenamiento estocástico.

Los autores declaran no tener conflictos de interés financieros y señalan que todos los modelos evaluados (BERT, Llama 2, Llama 3.1) están disponibles públicamente.