🤖 machine learning

Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference

Este artículo presenta la Multiplicación de Matrices Reducida (RMM), un método de inferencia adaptativo a la entrada y libre de entrenamiento que reduce los costes computacionales en modelos basados en Transformers al retener selectivamente porciones informativas de productos matriciales, logrando compensaciones escalables entre precisión y eficiencia a través de diversos tamaños de modelos, tareas y modalidades sin modificar los pesos del modelo.

Autores originales: Zixuan Lan, Yanhong Li, Jiawei Zhou

Publicado 2026-08-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zixuan Lan, Yanhong Li, Jiawei Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el cerebro de una computadora moderna como un bibliotecario masivo e hiperinteligente. Este bibliotecario no solo lee libros; también los escribe, resuelve problemas matemáticos e incluso observa imágenes para contar historias. Para lograr esto, utiliza un tipo especial de arquitectura cerebral llamada "Transformer". Piensa en un Transformer como una fábrica gigante donde la información fluye a través de líneas de ensamblaje. En cada estación de estas líneas, la fábrica realiza un cálculo masivo: multiplica enormes cuadrículas de números entre sí. Estas son las "multiplicaciones de matrices" que impulsan la magia. El problema es que estos cálculos son increíblemente pesados. Requieren mucha energía y tiempo, como intentar mover una montaña de arena con una cucharadita. A medida que estos modelos de IA se vuelven más inteligentes y grandes, la "montaña" se vuelve más alta, haciendo que sea costoso y lento ejecutarlos. Los científicos se han preguntado durante mucho tiempo: ¿está el bibliotecario utilizando realmente cada uno de los granos de arena de esa montaña para cada tarea, o hay mucha arena innecesaria que podríamos barrer sin que el bibliotecario lo note?

Este artículo presenta un nuevo y astuto truco llamado Multiplicación de Matrices Reducida (RMM, por sus siglas en inglés). En lugar de intentar encoger permanentemente la fábrica o borrar partes de la memoria del bibliotecario (lo cual podría romper las cosas), RMM actúa como un filtro inteligente y sobre la marcha. Cada vez que el bibliotecario está a punto de realizar un cálculo masivo, RMM hace una pausa y pregunta: "¿Qué números específicos en esta cuadrícula están haciendo el trabajo pesado en este momento?". Luego, selecciona solo los más importantes —por ejemplo, el 50% o el 70% superior— e ignora el resto para ese momento específico. Es como un chef que, en lugar de picar cada vegetal de la nevera para una sopa, prueba rápidamente el caldo y decide usar solo las zanahorias y cebollas que se necesitan actualmente para este sabor específico. ¿Lo mejor de todo? El bibliotecario no necesita ser reentrenado ni enseñado a hacer esto; simplemente funciona de forma natural con los números que ya está generando.

Los investigadores probaron esta idea en una amplia variedad de modelos de IA, que van desde los pequeños con 1 billón de parámetros hasta gigantes con 70 billones. Descubrieron que estos modelos son sorprendentemente flexibles. Cuando redujeron la cantidad de matemáticas realizadas manteniendo solo una parte de los números, los modelos no se desmoronaron. De hecho, cuanto más grande era el modelo, más arena parecía estar dispuesto a soltar sin perder la cabeza. Por ejemplo, el gigante modelo de 70 mil millones de parámetros pudo manejar una reducción del 50% en los cálculos mientras seguía respondiendo preguntas y escribiendo historias casi tan bien como antes. Sin embargo, el artículo también descubrió una peculiaridad curiosa en cómo se construyen estas fábricas: las partes de "atención" del cerebro (donde el modelo decide en qué enfocarse) son muy relajadas y pueden manejar la pérdida de la mitad de su trabajo fácilmente. Pero las partes "MLP" (las partes que realmente procesan y transforman la información) son mucho más sensibles; si cortas demasiado ahí, el modelo empieza a tropezar.

El equipo también demostró que este truco funciona para modelos que pueden ver y hablar, no solo para los que son solo de texto. Incluso construyeron herramientas de software especiales para demostrar que saltarse estos números realmente hace que la computadora funcione más rápido en la vida real, especialmente cuando las historias o las oraciones se vuelven muy largas. Si bien el artículo sugiere que esto es una forma prometedora de hacer que la IA sea más barata y rápida, también señala que no existe un ajuste "perfecto" para todos. Tienes que ajustar cuánto recortar basándote en el modelo específico y en lo que le estás pidiendo que haga. Pero, en general, la RMM ofrece una forma fresca y sin necesidad de entrenamiento para hacer que estos gigantes digitales funcionen de forma más ligera, demostiendo que, a veces, hacer menos matemáticas puede ayudarte a pensar con la misma claridad.

Resumen Técnico: Multiplicación de Matrices Reducida (RMM) para la Inferencia de LLM

Declaración del Problema
Los modelos de lenguaje basados en Transformers logran un alto rendimiento, pero incurren en costos de inferencia sustanciales impulsados por multiplicaciones de matrices de alta dimensión repetitivas en las capas de atención y de redes neuronales perceptrón (MLP). Si bien trabajos previos han abordado la eficiencia de la inferencia mediante el podado estructurado, la aproximación de bajo rango, la compresión de tokens o la gestión del caché KV, estos métodos típicamente modifican estructuras de modelos fijas o acortan entradas/cachés. No abordan directamente si la computación contraída dentro de cada producto de matriz puede reducirse de forma adaptativa para un input específico sin modificar los pesos del modelo. Los métodos de escasez de activación existentes (por ejemplo, TEAL, CATS) omiten entradas de activación de baja magnitud, pero se centran en esparcir los estados ocultos en lugar de reducir los ejes de contracción compartidos de los productos de matrices generales.

Metodología: Multiplicación de Matrices Reducida (RMM)
Los autores proponen la Multiplicación de Matrices Reducida (RMM), un método de inferencia adaptativo al input que no requiere entrenamiento. RMM opera sobre la forma unificada de las computaciones de Transformer, $Y = AB$, donde $A$ representa la matriz de activación y $B$ representa la matriz de pesos (o representación intermedia).

Mecanismo Central: En lugar de computar el producto completo $AB$, RMM selecciona dinámicamente un subconjunto de índices $I$ a lo largo de la dimensión de contracción compartida $d$ basándose en las magnitudes de la activación del input actual. Computa el producto reducido $A_{:,I} B_{I,:}$ .
Estrategia de Selección: El método emplea una selección de dimensiones consciente de la activación. Para cada dimensión de característica $j$ , se calcula una puntuación de importancia $s_j = \|A_{:,j}\|_2$ (la norma de la columna de la matriz de activación). Se retienen los top- $k$ índices con las puntuaciones más altas, donde $k = \lceil \rho d \rceil$ y $\rho$ es una relación de retención controlada por el usuario.
Base Teórica: Los autores demuestran que la selección TopK por norma de columna es minimax óptima para minimizar el error de aproximación en el peor de los casos sobre todas las matrices de pesos $B$ posibles cuando solo $A$ es conocida al momento de la selección. Esto proporciona una justificación fundamentada para el uso de magnitudes de activación para guiar la reducción.
Alcance de Aplicación: RMM se aplica a:
- Capas de Atención: Reduciendo la dimensión de características en $QK^\top$ (interacción query-key) y opcionalmente la dimensión de tokens en $PV$ (interacción attention-value).
- MLP y Proyecciones Lineales: Reduciendo la dimensión oculta en las proyecciones de feed-forward ($XW$).
Implementación: El método requiere computar puntuaciones de características y realizar la selección top- $k$ , que son operaciones vectoriales ligeras comparadas con las multiplicaciones de matrices densas que reemplazan. Se implementaron kernels de Triton personalizados para materializar estos ahorros en la práctica.

Contribuciones Clave

Reducción Adaptativa al Input: Introduce una perspectiva novedosa en la optimización de la inferencia que reduce la computación contraída de los propios productos de matrices, distinguiéndose del podado de pesos, la compresión de tokens o la gestión de cachés.
Sin Entrenamiento y Controlable: El método no requiere reentrenamiento y ofrece un compromiso de precisión-eficiencia suave y predecible controlado por una simple relación de retención ( $\rho$ ).
Perspectivas Mecanísticas: A través de estudios de ablación, el artículo revela una asimetría estructural en los Transformers:
- Las computaciones del lado de la atención (proyecciones Q, K, V, $QK^\top$ , $PV$) son sustancialmente más reducibles y robustas al podado agresivo.
- Los componentes MLP son significativamente más sensibles a la reducción, siendo la proyección "Up" la más sensible y la proyección "Down" la más robusta. Podar el bloque MLP completo conduce a un colapso severo del rendimiento.
Generalización: Demuestra que el principio se extiende más allá de los modelos solo de texto a la inferencia multimodal de visión-lenguaje (por ejemplo, Qwen2.5-VL).

Resultados Experimentales
Los autores evaluaron RMM en modelos que van desde 1B hasta 70B de parámetros (incluyendo las familias LLaMA 3.1/3.2 y Qwen) y diversas tareas (QA, razonamiento, resumen, contexto largo y visión-lenguaje).

Rendimiento vs. Baselines Estáticos/Aleatorios: Bajo relaciones de retención fijas (por ejemplo, $\rho=0.5$ ), RMM supera consistentemente a los métodos de podado estático (SparseGPT, Wanda, SliceGPT) y al podado aleatorio. Los métodos estáticos sufren una degradación inestable, mientras que RMM mantiene capacidades coherentes de generación y razonamiento.
Tendencias de Escalamiento: Los modelos más grandes generalmente toleran una reducción más agresiva. Por ejemplo, LLaMA 3.1 70B permanece cerca del rendimiento del modelo completo con $\rho=0.8$ en la mayoría de los benchmarks, mientras que los modelos más pequeños se degradan más rápido, particularmente en tareas desafiantes como GSM8K y HumanEval.
Robustez: RMM permanece estable en la generación autorregresiva y en entornos de contexto largo (hasta 30K tokens), mostrando una degradación suave en lugar de un fallo abrupto.
Eficiencia de Tiempo de Ejecución: Las pruebas de rendimiento en GPUs NVIDIA A100 utilizando kernels personalizados muestran que los ahorros computacionales se traducen en aceleraciones prácticas de tiempo de ejecución (wall-clock speedups), especialmente en secuencias largas (por ejemplo, una aceleración de 1.40x a 4096 tokens). Notablemente, a 4096 tokens, la implementación densa agotó la memoria, mientras que RMM completó la inferencia.
Compatibilidad: El método es compatible con la cuantización de pesos INT8 y se extiende a varios backbones de modelos de visión-lenguaje.

Significado y Reivindicaciones
El artículo posiciona a RMM como una dirección escalable para la optimización de la inferencia adaptativa al input. Su principal significancia radica en demostrar que la redundancia en la inferencia de Transformer no está distribuida uniformemente; más bien, está concentrada en componentes específicos (particularmente en las operaciones del lado de la atención) y varía según el input. Al aprovechar esta asimetría estructural y la información de activación dependiente del input, RMM logra ganancias de eficiencia controlables sin necesidad de reentrenar el modelo o modificar su estructura. Los autores concluyen que la reducción adaptativa a nivel de producto de matrices es una vía prometedora para la inferencia eficiente de Transformers, sugiriendo que los métodos futuros deberían considerar patrones de redundancia específicos por componente.

Limitaciones
El trabajo se centra en una formulación que no requiere entrenamiento. Los autores reconocen que no han explorado extensiones más allá de este entorno (por ejemplo, integrar la reducción adaptativa en los objetivos de preentrenamiento) ni han realizado un estudio detallado de los patrones de redundancia en todos los componentes de modelos complejos de visión-lenguaje más allá de la evaluación inicial. Además, aunque los kernels personalizados muestran aceleraciones, la integración total con todos los frameworks de inferencia y backends cuantizados sigue siendo un trabajo futuro.

Resumen Técnico: Multiplicación de Matrices Reducida (RMM) para la Inferencia de LLM

Más como este