Resumen Técnico: Inferencia en Subespacio con Puerta para la Aceleración de Transformadores

1. Declaración del Problema

El principal cuello de botella en la inferencia de modelos de lenguaje grandes (LLM), particularmente con un tamaño de lote de uno, es el ancho de banda de memoria y no el rendimiento computacional. Como formaliza el modelo de techo, el paso hacia adelante de un transformador está completamente limitado por el ancho de banda de memoria, ya que la intensidad aritmética de las operaciones de la capa lineal ($y = Wx$) es aproximadamente 1 FLOP/byte. La lectura de matrices de pesos desde la Memoria de Alto Ancho de Banda (HBM) domina la latencia.

Las estrategias de aceleración existentes enfrentan limitaciones significativas:

• Cuantización reduce el tamaño de los elementos de los pesos, pero no reduce la cantidad de elementos leídos.
• Poda reduce la cantidad de elementos, pero típicamente requiere reentrenamiento o ajuste fino.
• Factorización de Bajo Rango Estática (por ejemplo, LoRA, SVD-LLM) descompone los pesos fuera de línea, pero falla al adaptarse a la distribución específica de entrada en el momento de la inferencia.
• Los métodos de Dispersión de Activación (por ejemplo, CATS, PowerInfer) explotan subconjuntos discretos de neuronas o dispersión elemento a elemento, pero no aprovechan la estructura de baja dimensión continua del manifold de activación.

El artículo postula que los vectores de activación en cualquier capa dada residen aproximadamente en un subespacio de baja dimensión ($k \ll d$). En consecuencia, la interacción entre pesos y activaciones tiene un rango efectivo bajo. Leer la matriz de pesos completa para cada token es un desperdicio, ya que la distribución de entrada no visita todas las direcciones en el espacio de activación.

2. Metodología: Inferencia en Subespacio con Puerta (GSI)

GSI es un método de aceleración sin pérdida que explota el bajo rango efectivo de la interacción peso-activación sin reentrenamiento, modificación arquitectónica o aproximación de la atención. Extiende el marco de Inferencia en Subespacio Skyline (SSI) desde las capas MLP a todo el transformador (incluyendo proyecciones QKV y de salida).

2.1. Descomposición Central

Para una capa lineal con matriz de pesos $W \in \mathbb{R}^{d_{out} \times d}$ y activación $x \in \mathbb{R}^d$, la activación se descompone exactamente en un componente de subespacio y un residuo:
$$x = V_k V_k^\top x + r$$
donde $V_k \in \mathbb{R}^{d \times k}$ es una base ortonormal de rango-$k$ que representa el subespacio de activación, y $r$ es el residuo. La salida $y = Wx$ se calcula como:
$$y = (W V_k)(V_k^\top x) + Wr = Mg + Wr$$
Aquí, $M = W V_k$ es una "imagen de peso de bajo rango" precalculada y almacenada en caché, y $g = V_k^\top x$ es la proyección de la activación sobre el subespacio.

2.2. El Paso de Residuo con Puerta

La innovación crítica es una puerta por token que determina si se calcula la corrección de residuo $Wr$.

• Ruta Rápida: Si la relación de residuo $\rho_t = \|r\| / \|x\|$ está por debajo de un umbral $\epsilon$, la salida se aproxima como $y \approx Mg$. Esto requiere leer solo $k$ columnas de la matriz de pesos (o la imagen en caché $M$) en lugar de las $d$ columnas completas.
• Ruta Lenta: Si $\rho_t \ge \epsilon$, se realiza el cálculo completo $y = Wx$ para garantizar exactitud.

Esta puerta asegura que la distribución de salida se preserve dentro de una tolerancia controlable. El análisis teórico (Teorema 4) acota el error por token en la ruta rápida por $\|W\|_2 \cdot \epsilon \cdot \|x\|$. Crucialmente, el artículo demuestra que descartar el residuo por completo (proyección estática) conduce a una degradación catastrófica de la salida, mientras que el paso de residuo con puerta mantiene una calidad sin pérdida.

2.3. Cascada de Profundidad y Calibración

El método aprovecha la "coherencia de profundidad", observando que los subespacios de activación en capas consecutivas están altamente correlacionados (similitud coseno media > 0.90 en capas más profundas).

• Inicialización en Cascada: La base $V_k$ para la capa $l+1$ se inicializa desde la base de la capa $l$, requiriendo solo correcciones menores de rango-1 (actualizaciones DGKS) en lugar de una Descomposición en Valores Singulares (SVD) completa para cada capa.
• Calibración: La base se calcula una vez mediante un solo paso hacia adelante en una secuencia de calibración representativa. Para un modelo de 6B, esto toma aproximadamente 30 segundos.
• Sobrecarga de Almacenamiento: Las imágenes en caché $M$ y las bases $V_k$ añaden menos del 4% a la huella de memoria del modelo (aproximadamente 469 MB para un modelo de 13 GB).

3. Contribuciones Clave

1. Inferencia en Subespacio con Puerta (GSI): Un método que acelera todos los mapas lineales en un transformador (proyecciones QKV, de salida y MLP) proyectando las activaciones sobre un subespacio de bajo rango aprendido y saltando condicionalmente las correcciones de residuo.
2. Calidad Sin Pérdida mediante Puerta: El artículo establece que el paso de residuo con puerta es esencial. Sin él, la proyección estática causa un colapso en la generación. Con él, el método logra una salida idéntica carácter por carácter con la línea base en puntos operativos específicos.
3. Cascada de Profundidad: Un mecanismo que explota la coherencia de subespacios a través de las capas para reducir los costos de calibración en un 96%, revelando que la red opera sobre un manifold de baja dimensión coherente que se propaga a través de la profundidad.
4. Aceleración Ortogonal: GSI opera sobre la dimensión oculta (eje $d$), complementando los métodos existentes de aceleración de atención como ADA (que operan sobre la dimensión de token, eje $T$). Juntos, cubren todo el paso hacia adelante.

4. Resultados Experimentales

Los experimentos se realizaron en GPUs AMD MI300X utilizando modelos GPT-2 (124M), GPT-J (6B) y OPT (6.7B).

• Aceleración: El método logra aceleraciones efectivas de 3.0× a 10.5× en lecturas de pesos de capas lineales.
  • GPT-J 6B en el punto operativo $k=256, \epsilon=0.10$: 15.5× de aceleración en lecturas de pesos con el 99.8% de los tokens tomando la ruta rápida.
  • OPT 6.7B en $k=256, \epsilon=0.10$: 10.5× de aceleración.
  • GPT-2 124M en $k=256, \epsilon=0.10$: 3.0× de aceleración.
• Preservación de Calidad:
  • Perplejidad: Las relaciones son consistentemente inferiores a 1.00 (por ejemplo, 0.991 para GPT-J), lo que indica que el modelo acelerado es estadísticamente indistinguible de o ligeramente mejor que la línea base.
  • Acuerdo de Tokens: El acuerdo de tokens Top-1 supera el 98% en todas las configuraciones.
  • Fidelidad de Generación: En el punto operativo objetivo ($k=256, \epsilon=0.05$ o $0.10$), GPT-J y GPT-2 producen una salida 100% idéntica carácter por carácter con la línea base durante 50 tokens codiciosos.
• Conteo de Parámetros Efectivos: El costo de inferencia es proporcional al "conteo de parámetros efectivos" (los parámetros correspondientes a las direcciones visitadas en el espacio de activación). Para GPT-J 6B, el conteo efectivo cae de 6B a ~375M (una reducción de 16×) en el punto operativo óptimo.
• Control Negativo: La proyección estática (sin residuo) en $k=128$ aumentó la perplejidad en un 52% y causó un colapso en la generación, validando la necesidad de la puerta.

5. Significado y Afirmaciones

El artículo afirma que GSI proporciona una aceleración sin pérdida para la inferencia de transformadores que cambia fundamentalmente el modelo de costos desde el conteo total de parámetros hacia el conteo de parámetros efectivos.

• Sin Reentrenamiento: El método funciona en modelos preentrenados sin ningún ajuste fino ni cambios arquitectónicos.
• Sin Aproximación de la Atención: No altera el mecanismo de atención, lo que lo hace compatible con otras técnicas de aceleración como FlashAttention o ADA.
• Insight Estructural: Los resultados confirman que el bajo rango efectivo de la interacción peso-activación es una propiedad estructural de los transformadores entrenados, manteniéndose a través de diferentes arquitecturas y tamaños de modelo.
• Impacto Práctico: Al reducir el requisito de ancho de banda de memoria para las capas lineales en un factor de $d/k$ (por ejemplo, 16×), GSI aborda el principal cuello de botella en la inferencia con tamaño de lote uno, permitiendo tiempos de decodificación significativamente más rápidos (por ejemplo, reducir un paso hacia adelante de 1.3 ms a 0.22 ms cuando se combina con aceleración de atención).

Los autores concluyen que el paso de residuo con puerta es el factor distintivo que permite altas tasas de compresión sin sacrificar la corrección matemática de la salida, convirtiéndolo en una vía viable para la aceleración de inferencia sin pérdida.