Resumen Técnico: Los Picos Masivos en los LLM son Vectores de Sesgo

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) enfrentan severas restricciones computacionales y de memoria que requieren una cuantificación eficiente. Sin embargo, la eficacia de la cuantificación de activaciones se ve crítmente obstaculizada por los Picos Masivos: valores de activación extremos localizados en canales específicos y en semánticas de tokens específicos (a menudo tokens de "sumidero" o sink de baja semántica). Estos picos son órdenes de magnitud mayores que los valores típicos, estirando el rango dinámico y causando errores de cuantificación catastróficos, particularmente para los esquemas estáticos por tensor.

Aunque trabajos previos han caracterizado estos picos como sesgos escalares de alto nivel o "outliers" (Sun et al., 2024; An et al., 2025), las estrategias de mitigación existentes a menudo los tratan como aberraciones numéricas o dependen de heurísticas limitadas a modalidades de texto discretas (por ejemplo, el prefijado de tokens específicos). La mecánica geométrica fundamental de estos picos y su papel en el comportamiento del modelo permanecen insuficientemente explorados, lo que limita el desarrollo de marcos de cuantificación generalizados y robustos.

Metodología: La Hipótesis del Vector de Sesgo

Este trabajo avanza en la comprensión de los picos masivos proponiendo la Hipótesis del Vector de Sesgo. Los autores argumentan que los picos no son meramente sesgos escalares, sino los intermediarios escalares de sesgos vectoriales estructurales y rígidos inherentes a la arquitectura del modelo.

1. Caracterización Geométrica

A través de un análisis mecanístico, el artículo establece que tras la normalización RMSNorm, los tokens que portan picos convergen a vectores constantes y rígidos ($\hat{x}_{sink} \to b$) con una varianza insignificante entre muestras, distintos de los tokens semánticos de alta varianza.

• Mecanismo de Sumidero de Atención (Attention Sink): Los pesos de proyección ($W^K$ y $W^Q$) interactúan para aislar este vector de sesgo. $W^K$ actúa como un amplificador contrastivo, separando la clave del sumidero de las claves semánticas, mientras que $W^Q$ alinea todas las consultas semánticas hacia esta clave de sumidero aislada, creando un atractor global.
• Drenaje de Estado de Valor (Value-State Drain): La matriz de proyección de valor ($W^V$) proyecta el vector de sesgo en el nul-espacio espectral. Consecuentemente, el vector de valor resultante es cercano a cero ($v_{sink} \approx 0$), asegurando que el token de sumidero no contribuya con ninguna actualización semántica al flujo residual, permitiendo efectivamente una operación de "no-op".
• Estabilidad Rotacional: El modelo preserva activamente estas estructuras rígidas contra las perturbaciones de la Incrustación Posicional Rotatoria (RoPE). Esto se logra localizando el sesgo en "zonas de estabilidad rotacional": específicamente, utilizando bandas de baja frecuencia (índices de canal altos donde los ángulos de rotación decaen) y pares de canales coherentes (índices $i$ e $i + d/2$) para mantener la robustez de la magnitud a pesar de la rotación.

2. El Marco INSERTQUANT

Aprovechando la idea de que los tokens de sumidero funcionan como sesgos estructurales estáticos en lugar de contenido semántico dinámico, los autores proponen INSERTQUANT, un marco de Cuantificación Post-Entrenamiento (PTQ).

• Clamp (Sujeción): Los tokens de sumidero se identifican durante una fase de calibración ligera y se sujetan quirúrgicamente a cero antes de entrar en las multiplicaciones de matrices. Esto elimina los picos masivos del flujo de activación, haciendo que las activaciones restantes sean estrictamente libres de picos y aptas para la cuantificación.
• Insert (Inserción): Para preservar la mecánica de "no-op" del modelo, el rol funcional de los tokens sujetos se restaura en las capas subsecuentes mediante la inyección de vectores de plantilla precomputados (vectores medios $K$ y $V$ derivados de la calibración) directamente en los inputs del mecanismo de atención.
• Generalización: A diferencia de los métodos basados en prefijos que dependen de identidades de tokens específicas (ej. <BOS>), INSERTQUANT opera en el espacio de embeddings, lo que le permite generalizarse a modalidades sin definiciones de tokens discretos, como los Vision Transformers (ViTs).

Contribuciones Clave

1. Hipótesis del Vector de Sesgo: El artículo establece que los picos masivos son los intermediarios escalares de vectores de sesgo rígidos. Demuestra que, mientras las magnitudes de los picos fluctúan, su dirección normalizada es invariante, sirviendo como un componente estructural del modelo.
2. Análisis Mecanístico: Los autores proporcionan un análisis geomético cuantitativo que muestra cómo los vectores de sesgo impulsan los sumideros de atención y los drenajes de estado de valor. Detallan la interacción con los pesos de proyección ($W^K, W^Q, W^V$) e identifican la localización de estos vectores en zonas de estabilidad rotacional (bandas de baja frecuencia y pares coherentes) como evidencia de la preservación estructural activa.
3. Marco INSERTQUANT: El trabajo introduce el primer marco de PTQ que explota la naturaleza sistemática de los picos. Al desacoplar los sesgos estructurales de los tokens de contenido, logra una cuantificación de alta fidelidad de bajo bit tanto en LLMs como en ViTs sin requerir ajuste fino (fine-tuning).

Resultados Experimentales

Los autores evalúan INSERTQUANT en múltiples LLMs (LLaMA-3.2-3B, LLaMA-2-7B/70B, Mistral-7B-v0.3) y Vision Transformers (CLIP ViT-L, DINOv2 ViT-L/B).

• Modelos de Lenguaje: En configuraciones estáticas de peso/activación/kv-cache de 4 bits ($W4A4sKV4$), INSERTQUANT logra paridad de rendimiento con métodos de vanguardia como PrefixQuant. Por ejemplo, en LLaMA-2-7B, alcanza una precisión de Razonamiento de Sentido Común (CSR) del 60.26% y una perplejidad de WikiText-2 de 6.31, igualando estrechamente la línea base de PrefixQuant (60.17% / 6.21) y superando significativamente a las líneas base de RTN y de rotación.
• Vision Transformers: INSERTQUANT se generaliza con éxito a los ViTs. En la configuración $W8A8sKV8$, mientras que la línea base RTN en DINOv2 ViT-B colapsa al 6.00% de precisión, INSERTQUANT preserva un 74.10% de precisión.
• Sobrecarga del Sistema: El marco introduce una latencia de sobrecarga insignificante (4.69%) y una sobrecarga de memoria mínima (0.007% de incremento para un modelo de 13.5GB) debido al pequeño tamaño de los vectores de plantilla almacenados.

Significancia y Reivindicaciones

El artículo afirma que una cuantificación efectiva requiere un entendimiento mecanístico de cómo los LLMs utilizan los picos para permitir operaciones de "no-op". Al reformular los picos masivos como características estructurales de nivel de vector en lugar de valores atípicos numéricos, los autores demuestran que estos artefactos pueden ser eliminados quirúrgicamente y restaurados funcionalmente.

La significancia de este trabajo radica en:

1. Profundización en la Comprensión del Modelo: Revela la naturaleza rígida y determinista de los sumideros de atención y su coordinación geométrica con RoPE, yendo más allá de las interpretaciones escalares.
2. Solución de Cuantificación Unificada: Establece un marco que trasciende las modalidades de texto, ofreciendo una solución robusta para cuantificar diversas arquitecturas (LLMs y ViTs) sin depender de identidades de tokens heurísticas.
3. Eficiencia de Hardware: Al permitir espacios de activación estrictamente libres de picos, INSERTQUANT facilita una inferencia de bajo bit robusta (ej. 4-bit) que anteriormente era inalcanzable con los esquemas de cuantificación estática por tensor.

Los autores se mantienen modestos respecto a las garantías teóricas, señalando que, si bien proporcionan una interpretación mecanística y evidencia empírica, no ofrecen una prueba teórica de por qué el proceso de entrenamiento converge inherentemente a esta solución geométrica específica. También reconocen que su método es innecesario para modelos pre-entrenados con modificaciones arquitectónicas diseñadas para suprimir estos picos de forma nativa.