💬 NLP

Measuring Maximum Activations in Open Large Language Models

Este trabajo presenta una medición exhaustiva de las magnitudes de activación máxima en 27 checkpoints de LLM abiertos modernos, revelando que los valores máximos varían en casi cuatro órdenes de magnitud dependiendo de la familia y la arquitectura del modelo, más que del número de parámetros, con los modelos MoE mostrando picos significativamente más bajos que sus contrapartes densas, estableciendo así la activación máxima como una propiedad crítica y no monótona que debe ser reportada para garantizar una cuantización estable de bajo bit.

Autores originales: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Publicado 2026-05-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo una biblioteca digital gigante donde los libros son leídos por un robot muy rápido, pero algo frágil. Este robot (el modelo de IA) lee las palabras una por una y las hace pasar por una serie de habitaciones (capas) para entender la historia. Dentro de estas habitaciones, el robot genera "niveles de excitación" (activaciones) para cada palabra que procesa.

La mayor parte del tiempo, estos niveles de excitación son tranquilos y manejables. Pero a veces, por una fracción de segundo, el robot se vuelve extremadamente excitado por una palabra específica, creando un pico masivo de energía.

Este artículo es como un informe de inspección de seguridad para 27 versiones diferentes de estos robots, que van desde pequeños hasta enormes, y de distintos fabricantes (como Qwen, Gemma y GPT-OSS). Los investigadores querían responder una pregunta simple pero crítica: ¿Qué tan altos pueden llegar a ser estos picos de energía, y determina el tamaño del robot la altura del pico?

Aquí está lo que descubrieron, usando analogías simples:

1. El problema del "botón de volumen"

Piensa en la energía interna del robot como un botón de volumen. Para ahorrar espacio y hacer que el robot funcione más rápido en hardware económico, los ingenieros a menudo intentan bajar el volumen a una configuración baja (cuantización).

El problema: Si el robot de repente grita a un volumen de 1.000.000, pero configuras tu botón de volumen para manejar solo hasta 10.000, ese grito se "recorta" o distorsiona. El robot olvida el matiz de esa palabra y toda la historia se vuelve ininteligible.
El hallazgo: Los investigadores midieron el grito más fuerte (la activación máxima) en todos estos robots. Descubrieron que la "sonoridad" varía enormemente. Algunos robots (como Qwen3.5) son como un susurro, mientras que otros (como Gemma3) son como un motor a reacción despegando.

2. Más grande no siempre significa más fuerte

Podrías pensar que un robot más grande (con más parámetros) naturalmente sería más fuerte.

La analogía: Es como asumir que un coche más grande siempre tiene un motor más ruidoso.
La realidad: Los investigadores descubrieron que esto no es cierto. Un robot pequeño de una familia podría gritar mucho más fuerte que un robot gigante de una familia diferente. La "sonoridad" depende más de quién lo construyó (la arquitectura) y cómo lo entrenaron (la receta) que solo de su tamaño.
- Ejemplo: Se encontró que un robot Gemma3 era aproximadamente 700.000 veces más fuerte que un robot Qwen3.5 de tamaño similar.

3. El atajo "MoE"

Algunos robots usan un truco especial llamado "Mezcla de Expertos" (MoE). Imagina una biblioteca donde, en lugar de un solo bibliotecario gigante leyendo cada libro, hay 100 especialistas pequeños, y solo los 2 o 3 adecuados son llamados para cada libro.

El hallazgo: Se descubrió que estos robots "MoE" eran mucho más silenciosos. Sus gritos más fuertes eran 14 a 23 veces más bajos que sus primos "densos" (no especialistas) del mismo tamaño. Parece que usar especialistas mantiene la energía más contenida.

4. ¿Dónde ocurre el grito?

Los investigadores rastrearon exactamente dónde en el cerebro del robot ocurrían estos picos.

El hallazgo: En casi todos los casos (22 de 24 robots), el grito más fuerte ocurría en el pasillo principal (la corriente residual) donde la información fluye de una habitación a la siguiente. No solía ser en las habitaciones laterales (como las habitaciones de atención o las de matemáticas).
El patrón: Algunos robots tienen picos al principio y se mantienen fuertes (como un salto y sostén), mientras que otros se acumulan lentamente y alcanzan su máxima fuerza al final (como una subida gradual).

5. El entrenamiento cambia el volumen

También observaron robots en diferentes etapas de entrenamiento, como un estudiante aprendiendo una nueva habilidad.

El hallazgo: A medida que el robot entrena más (viendo más libros), tiende a volverse ligeramente más fuerte. No es un salto enorme, pero el "volumen" sí aumenta a medida que el robot se vuelve más inteligente.

La conclusión para los constructores

El artículo concluye que no puedes adivinar qué tan fuerte será un robot solo mirando su tamaño.

La lección: Antes de intentar reducir el tamaño de estos robots para que funcionen en dispositivos pequeños (como teléfonos), debes medir su grito más fuerte primero. Si no lo haces, podrías configurar tu botón de volumen demasiado bajo, y el robot comenzará a alucinar o cometer errores porque no puede manejar los picos repentinos de energía.

Los autores han publicado sus herramientas de medición para que cualquiera que construya estos robots pueda verificar esta "sonoridad" antes de intentar comprimirlos, asegurando que el robot permanezca estable y preciso.

Resumen Técnico: Medición de las Máximas Activaciones en Modelos de Lenguaje Grandes Abiertos

Enunciado del Problema

El rango dinámico de las activaciones en Modelos de Lenguaje Grandes (LLM) es una restricción crítica para la cuantización de bajo bit, la escalado de activaciones y la inferencia estable. Investigaciones anteriores han caracterizado las "características atípicas" y las "activaciones masivas" principalmente en modelos estilo LLaMA anteriores a 2024 (por ejemplo, OPT, BLOOM). Sin embargo, el panorama de despliegue ha cambiado significativamente con el lanzamiento de diversos modelos abiertos posteriores a LLaMA (por ejemplo, Qwen3.5, Gemma3, GPT-OSS) que varían en pilas de normalización, MLPs con compuertas, enrutamiento de Mezcla de Expertos (MoE), adaptación multimodal y etapas de entrenamiento.

La literatura existente trata las activaciones masivas ya sea como un fenómeno categórico binario (existencia de valores atípicos) o como un obstáculo específico para técnicas de mitigación de cuantización (por ejemplo, SmoothQuant, AWQ). Existe una falta de medición sistemática y unificada respecto a:

Qué tan grandes pueden llegar a ser las activaciones en LLMs abiertos modernos.
Cómo varía la magnitud de las activaciones entre diferentes familias, generaciones, arquitecturas (densas vs. MoE) y etapas de entrenamiento.
Si el número de parámetros por sí solo sirve como un proxy confiable para el rango de activación.

Metodología

Los autores proponen una encuesta empírica unificada para medir la magnitud global de la máxima activación, definida como $M = \max |a|$ , en un conjunto diverso de modelos.

1. Datos y Corpus:

Un corpus de evaluación compartido de 5,000 muestras de texto de múltiples dominios (Matemáticas, Código, Web en Inglés, Conocimiento/PA, Chino, Idiomas de bajos recursos, Web Mixta).
Las longitudes de secuencia se agrupan en intervalos (de 256 a 4096 tokens), con una fuerte inclinación hacia contextos largos (93% en 4096 tokens).
Tokenización: El mismo texto crudo se re-tokeniza para cada familia de modelos para evitar artefactos de desajuste del tokenizador.

2. Suite de Modelos:

27 Puntos de control de 8 familias abiertas: Qwen2.5, Qwen2.5-VL, Qwen3, Qwen3.5, Gemma2, Gemma3, Ling y GPT-OSS.
Incluye variantes densas, MoE, visión-idioma, de entrenamiento intermedio y ajustadas por instrucciones.
Se realizan comparaciones específicas para escalas coincidentes (por ejemplo, MoE vs. Densa, Base vs. Instrucción).

3. Protocolo de Medición:

Inferencia solo hacia adelante: Pesos congelados; sin actualizaciones de parámetros.
Instrumentación: Los ganchos hacia adelante de PyTorch recopilan estadísticas de activación de seis clases de componentes:
- Salidas de incrustación (Embedding)
- Estados ocultos por capa (post-residuo)
- Salidas de atención
- Salidas de MLP o MoE
- Pre-activaciones de la compuerta SwiGLU
- Salidas finales de LayerNorm
Estadísticas: Para cada componente, la pipeline registra media, desviación estándar, RMS, valor absoluto medio, máximo/mínimo y cuantiles de valor absoluto.
Verificación de Estabilidad: Experimentos de muestreo aleatorio (1k y 2k muestras repetidas 5 veces) confirman que los máximos globales reportados son estadísticamente robustos y no artefactos de muestras individuales.

4. Marco de Análisis:

El estudio pasa de un criterio binario de "activación masiva" (basado en Sun et al. [29]: $|x_i| > 100$ y ratio local $> 1000\times$ ) a una métrica continua $M$ .
Las comparaciones se realizan en: escalado dentro de la familia, magnitud entre familias, evolución generacional, MoE vs. Densa, Visión-Lenguaje vs. Solo texto, Base vs. Instrucción, y evolución de la etapa de entrenamiento.
Una verificación de cordura INT-8 ligera correlaciona los máximos medidos con el error de reconstrucción (SQNR) bajo diferentes estrategias de escalado.

Contribuciones Clave

Encuesta Trans-Familia Más Grande: La primera medición con protocolo unificado de las máximas activaciones globales en 24 puntos de control posteriores a LLaMA de 8 familias, superando la monocultura derivada de LLaMA de trabajos anteriores.
Reformulación de Magnitud Continua: Reemplaza la bandera binaria de valores atípicos con la estadística continua $M = \max |a|$ . Los autores demuestran que el criterio binario y la magnitud continua pueden discrepar; algunos modelos que fallan el criterio binario son más fáciles de cuantizar, mientras que algunos que lo superan son más difíciles.
Comparaciones de Diseño Coincidente: Proporciona descomposiciones observacionales de cómo la escala, la familia, la generación, la arquitectura (MoE/Densa), la modalidad (VL/Texto) y el progreso del entrenamiento (Base/Instrucción/Etapa) afectan los picos de activación.
Pipeline Abierto: Libera código de medición basado en ganchos y estadísticas por punto de control para apoyar la reproducibilidad.

Resultados Clave

1. Variabilidad de Magnitud y Escalado

Ordenes de Magnitud: Los máximos globales abarcan casi cuatro órdenes de magnitud ( $10^2$ $1 0^{2}$ a $10^5$ $1 0^{5}$ ) en conteos de parámetros comparables.
- Rango Bajo: Qwen3.5 y los puntos de control MoE a menudo caen en el rango de $10^2$ – $10^3$ .
- Rango Alto: Gemma3-27B-it alcanza $\sim 7 \times 10^5$ .
Escalado No Monotónico: Las comparaciones entre familias y entre generaciones rompen el escalado monotónico simple. Por ejemplo, las activaciones de Qwen3.5 están significativamente suprimidas en comparación con Qwen3, mientras que Gemma3 muestra un aumento agudo sobre Gemma2. El número de parámetros por sí solo es un proxy poco fiable para el rango de activación.

2. Efectos Arquitectónicos y de Entrenamiento

MoE vs. Densa: Los puntos de control MoE exhiben magnitudes pico 14.0–23.4× más bajas que sus contrapartes densas de escala coincidente (por ejemplo, Qwen3-30B-A3B vs. Qwen3-32B).
Dominancia del Flujo Residual: El flujo residual (estados ocultos por capa) porta el máximo global en 22 de 24 puntos de control principales. GPT-OSS-20B es una excepción donde la salida de MLP porta el pico; Qwen3.5-0.8B alcanza su pico en el LayerNorm final.
Ajuste de Instrucción (SFT): El SFT principalmente comprime los picos de capas tardías (por ejemplo, Qwen2.5-32B Instruct muestra una reducción de 1.4× en el pico global en comparación con Base) sin reorganizar las estructuras de capas medias.
Progreso de Entrenamiento: En la serie Ling-mini, el aumento de los tokens de entrenamiento (de 5T a 20T) conduce a un aumento monotónico en la máxima activación global (aumento de 1.34×).

3. Patrones por Capa

Se observan dos trayectorias distintas por capa:

Salto y Meseta: La magnitud de la activación aumenta bruscamente en las capas tempranas/medias y permanece alta (por ejemplo, Qwen2.5, GPT-OSS).
Acumulación Gradual: La magnitud aumenta suavemente con la profundidad, alcanzando su punto máximo en capas posteriores (por ejemplo, Qwen3.5, Gemma).

4. Implicaciones para la Cuantización

Una verificación de cordura INT-8 ligera revela que los máximos medidos más altos ( $M$ ) se correlacionan con una Relación Señal-Ruido de Cuantización (SQNR) sustancialmente más baja al usar escalado estándar por tensor (máximo-abs o recorte del 99.9%).
Los modelos con baja $M$ (por ejemplo, Qwen3.5-0.8B) mantienen un SQNR alto (~29 dB), mientras que los modelos de alta $M$ caen a ~10–14 dB o menos bajo recorte.

Significado y Afirmaciones

El artículo concluye que la magnitud de la máxima activación es una propiedad del modelo vinculada a la familia, la arquitectura y la etapa de entrenamiento, no un simple subproducto del tamaño.

Relevancia para el Despliegue: $M$ debe medirse y reportarse junto con cualquier lanzamiento de pesos abiertos como parte de una tarjeta de modelo orientada al despliegue. Informa directamente la selección de escalas de activación y estrategias de cuantización.
Complementariedad: Este trabajo es ortogonal a estudios mecanísticos (que explican por qué existen los valores atípicos) y a artículos de mitigación de cuantización (que transforman el límite superior). Este artículo proporciona la línea base empírica de qué tan grandes son los límites en el ecosistema actual.
Limitaciones: Los autores declaran explícitamente que no afirman mecanismos causales para las diferencias observadas. El estudio es observacional, limitado a modelos abiertos y utiliza un corpus fijo (hasta 4k tokens). La verificación INT-8 es una prueba de cordura, no una evaluación completa de cuantización de extremo a extremo.

Los autores recomiendan que las futuras pipelines de despliegue traten a $M$ como un prior crítico para el riesgo de cuantización, reconociendo que la identidad de la familia y la generación son al menos tan importantes como el número de parámetros para determinar el rango dinámico de las activaciones.