💬 NLP

GLASS: Global-Local Aggregation for Inference-time Sparsification of LLMs

GLASS es un marco sin entrenamiento que mejora la esparsificación durante la inferencia para modelos de lenguaje grandes mediante la agregación de activaciones locales específicas del prompt y priores globales intrínsecos al modelo a través de la agregación de rangos, estabilizando así la poda dinámica de FFN y mejorando significativamente la fidelidad de generación y la velocidad de decodificación, particularmente en escenarios de prompts cortos y larga extensión.

Autores originales: Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante e increíblemente inteligente (un Modelo de Lenguaje Grande, o LLM) que puede escribir historias, responder preguntas y resolver problemas. Pero esta biblioteca es tan masiva que no cabe en tu teléfono ni en tu portátil. Es demasiado pesada, demasiado lenta y requiere demasiada energía para funcionar.

Para hacerla funcionar en tu dispositivo, necesitas "poda"—esencialmente, necesitas decirle que ignore el 50% de sus células cerebrales internas (neuronas) mientras piensa, para que funcione más rápido y use menos memoria.

El Problema: El "Juego de Adivinanzas" de los Prompts Cortos
Los métodos existentes intentan decidir qué células cerebrales mantener mirando lo primero que escribes (el "prompt"). Dicen: "Bien, has hecho una pregunta corta, así que mantendremos activas estas neuronas específicas".

El artículo argumenta que esto es como intentar planificar todo un viaje por carretera basándose en el primer paso que das al salir de la puerta.

Prompts Cortos: Si haces una pregunta corta, el modelo no tiene suficiente información para saber qué neuronas son realmente importantes para la respuesta larga que está a punto de generar.
Respuestas Largas: A medida que el modelo comienza a escribir una historia larga, la "importancia" de las neuronas cambia. Las que parecían importantes para la pregunta corta podrían ser inútiles para el resto de la historia.
El Resultado: El modelo se confunde, comete errores y la calidad de la escritura disminuye porque mantuvo activas las neuronas incorrectas y desactivó las correctas.

La Solución: GLASS (Agregación Global-Local)
Los autores proponen un nuevo método llamado GLASS. Piensa en GLASS como un gerente inteligente que toma decisiones utilizando dos fuentes de información diferentes, en lugar de solo una.

La Vista Local (La Señal del "Ahora Mismo"): Esto observa lo que acabas de escribir. Pregunta: "Basado en esta pregunta específica, qué neuronas se están iluminando ahora mismo?". Esto es bueno para el contexto pero poco fiable para preguntas cortas.
La Vista Global (La Señal "Intrínseca"): Esta es la gran innovación del artículo. Antes de que el modelo vea tu pregunta, los investigadores realizaron una prueba especial donde dejaron que el modelo hablara consigo mismo usando un prompt vacío (solo un espacio en blanco). Preguntaron: "¿Qué neuronas usa este modelo siempre, sin importar qué?". Esto crea una "chuleta" de las células cerebrales más importantes y fiables del modelo.

Cómo Funciona GLASS: La Analogía del "Ranking"
GLASS no elige solo una u otra. Utiliza un sistema de votación inteligente llamado Agregación de Rankings.

Imagina que estás eligiendo un equipo para un partido de deportes:

El Entrenador Local dice: "El Jugador A es genial para este partido específico".
El Entrenador Global dice: "El Jugador A es el mejor jugador que tenemos, punto, basado en toda su carrera".

Si solo escuchas al Entrenador Local, podrías elegir a un jugador que es bueno para una jugada pero malo para todo el partido. Si solo escuchas al Entrenador Global, podrías elegir a una estrella que no encaja en la estrategia específica.

GLASS combina ambos. Toma la lista "Local" y la lista "Global" y las fusiona. Si una neurona está clasificada alta por ambos entrenadores, definitivamente se queda. Si un entrenador no está seguro (como cuando el prompt es corto), la opinión del otro entrenador salva el día.

El Truco de la "Estimulación con Prompt Nulo" (NPS)
Para obtener esa "chuleta Global" sin necesidad de un conjunto masivo de datos de libros o artículos de Wikipedia, los autores utilizaron un truco llamado Estimulación con Prompt Nulo.

En lugar de alimentar al modelo con un libro para leer, simplemente lo dejaron generar texto desde la nada (un prompt "nulo").
Esto obliga al modelo a depender completamente de su propio cableado interno. Es como pedirle a un músico que toque una escala sin partitura para ver qué dedos usa naturalmente más. Esto proporciona un mapa puro y sin sesgos de las neuronas más críticas del modelo.

Los Resultados: Más Rápido y Más Inteligente
El artículo probó GLASS en muchos modelos diferentes (como Llama, Gemma y Mistral) y encontró:

Mejor Calidad: Cuando se le pidió escribir historias largas a partir de prompts cortos, GLASS cometió muchos menos errores que los métodos anteriores. Estuvo mucho más cerca de la calidad del modelo completo, sin podar.
Mayor Velocidad: En un Samsung Galaxy S25 Ultra (un teléfono de gama alta), GLASS hizo que el modelo funcionara hasta 11 veces más rápido en algunos casos. Esto sucedió porque el modelo se volvió lo suficientemente pequeño para caber completamente en la memoria rápida del teléfono, evitando el proceso lento de intercambiar datos constantemente dentro y fuera.

En Resumen
GLASS es una herramienta "plug-and-play" que hace que los grandes modelos de IA funcionen en dispositivos pequeños. Soluciona el problema de "adivinar mal" en preguntas cortas combinando lo que el modelo está haciendo ahora mismo con lo que el modelo es naturalmente bueno, asegurando que la IA se mantenga inteligente y rápida, incluso cuando trabaja con recursos limitados.

Resumen Técnico: GLASS – Agregación Global-Local para la Esparsificación en Tiempo de Inferencia de LLMs

1. Declaración del Problema

Desplegar Modelos de Lenguaje Grandes (LLMs) en dispositivos periféricos con recursos limitados requiere reducir el tráfico de memoria y la demanda computacional. Mientras que el podado estático elimina parámetros de forma permanente, el podado dinámico (saltar la computación según la entrada) ofrece una alternativa flexible. Sin embargo, los métodos existentes de podado dinámico sin entrenamiento para Redes de Alimentación Avanzada (FFN) dependen exclusivamente de señales derivadas del prompt (activaciones locales durante la fase de prellenado) para estimar la importancia de las neuronas.

Los autores identifican un modo de fallo crítico en estos enfoques de "solo prompt":

Falta de fiabilidad en prompts cortos: Para prompts cortos, la señal de activación local es insuficiente para predecir con precisión qué neuronas son críticas para la generación posterior de texto largo.
Deriva de la máscara: Los patrones de activación durante la fase de decodificación a menudo se desvían significativamente de la máscara de prellenado, lo que conduce a máscaras de podado inexactas.
Fidelidad degradada: Esta deriva resulta en una calidad de generación deficiente (alta perplejidad y divergencia KL) durante la decodificación de texto largo, particularmente cuando el prompt es corto.

Actualizar las máscaras en línea para corregir esta deriva es posible, pero introduce sobrecarga computacional y anula los beneficios de mantener un subconjunto fijo y compacto de pesos residente en memoria rápida (una ventaja clave para el despliegue en dispositivos periféricos).

2. Metodología: GLASS

Los autores proponen GLASS (Agregación Global-Local para Esparsificación), un marco plug-and-play, sin entrenamiento, que estabiliza el podado dinámico de FFN agregando dos visiones complementarias de la criticidad neuronal: activaciones locales específicas del prompt y un prior intrínseco global del modelo.

2.1 Estimación del Prior Global mediante Estimulación de Prompt Nulo (NPS)

En lugar de depender de conjuntos de datos externos (por ejemplo, Wikipedia) que pueden introducir sesgos de corpus, GLASS calcula un prior global utilizando Estimulación de Prompt Nulo (NPS).

Mecanismo: El modelo genera texto desde sí mismo utilizando un prompt nulo (por ejemplo, una cadena vacía o un token BOS) bajo configuraciones de muestreo típicas.
Beneficio: Esto sondea la utilización intrínseca de neuronas del modelo sin sesgo de datos externos.
Dos Variantes de Importancia Global ( $M^g$ ):
1. A-GLASS (Magnitud de Activación): Calcula la magnitud promedio de activación normalizada con $\ell_2$ de las neuronas sobre las secuencias NPS.
2. I-GLASS (Impacto Neuronal): Calcula el impacto de eliminar una neurona sobre la pérdida de entropía cruzada utilizando una expansión de Taylor de primer orden (similar al podado por Taylor). Los gradientes se calculan mediante fuerza de enseñanza (teacher-forcing) sobre la secuencia NPS auto-generada.

2.2 Agregación de Rangos

GLASS fusiona la señal local ( $A^l$ , derivada del prompt de entrada) y la señal global ( $M^g$ , derivada de NPS) utilizando una regla de agregación de rangos ponderada.

Clasificación: Tanto las puntuaciones de importancia local como global se convierten en rangos ( $R^{(l)}$ y $R^{(g)}$ ) para manejar diferencias en escala y distribución.
Interpretación Probabilística: Los autores interpretan GLASS como la búsqueda de la clasificación de consenso Máxima A Posteriori (MAP) bajo un modelo probabilístico basado en permutaciones (específicamente, un modelo tipo Mallows con distancia de rango de Spearman al cuadrado).
Fórmula de Fusión: La puntuación final para la neurona $j$ es una suma ponderada de sus rangos:
$GLASS_j = (1 - \lambda)R^{(l)}_j + \lambda R^{(g)}_j$
Donde $\lambda$ equilibra la fiabilidad de la evidencia local frente a la global. La configuración predeterminada es $\lambda = 0.5$ , asumiendo fiabilidad igual.
Selección: Las $k$ mejores neuronas con las puntuaciones GLASS más altas se seleccionan para formar la máscara de podado, la cual se aplica luego durante la fase de decodificación.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

Identificación de Modos de Fallo: Los autores demuestran que la esparsificación sin entrenamiento basada solo en prompts falla en escenarios de prompt corto y generación larga debido a la deriva de activación, lo que conduce a una fidelidad de generación degradada.
Marco GLASS: Introducción de un marco plug-and-play, sin entrenamiento, que fusiona evidencia local del prompt con un prior global intrínseco del modelo (calculado mediante NPS) para producir máscaras robustas.
Fundamento Teórico: Una interpretación probabilística de GLASS como una clasificación de consenso MAP bajo un modelo tipo Mallows, proporcionando una justificación principista para la regla de agregación de rangos ponderada.
Rendimiento Empírico: Demostración de mejoras sustanciales sobre las líneas base sin entrenamiento anteriores (específicamente GRIFFIN) en escenarios desafiantes, logrando hasta un 45.10% menos de perplejidad y un 25.73% menos de divergencia KL al 50% de esparsidad, junto con aceleraciones significativas en el dispositivo.

4. Resultados Experimentales

Los autores evaluaron GLASS en un conjunto diverso de LLMs de código abierto (incluyendo las familias Gemma, Llama, Mistral, OPT, Qwen y Phi) en benchmarks de clasificación, generación corta y generación larga.

Generación de Texto Largo (Benchmark Alpaca): GLASS supera significativamente a la línea base sin entrenamiento más fuerte (GRIFFIN).
- Gemma 3n E2B: Logró un 45.10% menos de perplejidad y un 25.73% menos de divergencia KL en comparación con GRIFFIN.
- Gemma 2 27B: Logró un 12.48% menos de perplejidad y un 22.80% menos de divergencia KL.
- Llama 3 8B: Logró un 23.28% menos de perplejidad y un 21.98% menos de divergencia KL.
Texto Corto y Clasificación: GLASS se desempeña de manera comparable a GRIFFIN en tareas estándar de clasificación y generación corta, lo que indica que el prior global es más crítico para la estabilidad en la generación larga.
Análisis de Superposición con Oráculo: Los experimentos muestran que la agregación Global-Local produce máscaras que están significativamente más cerca de un conjunto "oráculo" de neuronas críticas (la similitud de Jaccard aumentó de ~0.52 a ~0.60) en comparación con el uso de señales locales o globales por separado.
NPS vs. WikiText: El uso de NPS para la estimación del prior global supera consistentemente al uso de estadísticas basadas en WikiText, confirmando que NPS proporciona estimaciones de importancia más fiables y libres de sesgos.
Rendimiento en Dispositivo: Evaluado en un Samsung Galaxy S25 Ultra.
- Para Gemma 7B, la reducción del 50% en FFN permitió que el modelo residiera completamente en RAM, generando una aceleración de decodificación de ~11× en comparación con la línea base densa (que sufría de intercambio de memoria).
- Para Llama 3 8B, se observó una aceleración del 42%.

5. Significado y Afirmaciones

El artículo afirma que GLASS desbloquea aceleraciones fiables para dispositivos periféricos, particularmente para cargas de trabajo caracterizadas por prompts cortos y generaciones largas, que son comunes en aplicaciones de consumo.

Robustez: Al fusionar conocimiento global intrínseco al modelo, estable y estable, con evidencia local específica del contexto, GLASS mitiga el problema de "deriva" que afecta a los métodos basados solo en prompts.
Eficiencia: Mantiene los beneficios de las máscaras estáticas (residencia fija de pesos en memoria rápida) mientras se adapta dinámicamente a los contextos de entrada sin la sobrecarga de entrenar predictores auxiliares o recalcular máscaras por token.
Generalidad: El método es agnóstico al modelo y no requiere entrenamiento, lo que lo hace aplicable a una amplia gama de LLMs preentrenados sin ajuste fino.
Solidez Teórica: El método no es una heurística ad hoc, sino que se basa en un modelo de clasificación de consenso probabilístico.

Los autores concluyen que el conocimiento global intrínseco al modelo es un recurso crucial, previamente subutilizado, para mejorar la esparsificación impulsada por prompts, permitiendo una inferencia eficiente en hardware con recursos limitados.