🤖 machine learning

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Este artículo presenta PORTA, un marco de poda agnóstico a la tarea y sin necesidad de reentrenamiento para modelos de visión y lenguaje que aprovecha la variación de la activación y la asignación de escasez adaptativa para lograr altas tasas de compresión manteniendo un amplio rendimiento en tareas posteriores sin requerir datos específicos de la tarea o ajuste fino.

Autores originales: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Publicado 2026-08-10

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro de robot súper inteligente que puede mirar una imagen y leer una oración, y luego entender instantáneamente cómo se conectan. Este es el mundo de los Modelos de Visión-Lenguaje (VLM). Piensa en estos modelos como bibliotecas gigantes y hambrientas que han leído todos los libros y visto todas las fotos en internet. Son increíbles para resolver acertijos, responder preguntas y encontrar imágenes específicas, pero hay un inconveniente: son increíblemente pesados. Requieren computadoras masivas con enormes cantidades de memoria y potencia para funcionar, algo así como intentar cargar una biblioteca en tu mochila mientras haces senderismo por una montaña. Debido a esto, es muy difícil poner estos robots inteligentes en dispositivos más pequeños como teléfonos o tabletas.

Para solucionar esto, los científicos utilizan una técnica llamada poda (pruning). Imagina que el cerebro del robot es una red masiva de conexiones. La poda es como cortar cuidadosamente los hilos diminutos e inútiles que no ayudan al robot a pensar, dejando solo los más fuertes e importantes. Esto hace que el robot sea más ligero y rápido sin que olvide cómo hacer su trabajo. Sin embargo, la mayoría de las formas existentes de decidir qué hilos cortar son como usar un mapa destinado a un país diferente; a menudo necesitan pruebas de práctica específicas (datos) para cada tarea que el robot pueda enfrentar, o se confunden cuando el robot cambia de mirar imágenes a leer palabras. Este artículo aborda el problema de cómo recortar estos cerebros gigantes una sola vez, de manera perfecta, para que puedan funcionar en cualquier lugar sin necesidad de ser reentrenados o reajustados para cada nuevo trabajo.

El recorte de cerebro "Una vez y listo"

Conoce a PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), un nuevo método introducido por los investigadores Minseok Kang y su equipo. Su objetivo era resolver un problema frustrante: los métodos de poda actuales a menudo actúan como un sastre que necesita tomarte medidas para un traje cada vez que quieres usar una camisa diferente. Si quieres que el robot haga clasificación de imágenes, lo podas de una manera; si quieres que haga recuperación de información, tienes que podarlo de nuevo. Esto es lento y costoso. PORTA es diferente. Es como un maestro sastre que mira la tela una vez, la corta perfectamente y luego el traje resultante te queda bien para cualquier ocasión, ya sea que estés corriendo una carrera, sentado en una reunión o bailando en una fiesta.

El artículo sugiere que la razón principal por la que otros métodos fallan en este enfoque de "una vez y listo" es que dependen del tamaño (magnitud) de las señales internas del robot para decidir qué mantener. Los autores argumentan que en estos modelos gigantes, el tamaño de una señal puede ser engañoso porque la parte del "lenguaje" del cerebro y la parte de la "visión" del cerebro se comportan de manera diferente. Es como intentar juzgar la importancia de un grito en una biblioteca frente a un grito en un estadio; el volumen (magnitud) es diferente, pero el significado puede ser el mismo. Debido a esto, los métodos que solo miran el volumen suelen cortar lo que no deben, especialmente cuando se le pide al robot que realice una tarea que no ha visto antes.

La receta secreta: Varianza sobre Volumen

En lugar de escuchar qué tan fuerte es una señal, PORTA escucha qué tan cambiante es. Los investigadores llaman a esto variación de activación.

Aquí está la analogía: Imagina a un grupo de estudiantes en un salón de clases.

La forma antigua (Magnitud): El profesor pregunta: "¿Quién es el más ruidoso?" y mantiene solo a los estudiantes que gritan más. Pero tal vez el estudiante más ruidoso solo está gritando porque está emocionado por un tema específico, mientras que el estudiante silencioso en realidad está prestando atención a todo lo que dice el profesor.
La forma de PORTA (Varianza): El profesor pregunta: "¿Quién cambia su respuesta más dependiendo de la pregunta?". El estudiante que adapta su respuesta basándose en el tema es el que realmente comprende el material.

En el cerebro del robot, PORTA busca características que muestren mucha variación (fluctuación) a través de diferentes entradas. Si una parte del cerebro reacciona de manera diferente a muchas imágenes o palabras distintas, está realizando un trabajo importante. Si una parte del cerebro permanece igual sin importar lo que le muestres, probablemente sea peso muerto. Al usar este puntaje de "cambiabilidad", PORTA puede determinar qué partes del robot son verdaderamente útiles, independientemente de si está mirando un gato o leyendo un poema. Esto hace que la poda sea "agnóstica a la modalidad", lo que significa que trata las partes de visión y lenguaje de manera justa, sin sesgar el recorte hacia un lado.

El corte inteligente: No todas las capas son iguales

Una vez que PORTA sabe qué características son importantes, tiene que decidir cuánto cortar de cada capa del cerebro del robot. El cerebro no es un bloque uniforme; algunas capas son como los cimientos de una casa y otras son como el techo. No recortarías los cimientos tan agresivamente como el techo.

PORTA utiliza un mecanismo de dispersión adaptativa muy ingenioso. Observa cuánto "trabajo" está haciendo cada capa basándose en la variación de su salida.

Si una capa está haciendo un gran esfuerzo (alta variación en su salida), PORTA dice: "¡No toques tanto!" y le asigna una baja tasa de poda (mantiene la mayor parte).
Si una capa solo está de paso (baja variación), PORTA dice: "Podemos reducir esto significamente".

Esto asegura que el robot no pierda su capacidad de pensar solo porque intentamos hacerlo más pequeño. El artículo muestra que este método evita los "abismos de rendimiento" donde otros métodos caen repentinamente cuando intentas cortar demasiado.

Los resultados: Más fuerte, más ligero, listo para cualquier cosa

Los investigadores probaron PORTA en tres cerebros robóticos famosos: CLIP, BLIP y Qwen2-VL. No solo lo probaron en una tarea; le lanzaron de todo:

Clasificación de imágenes: Identificar qué hay en una imagen (como distinguir entre una flor y un perro).
Recuperación (Retrieval): Encontrar la imagen correcta para una descripción de texto (o viceversa).
VQA (Preguntas y respuestas visuales): Responder preguntas complejas sobre una imagen.

Los resultados fueron impresionantes. Incluso cuando eliminaron el 65% de los parámetros del robot (haciéndolo muy pequeño), PORTA mantuvo el rendimiento del robot mucho mejor que otros métodos.

En el modelo CLIP, con un 65% de dispersión, PORTA mejoró el rendimiento promedio en un 12.6% en comparación con un método llamado SparseGPT y en un 21.5% en comparación con Wanda.
En BLIP (con un 45% de dispersión), PORTA logró una puntuación media de 90.26, superando el 89.95 de SparseGPT.
En Qwen2-VL (con un 50% de dispersión), PORTA alcanzó una precisión promedio de 54.30, superando al siguiente mejor método (Wanda) por 0.87 puntos porcentuales.

Quizás lo más importante es que PORTA es robusto. El artículo muestra que no importa si usas un conjunto pequeño de imágenes para "calibrar" la poda o uno grande, o si usas imágenes de un sitio web u otro. PORTA se mantiene estable, mientras que otros métodos oscilan salvajemente en su rendimiento dependiendo de los datos utilizados.

La conclusión

PORTA sugiere que no necesitamos reentrenar estos modelos gigantes para hacerlos más pequeños. Simplemente observando cuánto cambian las señales internas del robot en lugar de qué tan fuertes son, y recortando más de las capas que hacen menos trabajo, podemos crear un modelo único y esbelto que esté listo para cualquier trabajo. Es un enfoque de "podar una vez, usar para siempre" que finalmente podría permitir que estos modelos de visión-lenguaje súper inteligentes funcionen en los dispositivos que llevamos en nuestros bolsillos, sin necesidad de una supercomputadora para alimentarlos. Los autores confirman esto mediante extensos experimentos de cero disparos (zero-shot), demostiendo que un modelo podado con PORTA puede saltar directamente a nuevas tareas sin ningún entrenamiento adicional, manteniendo una alta precisión incluso cuando está fuertemente comprimido.

Resumen Técnico: PORTA – Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Declaración del Problema

Los Modelos de Visión y Lenguaje (VLMs) han demostrado una generalización notable en diversas tareas multimodales mediante el preentrenamiento a gran escala. Sin embargo, su creciente número de parámetros y sus requisitos computacionales dificultan su despliegue en entornos con recursos limitados. Aunque las técnicas de compresión de modelos como la poda (pruning) son esenciales, las estrategias existentes enfrentan limitaciones significativas en el contexto de los VLMs:

Dependencia de la Tarea: La mayoría de los métodos de poda dependen de criterios específicos de la tarea o de datos de calibración. Cuando la tarea descendente cambia, el modelo suele requerir una nueva poda o reentrenamiento, lo que introduce una sobrecarga no despreciable.
Sesgo de Modalidad: Muchos enfoques adoptan medidas de importancia derivadas de los Grandes Modelos de Lenguaje (LLMs), como Wanda y SparseGPT, que se basan en la magnitud de la activación y en patrones de valores atípicos (outliers). Estos patrones no se manifiestan de la misma forma en los codificadores de visión, lo que genera un sesgo de modalidad donde la poda afecta desproporcionadamente tanto a la rama de visión como a la de lenguaje.
Inestabilidad: Las estimaciones de importancia orientadas a LLMs son altamente sensibles a la elección de los datos de calibración. En entornos agnósticos a la tarea, donde no se dispone de muestras específicas de la tarea, estos métodos producen estimaciones de importancia inestables y resultados de poda subóptimos.

En consecuencia, existe una falta de un marco de poda robusto y agnóstico a la tarea que pueda podar un VLM una sola vez utilizando datos generales y desplegarlo en diversas tareas descendentes sin necesidad de reentrenamiento o re-poda.

Metodología: PORTA

Los autores proponen PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), un marco diseñado para abordar el sesgo de modalidad y la sensibilidad de la calibración a través de dos componentes principales: una formulación de importancia agnóstica a la modalidad y un mecanismo de asignación de escasez adaptativo.

1. Formulación de Importancia Basada en la Varianza

Los métodos existentes utilizan principalmente la magnitud de la activación para la estimación de la importancia. Los autores argumentan que la magnitud es sensible a las diferencias de escala específicas de la modalidad (por ejemplo, las distribuciones de activación de texto frente a visión). En su lugar, PORTA utiliza la variación de la activación (varianza) como una señal más estable y agnóstica a la modalidad.

Razón: Las características con alta varianza responden ampliamente ante diversos inputs, capturando estructuras generalizables, mientras que las características de baja varianza codifican patrones localizados o específicos del input.
Formulación: Para una capa con activaciones de entrada $X \in \mathbb{R}^{B \times T \times D_{in}}$ y pesos $W$ , la puntuación de importancia $S_{i,j}$ para el peso $W_{i,j}$ se calcula combinando la magnitud absoluta del peso con la varianza de la característica de entrada correspondiente $j$ :
$v_j = \mathrm{Var}_{b,t}(X_{b,t,j})$
$S_{i,j} = v_j \cdot |W_{i,j}|$
Esta formulación asegura que se conserven las características que contribuyen significativamente a la capacidad de representación del modelo a través de diversos inputs, mitigando al mismo tiempo el sesgo causado por las diferencias en las escalas de activación entre las ramas de visión y lenguaje.

2. Asignación de Escasez Adaptativa

PORTA evita la escasez uniforme asignando ratios de poda por capa basados en la variabilidad del espacio de características de salida de la capa.

Mecanismo: El método estima la varianza de los canales de salida para determinar la "utilización" de la capacidad de representación de una capa. Las capas con mayor varianza de salida (que indican una mayor utilización) se les asignan ratios de escasez más bajos para preservar el rendimiento, mientras que las capas con menor varianza se podan de forma más agresiva.
Eficiencia: Para asegurar la eficiencia computacional, la matriz de covarianza de entrada se aproxima como diagonal, lo que permite la reutilización de las estadísticas de varianza calculadas durante la etapa de estimación de la importancia.
Algoritmo: Las puntuaciones por capa se normalizan y ajustan mediante un parámetro de fuerza $\alpha$ para cumplir con un nivel de escasez global objetivo (detallado en el Algoritmo 1 del artículo).

Contribuciones Clave

Un Marco Libre de Reentrenamiento: PORTA introduce un paradigma de "podar una vez" donde un VLM preentrenado se poda una sola vez usando datos de calibración generales y se aplica directamente a diversas tareas descendentes (clasificación, recuperación, VQA) sin ningún entrenamiento adicional o re-poda.
Criterio de Importancia Agnóstico a la Modalidad: El artículo propone una nueva métrica de importancia basada en la varianza de la activación en lugar de la magnitud. Esto aborda el sesgo de modalidad inherente a las métricas derivadas de LLM, proporcionando una señal estable tanto para los codificadores de visión como de lenguaje.
Asignación de Escasez Adaptativa: Se introduce un mecanismo de ratio de poda por capa que se adapta a la utilidad representacional específica de cada capa, superando las limitaciones de la escasez uniforme.
Robustez a los Datos de Calibración: El marco demuestra estabilidad a través de diferentes conjuntos de datos de calibración y tamaños de muestra, lo que lo hace práctico para escenarios donde no se dispone de datos específicos de la tarea.

Resultados Experimentales

Los autores evaluaron PORTA en tres arquitecturas representativas de VLM: CLIP (OpenAI ViT-bigG), BLIP y Qwen2-VL. Las evaluaciones se realizaron en un entorno totalmente zero-shot en clasificación de imágenes, recuperación de imagen-texto y Respuesta Visual a Preguntas (VQA).

Rendimiento bajo Alta Escasez: PORTA superó consistentemente a los baselines (Wanda, SparseGPT, ECoFLaP, Multiflow) en niveles de escasez altos (55%–65%).
- En CLIP con un 65% de escasez, PORTA mejoró el rendimiento medio en un 12.6% respecto a SparseGPT y un 21.5% respecto a Wanda en ocho métricas.
- En BLIP con un 45% de escasez, PORTA logró un score de recuperación medio (90.26) superior al de SparseGPT (89.95).
- En Qwen2-VL para VQA (ScienceQA) con un 50% de escasez, PORTA alcanzó la precisión media más alta (54.30%), superando al segundo mejor baseline (Wanda) por 0.87 puntos porcentuales.
Robustez de la Calibración: Los experimentos variando el conjunto de datos de calibración (Flickr30K, MSCOCO, Visual Genome) y el tamaño de la muestra mostraron que el rendimiento de PORTA se mantuvo estable (fluctuaciones <1%), mientras que los baselines exhibieron cambios significativos en el rendimiento (hasta ~5%).
Eficiencia: PORTA completó la poda en aproximadamente 195 segundos en CLIP, lo que es aproximadamente 4 veces más rápido que SparseGPT y 2 veces más rápido que ECoFLaP, debido principalmente a la reutilización de las estadísticas de varianza y la aproximación de la matriz de covarianza diagonal.

Significado y Reivindicaciones

El artículo afirma que PORTA hace avanzar el despliegue práctico de los VLMs al permitir la compresión agnóstica a la tarea. Al derivar la importancia de la variación de la activación en lugar de la magnitud, el método mitiga con éxito el sesgo de modalidad que afecta a las estrategias de poda orientadas a LLM existentes.

Los autores enfatizan que PORTA permite que un único modelo podado se generalice a través de aplicaciones descendentes heterogéneas (recuperación, clasificación, generación) sin necesidad de re-poda o reentrenamiento. Esta capacidad de "podar una vez" reduce significamente la sobrecarga de despliegue, particularmente en escenarios donde es difícil obtener datos de calibración específicos de la tarea. El trabajo valida que la poda agnóstica a la tarea y a la modalidad es alcanzable con un rendimiento robusto incluso bajo altos niveles de compresión, siempre que la estimación de la importancia esté fundamentada en la utilidad de la representación invariante a la modalidad.