HiPP-Prune: Hierarchical Preference-Conditioned Structured Pruning for Vision-Language Models

El artículo presenta HiPP-Prune, un marco de poda estructurada jerárquica para modelos de visión y lenguaje que optimiza la asignación de recursos mediante un vector de preferencias del usuario y una señal de sensibilidad visual para lograr un equilibrio controlable entre la utilidad de la tarea, la robustez ante alucinaciones y la eficiencia de compresión.

Lo esencial

Imagina que tienes un chef de cocina muy famoso (el modelo de Inteligencia Artificial) que es experto en describir platos y ver fotos de comida. Este chef es increíblemente talentoso, pero es gigante: ocupa toda la cocina, necesita miles de ingredientes y tarda horas en preparar cada plato. Si quieres llevarlo a un pequeño puesto de comida callejera (un teléfono móvil o un servidor barato), es imposible; es demasiado grande y lento.

El problema es que, si simplemente le quitas ingredientes al azar para hacerlo más pequeño, el chef puede empezar a alucinar: podría decirte que en la foto hay un "elefante" cuando solo hay un gato, o inventar detalles que no existen.

Aquí es donde entra HiPP-Prune, la solución que proponen los autores. Vamos a explicarlo con una analogía sencilla:

1. El Problema: Cortar al azar es peligroso

Antes, para hacer modelos más pequeños, la gente usaba tijeras y cortaba capas del modelo al azar o basándose en qué números parecían más pequeños.

• La analogía: Imagina que le quitas al chef sus manos, sus ojos o su memoria de recetas al azar. A veces funciona, pero a menudo el chef pierde la capacidad de ver bien la comida (alucina) o deja de saber cocinar (pierde utilidad).

2. La Solución: El "Planificador de Presupuesto" Inteligente

HiPP-Prune no corta al azar. En su vez, actúa como un arquitecto inteligente que diseña un plano de remodelación antes de tocar una sola pared.

• El Presupuesto (La Esparsidad): Primero, decides cuánto quieres ahorrar. ¿Quieres reducir el tamaño en un 20%? ¿Un 50%?

• Las Preferencias (El "Gusto" del Cliente): Aquí está la magia. Le preguntas al arquitecto: "¿Qué es más importante?"

  • ¿Quieres que el chef nunca alucine (que sea muy honesto sobre lo que ve)?
  • ¿Quieres que sea muy rápido (que cocine rápido)?
  • ¿Quieres que sea pequeño (que ocupe poco espacio)?

  HiPP-Prune tiene un "botón de preferencia". Si le dices "prioriza la honestidad", el arquitecto decide: "Ok, no voy a tocar las partes del cerebro del chef que le ayudan a ver la foto, pero puedo quitarle partes de la memoria de recetas que no usa tanto".

3. El Secreto: "Sentir" lo que el chef ve

Lo más genial de este sistema es que el arquitecto sabe qué partes del cerebro del chef son vitales para ver.

• La Analogía de la "Sensibilidad Visual": El sistema tiene un radar especial que detecta qué neuronas del modelo están "mirando" la imagen. Si el chef está usando una neurona específica para distinguir entre un perro y un gato, el sistema dice: "¡Alto! No toques esa neurona, es crítica".
• Esto evita que el modelo pierda la capacidad de entender las imágenes, incluso cuando es muy pequeño.

4. El Entrenamiento: Probando y Ajustando

El sistema no adivina. Prueba miles de planos de remodelación (como si fuera un videojuego de estrategia) y aprende cuáles funcionan mejor.

• Usa una técnica llamada GRPO (que es como un entrenador que compara varios planes de un grupo y le dice al mejor: "¡Ese fue genial!" y al peor: "Ese no sirve, no toques esas paredes").
• Además, tiene un "freno de seguridad" (llamado SynFlow) que evita que el arquitecto proponga planes que destruyan por completo la estructura del chef.

5. El Resultado: Un Chef Pequeño pero Brillante

Al final, HiPP-Prune entrega un modelo pequeño que:

1. No alucina: Sigue siendo honesto sobre lo que ve en las fotos.
2. Es útil: Sigue respondiendo bien a preguntas.
3. Es rápido y pequeño: Cabe en dispositivos más modestos.

Y lo mejor de todo: No necesitas entrenar un nuevo modelo para cada situación. Con un solo modelo entrenado, puedes pedirle: "Dame un modelo rápido" o "Dame un modelo muy honesto", y él ajustará el plano automáticamente para darte exactamente lo que necesitas.

En resumen

HiPP-Prune es como tener un diseñador de interiores inteligente que sabe exactamente qué muebles quitar de una casa gigante para hacerla pequeña sin que se caiga el techo ni se pierda la cocina. En lugar de tirar cosas al azar, decide con cuidado qué guardar y qué tirar, basándose en lo que más valoras (velocidad, honestidad o tamaño).

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "HIPP-PRUNE: HIERARCHICAL PREFERENCE-CONDITIONED STRUCTURED PRUNING FOR VISION-LANGUAGE MODELS" en español.

1. El Problema

Los modelos de visión y lenguaje (VLMs) son fundamentales para asistentes multimodales, pero su gran escala dificulta su despliegue eficiente. Aunque el recorte (pruning) es una técnica atractiva para reducir costos, en los VLMs presenta desafíos únicos:

• Compromiso entre Utilidad y Robustez: La compresión no solo afecta el rendimiento en tareas generales, sino que degrada significativamente la "anclaje visual" (visual grounding). A menudo, incluso con el mismo nivel de dispersión (sparsity), los modelos recortados pueden exhibir un aumento drástico en las alucinaciones de objetos (describir entidades no presentes en la imagen), un problema medible mediante benchmarks como POPE.
• Falta de Control en la Asignación: Los métodos existentes a menudo tratan el recorte como un problema de optimización de un solo objetivo o utilizan heurísticas fijas. Sin embargo, la sensibilidad de las capas no es uniforme; recortar indiscriminadamente capas críticas para la fusión multimodal puede destruir la capacidad del modelo de entender la imagen, incluso si el rendimiento en texto se mantiene.
• Necesidad de Flexibilidad: Las restricciones de despliegue varían (algunos priorizan la robustez, otros la velocidad). Se necesita un mecanismo que permita navegar el espacio de compromisos (trade-offs) entre robustez, utilidad y compresión sin reentrenar modelos específicos para cada caso.

2. Metodología: HiPP-Prune

HiPP-Prune propone un marco de recorte estructurado jerárquico condicionado por preferencias. En lugar de optimizar un solo punto fijo, trata el recorte como un problema de asignación condicional de recursos bajo múltiples objetivos.

Componentes Clave:

1. Política Jerárquica de Planificación (Plan-Level Policy):

   • En lugar de tomar decisiones secuenciales por capa, una sola invocación de la política genera un plan de recorte global (un "blueprint").
   • Factorización de decisiones: La política descompone la decisión en dos partes:
     • Un controlador de presupuesto global (cuánto recortar en total).
     • Una asignación por capas (dónde distribuir ese recorte).
   • Esto permite consultar trade-offs en tiempo real mediante un vector de preferencias del usuario ($w$).

2. Representación de Estado Sensible a la Visión (Vision-Aware State):

   • Para evitar recortar capas críticas para la visión, el estado de la política incluye una señal de sensibilidad visual.
   • Esta señal se deriva del flujo de atención cruzada entre los tokens de visión y los estados ocultos del lenguaje. Se calcula la "masa de atención" promedio de las cabezas de atención de las capas del lenguaje hacia los tokens de visión.
   • Las capas con alta sensibilidad visual se protegen automáticamente cuando la preferencia prioriza la robustez.

3. Optimización con GRPO a Nivel de Plan:

   • Se utiliza Optimización de Política Relativa de Grupo (GRPO) a nivel de plan.
   • Recompensa Multi-objetivo: Se combina la utilidad de la tarea (ej. ScienceQA), la robustez ante alucinaciones (POPE) y la compresión, normalizados en línea.
   • Estabilización SynFlow: Para evitar explorar configuraciones de alta dispersión que colapsan el modelo (topologías no viables), se introduce una puerta de estabilidad inspirada en SynFlow. Esta penaliza las actualizaciones de la política si el flujo sináptico del modelo recortado cae por debajo de un umbral aceptable, actuando como un "trust-region" estructural.

4. Recuperación Post-Recorte:

   • Después de aplicar el recorte, se realiza un ajuste fino ligero (fine-tuning) utilizando parámetros eficientes (como LoRA) para recuperar el rendimiento.
   • Todos los métodos se comparan bajo un presupuesto de recuperación idéntico, lo que permite evaluar la calidad intrínseca de la estructura recortada (el "plan").

3. Contribuciones Principales

• Política de Recorte Condicionada por Preferencias: HiPP-Prune aprende una sola política que puede generar planes de recorte óptimos para cualquier combinación de preferencias entre robustez, utilidad y compresión, aproximando la frontera de Pareto sin reentrenamiento.
• Señal de Sensibilidad Visual: Introduce un mecanismo novedoso que utiliza el flujo de atención cruzada para identificar y proteger las capas esenciales para la anclaje visual, mitigando las alucinaciones durante la compresión.
• Estabilización Combinatoria: El uso de una puerta de estabilidad basada en SynFlow permite explorar regímenes de alta compresión de manera segura, filtrando configuraciones que destruirían la integridad del modelo.
• Marco de Evaluación Controlado: Demuestra que, bajo presupuestos de recuperación iguales, los planes aprendidos por HiPP-Prune producen inicializaciones que recuperan un mejor equilibrio robustez-utilidad que las heurísticas existentes.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como LLaVA-1.5-7B y Qwen2.5-VL-3B, comparando contra baselines como Wanda, LLM-Pruner y SliceGPT.

• Rendimiento Superior: HiPP-Prune superó consistentemente a todos los baselines en métricas de robustez (POPE BalAcc) y utilidad (ScienceQA Acc) bajo el mismo presupuesto de dispersión (ej. ~22.5%).
  • En LLaVA-7B, HiPP-Prune logró un 72.89% en POPE frente al ~51-55% de los baselines, manteniendo una utilidad de ~39% frente al ~32-37% de los competidores.
• Control Zero-Shot: Un solo agente entrenado pudo navegar el espacio de compromisos. Al variar el vector de preferencias $w$, el modelo podía priorizar la robustez (aumentando POPE) o la utilidad (aumentando SQA) sin necesidad de reentrenar.
• Escalabilidad: Los resultados se mantuvieron robustos incluso al aumentar la dispersión (ej. a ~32.5%), demostrando que la asignación adaptativa es crucial a medida que la compresión se vuelve más agresiva.
• Análisis de Muestreo: Se demostró que una estrategia de muestreo híbrida (anclajes discretos + distribución Dirichlet) durante el entrenamiento ofrece el mejor equilibrio entre estabilidad de robustez y utilidad.

5. Significancia e Impacto

HiPP-Prune representa un cambio de paradigma en la compresión de modelos multimodales:

1. De la Compresión Estática a la Dinámica: Pasa de buscar un único modelo "recortado" a aprender una política capaz de generar modelos adaptados a las restricciones específicas de despliegue en tiempo de inferencia.
2. Priorización de la Robustez: Eleva la "robustez ante alucinaciones" de ser un diagnóstico post-hoc a ser un objetivo explícito de optimización durante el proceso de recorte, abordando uno de los fallos más críticos de los VLMs actuales.
3. Eficiencia Operativa: Al permitir la consulta de diferentes puntos de operación con un solo modelo entrenado, facilita la implementación en entornos heterogéneos (como servidores vLLM) donde las restricciones de recursos pueden variar dinámicamente.

En resumen, HiPP-Prune demuestra que la asignación adaptativa de la dispersión, guiada por preferencias y señales de sensibilidad visual, es superior a las heurísticas fijas para preservar tanto la utilidad como la integridad visual en modelos de lenguaje grandes multimodales.