💻 computer science

Understanding Pruning Regimes in Vision-Language Models Through Domain-Aware Layer Selection

Este estudio propone un enfoque de poda de capas en modelos de visión y lenguaje basado en la similitud de activaciones dependiente del dominio, revelando una estructura de tres regímenes que permite reducir la profundidad del modelo manteniendo el rendimiento en tareas matemáticas y generales.

Autores originales: Saeed Khaki, Nima Safaei, Kamal Ginotra

Publicado 2026-03-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Saeed Khaki, Nima Safaei, Kamal Ginotra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef de cocina extremadamente talentoso (el modelo de Inteligencia Artificial) que puede hacer de todo: desde describir una foto de un paisaje hasta resolver problemas de matemáticas complejos dibujados en una pizarra.

El problema es que este chef tiene demasiados ayudantes (capas de la red neuronal). Algunos ayudan a entender el color de una manzana, otros a contar objetos, y otros a resolver ecuaciones. Mantener a todos estos ayudantes trabajando cuesta mucho dinero, energía y tiempo (computación).

Los investigadores de este paper se preguntaron: "¿Podemos despedir a algunos ayudantes para hacer la cocina más rápida y barata, sin que el chef deje de cocinar bien?"

Aquí está la explicación sencilla de lo que descubrieron, usando analogías:

1. El Problema: No todos los ayudantes son iguales

Antes, la gente despedía ayudantes al azar o basándose en reglas generales (como "despide a los que están en el medio"). Pero en una cocina de IA, no todos los ayudantes sirven para todo.

Si quieres resolver un problema de matemáticas, necesitas a los ayudantes que entienden lógica y pasos complejos.
Si quieres describir una foto, necesitas a los que entienden colores y formas.

Si despides al ayudante de matemáticas porque pensaste que era "redundante" para describir fotos, el chef fallará estrepitosamente cuando le pidas resolver una ecuación.

2. La Solución: "La Prueba de Oído" (Activación de Dominio)

En lugar de despedir al azar, los autores crearon un método inteligente llamado "Selección Consciente del Dominio".

Imagina que le das al chef dos tipos de tareas diferentes:

Tarea A: Resolver problemas de matemáticas.
Tarea B: Describir escenas del mundo real.

Observan a cada ayudante mientras trabajan. Si un ayudante recibe una instrucción de matemáticas y casi no hace nada (su entrada y su salida son casi idénticas), significa que ese ayudante es redundante para las matemáticas. ¡Puedes despedirlo!

Hacen lo mismo con las descripciones de fotos. Si un ayudante no cambia nada cuando se le pide describir una foto, es redundante para eso.

La estrategia ganadora: Crearon tres listas de "despidos":

Lista de Matemáticas: Despide a los que no sirven para números.
Lista de General: Despide a los que no sirven para descripciones.
Lista Mixta (La mejor): Una mezcla equilibrada para que el chef siga siendo bueno en ambas cosas.

3. Los Tres "Niveles" de Despido (Los Regímenes)

El paper descubrió que el resultado depende de cuántos ayudantes despides. Es como si hubiera tres fases:

Fase 1: El Despedido Preciso (Presupuesto Bajo - 10%)
- Qué pasa: Si solo vas a despedir a un par de personas, importa mucho a quién elijas.
- Resultado: Si usas la "Lista Mixta" inteligente, el chef sigue cocinando perfecto. Si despides al azar, el chef empieza a cometer errores tontos.
- Analogía: Es como quitar una sola tecla de un piano. Si quitas la tecla equivocada, la canción suena mal. Si quitas una que nadie usaba, la canción sigue sonando bien.
Fase 2: El Caos (Presupuesto Medio - 25%)
- Qué pasa: Empiezas a despedir a mucha gente. Aquí, da un poco igual quién teóricamente era "redundante", porque ya has quitado demasiados.
- Resultado: Todos los métodos (incluso los tontos) empiezan a fallar un poco. El chef está estresado porque le falta personal.
Fase 3: La Estructura es Rey (Presupuesto Alto - 40%)
- Qué pasa: Has despedido a casi la mitad del personal. Ahora, lo más importante no es quién está en la lista, sino cómo están organizados los que quedan.
- Resultado: Si despides a todos los ayudantes que están juntos en la misma zona de la cocina, la cocina se rompe. Necesitas dejar huecos espaciados (como un patrón de "intercalado") para que la información pueda fluir de un lado a otro.
- Analogía: Si quitas demasiados pilares de un edificio, no importa si eran pilares "de sobra"; si los quitas todos seguidos, el techo se cae. Necesitas dejar pilares espaciados para mantener la estructura.

4. El Resultado Final

Los autores probaron esto en dos modelos de IA muy famosos (Qwen3-VL). Descubrieron que:

Para matemáticas: Es vital usar la "Lista de Matemáticas" o la "Mixta". Si despides a los ayudantes de lógica, el modelo deja de entender problemas de matemáticas, aunque siga describiendo fotos bien.
Para el mundo general: Funciona mejor mantener a los ayudantes que entienden el mundo real.
El equilibrio perfecto: La estrategia "Mixta" (que da un poco más de peso a las tareas generales pero cuida las matemáticas) fue la ganadora. Logró mantener al chef rápido y barato, sin perder su capacidad de resolver problemas difíciles ni de describir el mundo.

En resumen

Este paper nos enseña que no podemos tratar a la Inteligencia Artificial como una caja negra donde quitamos piezas al azar.

Es como si tuvieras un equipo de fútbol. Si quieres que siga ganando partidos de estrategia (matemáticas), no puedes quitar a los estrategas aunque sean lentos. Si solo quieres que corran rápido (descripción de imágenes), puedes quitar a los lentos. Pero si quieres que hagan ambas cosas, necesitas una estrategia de recorte inteligente que sepa exactamente qué papel juega cada jugador en cada situación.

Gracias a esto, podemos tener modelos de IA más rápidos y baratos que siguen siendo genios en matemáticas y en entender el mundo visual.

Resumen Técnico: Entendiendo los Regímenes de Poda en Modelos Visión-Lenguaje

1. Problema y Motivación

Los Modelos Visión-Lenguaje (VLM) basados en arquitecturas Transformer han demostrado una gran capacidad para tareas multimodales, pero su profundidad excesiva genera redundancia, lo que encarece su despliegue. Aunque la poda (pruning) de capas es una técnica prometedora para reducir la latencia y el uso de memoria, existe una brecha de conocimiento crítica: no se comprende bien qué capas específicas son esenciales para dominios concretos, especialmente aquellos que requieren un acoplamiento estricto entre percepción visual y razonamiento lógico (como las matemáticas).

La pregunta central es: ¿Qué partes de un VLM son vitales para un dominio objetivo (ej. matemáticas) y cuándo importa exactamente la elección de las capas eliminadas? Los autores observan que cambios estructurales pequeños pueden causar fallos desproporcionados en tareas de razonamiento matemático, incluso si las métricas generales de visión-lenguaje parecen estables.

2. Metodología

Los autores proponen un método de poda estructurada de capas del decodificador basado en la similitud de activaciones dependiente del dominio. La premisa fundamental es que una capa que apenas transforma la representación oculta para un tipo de entrada específico es redundante para ese dominio.

Flujo del método:

Captura de Activaciones Específicas del Dominio:
- Se registran las activaciones de entrada y salida de cada bloque del decodificador durante la inferencia.
- Se utilizan dos conjuntos de sondas (prompts): uno orientado a matemáticas (CoT, formalización, verificación) y otro no matemático (descripción, VQA, grounding).
Cálculo de Redundancia:
- Se mide la similitud del coseno entre las activaciones de entrada y salida de cada capa. Una alta similitud indica que la capa realiza una actualización mínima, sugiriendo redundancia.
- Se agregan las puntuaciones por dominio y se normalizan (z-normalización) para hacerlas comparables a través de la profundidad del modelo.
Clasificación y Poda (Ranking):
- Se definen tres estrategias de clasificación:
  - Consciente de Matemáticas (Math-Aware): Prioriza la poda de capas redundantes para tareas matemáticas.
  - Consciente de No-Matemáticas (Non-Math-Aware): Prioriza la preservación de capacidades generales.
  - Mixta (Mixed): Combina ambas señales con un peso $\alpha = 0.7$ para el dominio no matemático (para asegurar la estabilidad en OCR y comprensión de imágenes) y $0.3$ para matemáticas.
- Se eliminan las capas con mayor puntuación de redundancia bajo un presupuesto fijo (10%, 25%, 40%), manteniendo siempre la primera y la última capa intactas para preservar la fusión multimodal y la predicción de tokens.
Estabilización Post-Poda:
- Tras la poda, se aplica un breve Ajuste Fino Supervisado (SFT) utilizando una mezcla de datos matemáticos y generales para recuperar la capacidad perdida sin alterar el codificador visual.

3. Contribuciones Clave

Método de Poda Consciente del Dominio: Introducen una técnica simple e interpretable que utiliza la similitud entrada-salida de activaciones para identificar capas redundantes específicas para matemáticas o visión general.
Análisis de Regímenes de Poda: Identifican empíricamente una estructura de tres regímenes consistentes en la poda de profundidad de VLMs:
1. Regímen Sensible a la Clasificación (Bajo presupuesto, <15%): El rendimiento es altamente sensible a qué capas se eliminan. Aquí, la selección consciente del dominio es crucial.
2. Regímen de Transición (Presupuesto medio, 15-32%): Los métodos comienzan a converger a medida que el daño estructural se acumula.
3. Regímen Dominado por la Estructura (Alto presupuesto, >32%): La continuidad estructural se vuelve el factor limitante; las estrategias que mantienen un espaciado entre capas eliminadas (como Interlace) superan a las basadas puramente en redundancia.
Evaluación Exhaustiva: Benchmarking contra modelos de última generación (Qwen3-VL-2B y 4B) en una amplia gama de benchmarks matemáticos (Snapask, NuminaMath) y generales (ChartQA, ScienceQA, VStar).

4. Resultados Principales

Rendimiento en Matemáticas:
- En presupuestos bajos (10%), las estrategias conscientes del dominio (especialmente la mezcla) superan consistentemente a las baselines (CKA, poda aleatoria, Interlace) en retención de razonamiento matemático.
- En presupuestos altos (40%), la poda aleatoria y la basada en similitud de representación (CKA) colapsan. La estrategia Interlace (que evita huecos contiguos) se vuelve más estable debido a la necesidad de mantener el flujo residual, aunque la poda consciente del dominio sigue ofreciendo el mejor equilibrio entre matemáticas y visión general.
Compensación (Trade-off) Matemáticas vs. Visión General:
- Los métodos conscientes del dominio trazan una frontera de Pareto eficiente. La estrategia "Mixta" logra el mejor equilibrio, manteniendo alta precisión tanto en tareas matemáticas como en comprensión visual general.
- La poda aleatoria y CKA son dominadas en ambos ejes, degradando severamente ambas capacidades.
Patrones de Eliminación:
- Las tareas matemáticas tienden a activar fuertemente las capas medio-tardías, mientras que las tareas no matemáticas dependen más de las capas tempranas-medias.
- La poda "consciente de matemáticas" elimina principalmente capas tardías, preservando la base multimodal.
Estabilidad por Tarea:
- Tareas como RealWorldQA y ScienceQA son sensibles a la eliminación de capas tempranas, lo que favorece a las estrategias que preservan la continuidad inicial.
- ChartQA mostró una fragilidad general debido al cambio de distribución inducido por el SFT de estabilización, pero las clasificaciones mixtas y no matemáticas fueron las más estables entre las opciones podadas.

5. Significado e Impacto

Este trabajo proporciona una comprensión más clara de cómo contribuye la profundidad del modelo al comportamiento específico de un dominio en los VLMs. Demuestra que la redundancia en los transformadores no está distribuida uniformemente a lo largo de la profundidad, sino que es dependiente del dominio.

La principal implicación práctica es que es posible reducir significativamente la profundidad de los modelos VLM sin sacrificar capacidades esenciales (ni matemáticas ni generales), siempre que se utilice una estrategia de poda informada por el dominio en presupuestos bajos y se respete la continuidad estructural en presupuestos altos. Esto ofrece un enfoque práctico y eficiente para desplegar modelos multimodales más ligeros en entornos con restricciones de recursos.