Understanding Pruning Regimes in Vision-Language Models Through Domain-Aware Layer Selection

Resumo Técnico: Entendendo Regimes de Poda em Modelos Visão-Linguagem

1. O Problema

Os Modelos Visão-Linguagem (VLMs) baseados em Transformers possuem uma redundância substancial em sua profundidade (número de camadas). No entanto, o impacto da remoção de camadas específicas do decoder permanece pouco compreendido, especialmente para domínios que exigem um acoplamento rigoroso entre percepção visual e raciocínio multietapa, como a matemática.
A questão central é: quais partes de um VLM são essenciais para um domínio específico e quando a escolha exata das camadas removidas importa? Estratégias de poda genéricas podem causar falhas desproporcionais em tarefas complexas (como resolução de problemas matemáticos com diagramas), mesmo que as métricas médias de visão-linguagem pareçam estáveis.

2. Metodologia

Os autores propõem um método de poda estruturada de camadas do decoder baseado em similaridade de ativação orientada a domínio. A abordagem segue os seguintes passos:

• Captura de Ativação Específica a Domínio:

  • O modelo executa forward passes com um conjunto diversificado de prompts:
    • Domínio Matemático: Tarefas de raciocínio, formalização e verificação (ex: Snapask, NuminaMath).
    • Domínio Não-Matemático: Legendagem, contagem, VQA e grounding de entidades.
  • Para cada camada do decoder, são registradas as ativações de entrada ($H_{in}$) e saída ($H_{out}$).

• Métrica de Redundância:

  • Calcula-se a similaridade de cosseno entre as ativações de entrada e saída de cada camada.
  • Uma alta similaridade indica que a camada realiza pouca transformação na representação, sugerindo redundância para aquele domínio específico.
  • As pontuações são agregadas e normalizadas (z-score) dentro de cada domínio.

• Estratégias de Classificação (Ranking) e Poda:

  • As camadas são classificadas com base na redundância para definir quais remover. Três variantes são testadas:
    1. Consciente de Matemática (Math-Aware): Prioriza a retenção de camadas críticas para matemática.
    2. Consciente de Não-Matemática (Non-Math-Aware): Prioriza capacidades gerais (OCR, percepção).
    3. Mista (Mixed): Combina ambos os sinais (com peso $\alpha=0.7$ para não-matemática, pois capacidades fundamentais de visão são essenciais).
  • Restrições: As camadas inicial e final do decoder são preservadas para manter a fusão multimodal e a previsão de tokens. A poda é aplicada em um orçamento fixo (10%, 25%, 40%).

• Estabilização Pós-Poda:

  • Após a poda, aplica-se um breve Ajuste Fino Supervisionado (SFT) usando uma mistura de dados matemáticos e instruções gerais para restaurar a estabilidade, mantendo o codificador de visão congelado.

3. Contribuições Principais

1. Método de Poda Orientado a Domínio: Introdução de uma técnica simples e interpretável que utiliza similaridade de ativação entrada-saída para criar rankings de redundância específicos para matemática e visão geral.
2. Análise Empírica de Regimes: Identificação de uma estrutura consistente de três regimes na poda de profundidade em VLMs:
   • Regime Sensível à Classificação (Baixo Orçamento <15%): A performance é altamente sensível a quais camadas são removidas. A escolha orientada a domínio é crucial.
   • Regime de Transição (Orçamento Médio ~15-32%): Os métodos começam a convergir à medida que o dano estrutural se acumula.
   • Regime Dominado por Estrutura (Alto Orçamento >32%): A continuidade estrutural torna-se o fator limitante. Estratégias que garantem espaçamento entre as camadas removidas (evitando "buracos" contíguos) superam as baseadas apenas em redundância.
3. Benchmarking Abrangente: Avaliação em dois modelos de ponta (Qwen3-VL-2B e Qwen3-VL-4B) em uma suíte ampla de benchmarks de matemática e visão-linguagem geral, comparando com baselines como poda baseada em CKA, poda intercalada (Interlace) e remoção aleatória.

4. Resultados Chave

• Desempenho em Matemática (Snapask, NuminaMath):
  • Em orçamentos baixos (10%), as estratégias orientadas a domínio (especialmente a mista) superam significativamente as baselines, mantendo a capacidade de raciocínio matemático com menor degradação.
  • Em orçamentos altos (40%), a estratégia Interlace (que força espaçamento entre camadas removidas) torna-se mais estável, pois evita a quebra do fluxo residual de longo alcance, embora todas as metodologias sofram degradação severa.
• Capacidade Geral de Visão-Linguagem:
  • As metodologias orientadas a domínio traçam uma fronteira de Pareto eficiente, equilibrando melhor a retenção de raciocínio matemático e habilidades gerais de visão.
  • A poda aleatória e baseada em CKA (sem orientação a domínio) mostram-se mais frágeis, especialmente em tarefas que exigem percepção fina (VStar) e raciocínio espacial (RealWorldQA).
• Padrões de Remoção:
  • A poda "consciente de matemática" tende a remover camadas tardias em orçamentos baixos.
  • A poda "consciente de não-matemática" e a mista começam a remover camadas iniciais/médias conforme o orçamento aumenta.
  • A poda baseada em CKA ataca agressivamente camadas iniciais, o que prejudica a ancoragem multimodal.

5. Significância e Conclusão

Este trabalho fornece uma compreensão mais clara de como a profundidade contribui para comportamentos específicos de domínio em VLMs. A principal descoberta é que não existe uma estratégia de poda única ideal para todos os cenários:

• Para otimização leve (pequenos orçamentos), a seleção inteligente baseada em similaridade de ativação específica ao domínio é superior.
• Para compressão agressiva (grandes orçamentos), a integridade estrutural (espaçamento das camadas) torna-se mais importante do que a redundância específica de tarefas.

O método proposto oferece uma abordagem prática e interpretável para reduzir a profundidade dos modelos sem sacrificar capacidades essenciais de raciocínio matemático ou de visão geral, facilitando a implantação de VLMs mais eficientes em hardware.