HiPP-Prune: Hierarchical Preference-Conditioned Structured Pruning for Vision-Language Models

O artigo apresenta o HiPP-Prune, um framework de poda estruturada hierárquica para modelos visão-linguagem que utiliza otimização de política baseada em preferências do usuário para gerenciar o trade-off entre eficiência, utilidade da tarefa e robustez contra alucinações, preservando a sensibilidade visual crítica durante a compressão.

O essencial

Imagine que você tem um assistente de IA super inteligente, capaz de ver fotos e conversar sobre elas (como o LLaVA ou Qwen2.5-VL). Esse assistente é incrível, mas é gigante. Ele ocupa muita memória, é lento e custa caro para rodar em celulares ou servidores simples.

Para resolver isso, os cientistas tentam "enxugar" o modelo, removendo partes desnecessárias. É como tentar fazer uma mala de viagem: você precisa tirar roupas para caber tudo, mas não pode tirar o casaco de inverno se for para um lugar frio, nem o passaporte se for viajar.

O problema é que, com esses assistentes de visão e linguagem, se você cortar as partes erradas, o modelo começa a alucinar. Ele pode olhar para uma foto de um cachorro e dizer com total confiança: "Vejo um gato aqui". Isso é terrível para a confiabilidade.

Aqui entra o HiPP-Prune, a solução proposta neste artigo. Vamos explicar como ele funciona usando analogias do dia a dia:

1. O Problema: Cortar no Escuro

Os métodos antigos de "podar" (cortar) esses modelos funcionavam como um jardineiro que corta galhos aleatoriamente ou apenas pelos mais secos, sem olhar para a saúde da árvore inteira.

• Resultado: O modelo fica menor, mas pode perder a capacidade de "ver" o que está na foto, gerando mentiras (alucinações) mesmo que ele ainda saiba responder perguntas de texto.

2. A Solução: O Arquiteto Inteligente (HiPP-Prune)

O HiPP-Prune não é um cortador aleatório. Ele é como um arquiteto sábio que recebe um orçamento de espaço (quanto o modelo pode pesar) e uma lista de prioridades.

A. O "Mapa de Sensibilidade Visual" (O Radar)

Antes de cortar, o HiPP-Prune olha para o modelo e pergunta: "Quais partes desse cérebro são vitais para entender a imagem?"

• Analogia: Imagine que o modelo é um time de futebol. Alguns jogadores são essenciais para a defesa (entender a imagem), outros para o ataque (gerar texto). O HiPP-Prune tem um "radar" que identifica quem são os defensores cruciais. Se o orçamento for apertado, ele protege esses jogadores, mesmo que precise cortar outros. Ele evita cortar as conexões que ligam o "olho" à "mente".

B. O Orçamento Flexível (A Preferência do Usuário)

O grande diferencial é que você pode dizer ao arquiteto o que você valoriza mais.

• Cenário 1: "Eu quero que ele seja super rápido e leve, mesmo que ele cometa alguns erros de visão." (Prioridade: Compressão).
• Cenário 2: "Eu preciso que ele seja 100% fiel à imagem, mesmo que ele fique um pouco mais pesado." (Prioridade: Robustez/Segurança).
• Cenário 3: "Quero um equilíbrio perfeito."

O HiPP-Prune cria um plano de corte personalizado para cada um desses pedidos. Ele não treina um modelo diferente para cada caso; ele é um "camaleão" que se adapta instantaneamente ao que você pede.

C. O Teste de Realidade (A Recuperação)

Depois de cortar, o modelo pode ficar um pouco "tonto" (desorientado). O HiPP-Prune aplica um pequeno "choque de recuperação" (um ajuste fino rápido) para acordar o modelo.

• Analogia: É como se, após a cirurgia, o paciente recebesse uma fisioterapia rápida. O importante é que, mesmo com o mesmo tempo de fisioterapia, o modelo que teve um corte mais inteligente (feito pelo HiPP-Prune) se recupera muito melhor do que o modelo cortado aleatoriamente.

3. Como eles descobriram isso? (O Treinamento)

Eles usaram uma técnica de aprendizado chamada RL (Aprendizado por Reforço).

• Imagine que o HiPP-Prune é um jogador de videogame que tenta milhares de combinações de cortes.
• Se ele corta algo importante e o modelo começa a alucinar, ele recebe uma "punição".
• Se ele corta o que sobra e o modelo continua vendo e falando bem, ele ganha "pontos".
• Com o tempo, ele aprende a criar o plano perfeito para qualquer situação, sem precisar ser reprogramado.

Resumo em uma frase

O HiPP-Prune é um sistema inteligente que ensina como "enxugar" um assistente de IA gigante, protegendo suas partes mais importantes para ver imagens, permitindo que você escolha entre torná-lo mais rápido ou mais preciso, tudo sem perder a capacidade de não alucinar.

O resultado? Modelos menores, mais rápidos e que continuam "vendo" o mundo com clareza, mesmo quando apertados no bolso do seu celular.

Resumo técnico

1. O Problema

Os Modelos de Visão e Linguagem (VLMs), como o LLaVA, são fundamentais para assistentes multimodais, mas seu grande tamanho torna o custo de implantação proibitivo. A poda (pruning) é uma técnica comum para reduzir esses custos, mas a poda em VLMs apresenta desafios únicos que não existem em modelos de linguagem puramente textuais:

• Degradação da Robustez a Alucinações: A compressão pode manter o desempenho em tarefas gerais, mas frequentemente degrada a "fundamentação visual" (visual grounding), levando a um aumento significativo de alucinações de objetos (descrever entidades que não estão na imagem).
• Não Uniformidade das Decisões de Poda: A sensibilidade das camadas não é uniforme. Remover pesos em camadas críticas para a fusão multimodal (visão-linguagem) pode ser catastrófico, mesmo que a utilidade da tarefa pareça estável.
• Trade-offs Conflitantes: Existe um conflito intrínseco entre robustez (contra alucinações), utilidade da tarefa e compressão. A melhor distribuição de esparsidade depende das restrições de implantação e da tolerância ao risco, o que torna difícil definir uma estratégia de poda fixa.
• Falta de Controle Preferencial: Métodos existentes geralmente otimizam para um único ponto de operação ou usam heurísticas fixas, sem permitir que o usuário navegue dinamicamente pelo espaço de compromissos (trade-offs) entre esses objetivos.

2. Metodologia: HiPP-Prune

O HiPP-Prune (Hierarchical Preference-Conditioned Pruning) reformula a poda de VLMs como um problema de alocação de recursos condicional. Em vez de otimizar uma única função de perda fixa, o método aprende uma política que gera planos de poda estruturados baseados em um vetor de preferências do usuário.

Componentes Principais:

• Política Hierárquica Condicionada a Preferências:

  • O sistema utiliza uma única política de aprendizado por reforço que, ao receber um vetor de preferência $w$ (definindo a importância relativa de robustez, utilidade e compressão), gera um "plano de poda" global em uma única chamada (one-shot).
  • A decisão é fatorada em duas etapas:
    1. Controle de Orçamento Global: Define a esparsidade total alvo.
    2. Alocação por Camada: Distribui essa esparsidade entre as camadas específicas do modelo.
  • Isso permite navegar no espaço de Pareto (trade-offs ótimos) sem retreinar o modelo para cada nova configuração.

• Representação de Estado Sensível à Visão (Visual Sensitivity):

  • Para proteger a fundamentação visual, o estado da política inclui um sinal de sensibilidade visual.
  • Este sinal é derivado do fluxo de atenção cruzada (attention flow) entre os tokens de visão e os estados ocultos da linguagem. Camadas que exibem alta massa de atenção entre modalidades são identificadas como críticas e protegidas de uma poda excessiva quando a robustez é priorizada.

• Otimização com GRPO de Nível de Plano:

  • O treinamento utiliza o Group Relative Policy Optimization (GRPO) adaptado para o espaço combinatório de planos de poda.
  • A recompensa é uma soma ponderada (baseada nas preferências $w$) de:
    1. Robustez: Medida pelo benchmark POPE (avaliação de alucinações).
    2. Utilidade: Medida pelo benchmark ScienceQA.
    3. Compressão: Baseada na esparsidade real alcançada.
  • Gate de Estabilidade (SynFlow-inspired): Para evitar exploração de topologias de rede não viáveis (especialmente em regimes de alta esparsidade), um sinal inspirado no SynFlow atua como um "portão" que despesa atualizações de políticas que resultam em colapso estrutural, estabilizando a busca.

• Recuperação Pós-Poda (Fine-tuning Leve):

  • Após a aplicação da máscara de poda estruturada, um estágio de recuperação leve (usando LoRA e ajuste de camadas finais) é aplicado para restaurar o desempenho. O artigo enfatiza que a qualidade do plano de poda inicial é o que determina o potencial de recuperação final.

3. Contribuições Chave

1. Política de Poda Hierárquica e Condicionada: A primeira abordagem a tratar a poda de VLMs como alocação de recursos condicional, permitindo a geração de planos de esparsidade estruturados que se adaptam a diferentes preferências de implantação via um único agente.
2. Sinal de Sensibilidade Visual Baseado em Fluxo de Atenção: A integração de um sinal derivado da atenção cruzada no estado da política para identificar e proteger camadas críticas para a fusão multimodal, mitigando alucinações.
3. GRPO com Estabilização SynFlow: Uma nova aplicação do GRPO em nível de plano, combinada com um mecanismo de estabilidade inspirado no SynFlow, que permite a descoberta eficiente de estratégias de poda Pareto-eficientes sem colapso da busca.
4. Prova de Conceito de Recuperação Estrutural: Demonstra que, sob orçamentos de recuperação idênticos, os planos aprendidos pelo HiPP-Prune resultam em inicializações que recuperam para uma robustez e utilidade superiores em comparação com heurísticas existentes.

4. Resultados Experimentais

Os experimentos foram conduzidos nos modelos LLaVA-1.5-7B e Qwen2.5-VL-3B, comparando o HiPP-Prune com métodos como Wanda, SliceGPT, LLM-Pruner e alocação aleatória.

• Desempenho Superior: Sob orçamentos de esparsidade combinados (ex: ~22.5%), o HiPP-Prune superou significativamente todas as baselines.
  • No LLaVA-7B, alcançou 72.89% de precisão balanceada no POPE (vs. ~51-55% das baselines) e 39.38% no ScienceQA (vs. ~32-37% das baselines).
  • O ganho foi consistente em diferentes níveis de esparsidade e em diferentes arquiteturas de backbones.
• Controle Zero-Shot: Um único agente treinado foi capaz de navegar pelo espaço de trade-offs. Ao alterar o vetor de preferência $w$, o modelo podia priorizar robustez (aumentando o POPE) ou utilidade (aumentando o SQA) sem retreinamento.
• Estabilidade: A ablação mostrou que a combinação de amostragem de âncoras e distribuições Dirichlet durante o treinamento fornece o melhor equilíbrio entre estabilidade de robustez e utilidade.

5. Significado e Impacto

O trabalho do HiPP-Prune é significativo porque:

• Muda o Paradigma de Poda: Transita de uma visão de "quantidade de poda" para "onde alocar a poda", reconhecendo a heterogeneidade das camadas em modelos multimodais.
• Endereça Alucinações Intrinsecamente: Ao tratar a robustez contra alucinações como um objetivo de otimização durante a poda (e não apenas como uma métrica pós-hoc), o método cria arquiteturas inerentemente mais seguras e fundamentadas.
• Flexibilidade de Implantação: Oferece uma solução prática para cenários de produção onde as restrições de hardware e os requisitos de segurança (tolerância a alucinações) variam, permitindo que um único modelo treinado sirva múltiplos casos de uso através de consultas de preferência.
• Eficiência Computacional: A abordagem de "plano único" evita a necessidade de treinar múltiplos modelos especializados para diferentes configurações de compressão.

Em resumo, o HiPP-Prune estabelece um novo estado da arte na compressão de VLMs, demonstrando que a alocação adaptativa e condicional de esparsidade é crucial para manter a integridade multimodal e a robustez em modelos eficientes.