🤖 AI

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

O artigo propõe o GRACE, um novo framework que unifica a destilação de conhecimento e o treinamento consciente de quantização sob o princípio do Gargalo de Informação para habilitar Modelos Visão-Linguagem INT4 eficientes e de alto desempenho que superam significativamente os métodos de quantização existentes enquanto quase igualam o desempenho do professor de precisão completa.

Autores originais: Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

Publicado 2026-05-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um professor brilhante e de classe mundial (o Professor) que sabe tudo sobre o mundo, desde identificar um pássaro específico em uma foto até explicar ciência complexa. Este professor é incrivelmente inteligente, mas também enorme, pesado e requer uma biblioteca massiva para armazenar seu conhecimento. Você deseja contratar um estudante jovem e entusiasta (o Estudante) que é muito menor e mais leve, para que possa carregar o conhecimento em uma mochila e trabalhar em um dispositivo pequeno e alimentado por bateria.

O problema? Quando você tenta encolher o cérebro massivo do professor para caber na mochila minúscula do estudante, geralmente perde-se muita "coisa boa". O estudante acaba confuso, cometendo erros ou esquecendo detalhes importantes. É isso que acontece quando tentamos comprimir grandes modelos de IA (chamados Modelos Visão-Linguagem) para executá-los em dispositivos menores.

O artigo introduz um novo método chamado GRACE para resolver isso. Pense no GRACE como um acampamento de treinamento superinteligente que ensina o estudante a manter as lições mais importantes enquanto descarta o supérfluo, tudo enquanto empacota o conhecimento em uma mala pequena e eficiente.

Veja como o GRACE funciona, usando três truques simples:

1. O "Medidor de Confiança" (Distilação com Portão de Confiança)

Geralmente, quando um estudante aprende com um professor, ele ouve tudo o que o professor diz com igual importância. Mas às vezes, mesmo um professor gênio fica inseguro ou confuso sobre um detalhe específico. Se o estudante copiar cegamente essas suposições inseguras, ele aprende hábitos ruins.

O GRACE dá ao estudante um Medidor de Confiança.

Se o professor está muito confiante (baixa "entropia" ou confusão), o estudante ouve atentamente e aprende com empenho.
Se o professor soa inseguro ou hesitante (alta entropia), o estudante coloca fones de cancelamento de ruído e ignora aquele conselho específico.
O Resultado: O estudante aprende apenas com os "melhores momentos" do professor, evitando a confusão que geralmente arruína o processo de aprendizado.

2. O "Mapa de Conexões" (Alinhamento Relacional)

Imagine que o professor olha para uma foto de um parque. Ele não vê apenas "uma árvore" e "um banco" como itens separados. Ele vê o relacionamento: "O banco está embaixo da árvore" e "A árvore está ao lado do caminho".

Métodos de ensino padrão frequentemente apenas perguntam ao estudante: "O que é isso?" e verificam se ele acertou o nome. Mas o GRACE ensina o estudante a olhar para o mapa de conexões.

Ele força o estudante a entender como diferentes partes da imagem se relacionam entre si, assim como o professor faz.
Mesmo que o estudante seja menor, ele aprende a agrupar coisas logicamente (por exemplo, "tokens do céu" permanecem juntos, "tokens do solo" permanecem juntos) em vez de apenas memorizar fatos isolados.
O Resultado: O estudante aprende a "ver" o mundo com a mesma compreensão estrutural do professor gigante, e não apenas a resposta final.

3. O "Gerente Inteligente da Mochila" (Controlador Adaptativo)

Você tem uma mochila com um limite de peso estrito (o Quantização ou orçamento de bits). Você não pode apenas jogar tudo dentro; precisa ser estratégico.

O GRACE usa um Gerente Inteligente que verifica constantemente a mochila:

"Estamos carregando muita porcaria inútil?"
"Estamos esquecendo as lições mais importantes?"
Se o estudante estiver lutando para lembrar as lições do professor dentro do limite de peso, o gerente apertará as regras e forçará o estudante a focar mais no professor.
Se o estudante estiver indo muito bem, o gerente afrouxará as regras para que o estudante possa focar em resolver os problemas reais (como responder perguntas) em vez de apenas copiar o professor.
O Resultado: A mochila está perfeitamente arrumada — sem espaço desperdiçado, mas nada importante fica para trás.

O Resultado Espetacular

O artigo testou este método em dois famosos modelos de IA (LLaVA e Qwen). Os resultados foram surpreendentes:

Melhor que o original: O pequeno estudante comprimido (executando com apenas 4 bits de memória) na verdade teve desempenho melhor que o modelo original de tamanho completo rodando em computadores padrão.
Velocidade e Tamanho: Como o modelo é muito menor e eficiente, ele roda 3 vezes mais rápido e usa metade da memória.

Em resumo: O GRACE é como um chef mestre ensinando um aprendiz. Em vez de apenas entregar ao aprendiz um livro de receitas gigante (que é pesado demais para carregar), o chef ensina-lhe como provar a comida (medidor de confiança), como os ingredientes se relacionam entre si (mapa de conexões) e como arrumar uma marmita que caiba tudo o que precisam sem derramar uma gota (gerente inteligente). O resultado é um pequeno chef que cozinha tão bem quanto o mestre, mas pode fazê-lo em qualquer lugar, a qualquer momento.

Resumo Técnico: GRACE – Alinhamento Relacional Gateado via Destilação Baseada em Confiança para VLMs Eficientes

1. Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) demonstraram capacidades transformadoras em tarefas multimodais, mas enfrentam desafios significativos de implantação devido aos seus altos custos computacionais e de memória. Embora a Quantização Pós-Treinamento (PTQ) ofereça uma rota simples de compressão, ela frequentemente causa degradação catastrófica da precisão em VLMs, particularmente em larguras de bits agressivas como INT4, devido às distribuições multimodais complexas e às interações cruzadas entre modalidades inerentes a esses modelos.

O Treinamento Consciente de Quantização (QAT) é uma alternativa mais fundamentada que permite que os modelos se adaptem às restrições de baixa precisão durante a otimização. No entanto, o QAT para VLMs permanece pouco explorado. O QAT padrão baseia-se exclusivamente em perdas de tarefa, que fornecem supervisão esparsa insuficiente para guiar o modelo sobre qual informação preservar sob orçamentos de bits estritos. Além disso, combinações ingênuas de QAT e Destilação de Conhecimento (KD) frequentemente falham em abordar os desafios específicos dos VLMs, como a variabilidade na confiabilidade da supervisão do professor e a perda de estruturas de raciocínio visual de alta granularidade.

2. Metodologia: O Framework GRACE

Os autores propõem o GRACE (Alinhamento Relacional Gateado via Destilação Baseada em Confiança para VLMs Eficientes), um framework unificado que formula a compressão de VLMs como um problema de Gargalo de Informação (IB). Sob este princípio, a quantização atua como uma restrição rígida de capacidade, enquanto a destilação determina quais informações relevantes para a tarefa reter. O GRACE integra três componentes sinérgicos:

2.1 Destilação de Conhecimento Desacoplada Gateada por Confiança (GDKD)

A KD padrão trata todas as previsões do professor igualmente, ignorando que as saídas incertas do professor (alta entropia) podem introduzir ruído. O GRACE aborda isso por meio de:

Destilação de Conhecimento Desacoplada (DKD): A perda de destilação é decomposta em Destilação de Conhecimento da Classe Alvo (TCKD) e Destilação de Conhecimento de Classes Não-Alvo (NCKD). A NCKD transfere "conhecimento escuro" da distribuição de classes incorretas, que é frequentemente mais informativa do que as probabilidades da classe alvo sozinhas.
Gateamento por Confiança: Os autores observam uma forte correlação positiva entre a entropia do professor e o erro de previsão. Eles introduzem um mecanismo de gateamento onde o peso de destilação para cada token é definido como $g_i = \exp(-\tilde{h}_i)$ , onde $\tilde{h}_i$ é a entropia normalizada da saída do professor. Isso suprime a supervisão de tokens incertos (alta entropia) e prioriza previsões confiantes.
Justificativa Teórica: Este gateamento é mostrado para minimizar a covariância entre pesos e perda, filtrando efetivamente sinais de supervisão não confiáveis.

2.2 Alinhamento de Kernel Centrado Relacional (RCKA)

A destilação baseada em logits falha em transferir as capacidades superiores de raciocínio visual de modelos maiores, que se manifestam como padrões de atenção estruturados e não apenas como probabilidades de saída.

Estrutura de Tokens Visuais: O GRACE extrai representações de tokens visuais da penúltima camada da espinha dorsal do LLM (excluindo tokens de texto).
Alinhamento de Kernel Centrado (CKA): Em vez de alinhar características ponto a ponto, o GRACE alinha as matrizes de Gram dos tokens visuais entre o professor e o aluno. Isso transfere a estrutura relacional (similaridades pareadas) entre os tokens visuais, permitindo que o aluno aprenda como o professor organiza a informação visual em regiões semanticamente coerentes (por exemplo, agrupando tokens de céu juntos).
Independência de Dimensionalidade: O CKA opera em matrizes de Gram $n \times n$ , permitindo o alinhamento entre modelos com dimensões ocultas diferentes sem a necessidade de camadas de projeção.

2.3 Controlador Adaptativo de Gargalo de Informação

Para equilibrar os objetivos concorrentes de desempenho da tarefa e retenção de conhecimento sob restrições de quantização, o GRACE emprega um controlador adaptativo:

Otimização Constrained: O problema é formulado como minimizar a perda de tarefa sujeita a uma restrição na perda de destilação ( $L_{GDKD} \leq \tau$ ), onde $\tau$ representa o orçamento de preservação de informação.
Ascensão Dual: O peso de destilação $\beta$ é atualizado dinamicamente via ascensão dual projetada com suavização de Média Móvel Exponencial (EMA). Se o aluno tiver dificuldade em reter o conhecimento do professor ( $L_{GDKD} > \tau$ ), $\beta$ aumenta para fortalecer a destilação; caso contrário, diminui para priorizar o desempenho da tarefa.

2.4 Estratégia de Quantização

O GRACE emprega Quantização de Passo Aprendido por Grupo (LSQ). Os pesos são particionados em pequenos grupos (tamanho padrão 128), cada um com um parâmetro de escala independente e aprendível, otimizado conjuntamente com os pesos do modelo durante o treinamento. Esta abordagem captura melhor as distribuições heterogêneas de pesos dos VLMs do que a quantização por tensor ou por canal.

3. Principais Contribuições

Unificação Teórica: O artigo estabelece uma conexão teórica entre Destilação de Conhecimento e QAT através do princípio do Gargalo de Informação, enquadrando a quantização como um problema de alocação de capacidade onde a destilação guia o que preservar.
Framework GRACE: A proposta de um framework unificado apresentando:
- Destilação desacoplada gateada por confiança para filtrar supervisão ruidosa.
- Alinhamento de kernel centrado relacional para transferir raciocínio visual estrutural.
- Um controlador IB adaptativo para equilibrar dinamicamente fidelidade e capacidade.
Avanço de Desempenho: Demonstração de que VLMs quantizados em INT4 treinados com GRACE podem superar as linhas de base de precisão total (BF16), um resultado raramente alcançado em cenários de quantização agressiva.

4. Resultados Experimentais

Avaliações extensivas foram conduzidas no LLaVA-1.5 (professor 13B $\to$ aluno 7B) e Qwen2-VL (professor 7B $\to$ aluno 2B) em múltiplos benchmarks (SQA, MMBench, ScienceQA, etc.).

Recuperação e Superação de Precisão:
- LLaVA-1.5-7B (INT4): Alcançou 70,1% no ScienceQA, superando a linha de base BF16 (66,8%) e igualando o desempenho do professor de 13B.
- Qwen2-VL-2B (INT4): Alcançou 76,9% no MMBench e 79,1% no ScienceQA, superando significativamente a linha de base BF16 (72,6% e 73,7%, respectivamente) e métodos INT4 existentes como RTN, AWQ e SPEED-Q.
Comparação com Linhas de Base: O GRACE superou consistentemente o QAT padrão, KD+QAT ingênuo e métodos PTQ de última geração (GPTQ, AWQ, MBQ) por margens significativas (por exemplo, +4,5% sobre a linha de base no Qwen2-VL-2B INT4).
Ganhos de Eficiência: Quando implantado com kernels INT4 reais em uma GPU NVIDIA A100, o modelo GRACE alcançou:
- 3,03× maior vazão.
- 3,03× menor latência.
- 2,18× de redução na memória de pico da GPU.
- 3,08× de redução no armazenamento de parâmetros.

5. Significado e Alegações

O artigo alega que o GRACE fornece uma base fundamentada para otimização conjunta na compressão de VLMs. Ao tratar a quantização como um problema de Gargalo de Informação, o framework permite que os modelos aprendam representações inerentemente robustas à compressão agressiva de baixo bit.

Os autores enfatizam que sua abordagem permite que modelos INT4 não apenas recuperem, mas superem as linhas de base de precisão total, validando que a alocação fundamentada de informação (via gateamento por confiança e alinhamento relacional) é superior a combinações padrão de QAT ou destilação ingênua. O trabalho visa democratizar o acesso a VLMs de alta qualidade, permitindo sua implantação em dispositivos com recursos limitados com reduções significativas nos requisitos de memória e computação, mantendo ou melhorando o desempenho da tarefa. Os autores reconhecem potenciais implicações sociais, incluindo o risco de mau uso para geração de conteúdo enganoso, mas argumentam que os benefícios da IA multimodal eficiente e acessível superam esses riscos quando implantada de forma responsável.