💻 computer science

Eddy-VL 1.9B: Structural Pruning and Layered Distillation for Edge-Deployable Multimodal Embedding

O artigo apresenta o Eddy-VL 1.9B, um modelo de incorporação multimodal comprimido projetado para implantação em borda que alcança 91,7% do desempenho de seu professor de 2,13B, enquanto reduz os parâmetros em 9,5% e a latência em 10% por meio de poda estrutural orientada por sondagem e destilação de conhecimento em camadas.

Autores originais: HanYeong Cho, Changwoo Kim, Taeuk Chu, Jimin Park

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: HanYeong Cho, Changwoo Kim, Taeuk Chu, Jimin Park

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores podem "ver" e "ler" ao mesmo tempo, compreendendo a imagem de um gato sentado em um tapete tão bem quanto entendem as palavras "gato no tapete". Este é o reino da IA multimodal, um ramo da ciência onde as máquinas aprendem a conectar imagens, texto e vídeo em uma única linguagem compartilhada. Para fazer isso, esses modelos de IA agem como gigantes tradutores, transformando tudo o que veem em uma longa lista de números chamada embedding. Pense em um embedding como uma impressão digital única para um conteúdo; se duas impressões digitais forem muito semelhantes, o computador sabe que o conteúdo está relacionado.

No entanto, há um problema. Os tradutores mais inteligentes são geralmente os mais pesados. Eles são como supercomputadores massivos baseados na nuvem que precisam de uma conexão de internet constante e de alta velocidade para funcionar. Mas e se você estiver em um porão secreto, em uma sala de evidências policiais ou em uma estação de campo remota onde a internet foi cortada? Você precisa de um tradutor que seja inteligente o suficiente para entender pistas complexas, mas pequeno o suficiente para caber em um laptop local ou em um dispositivo portátil. Este é o desafio da implantação na borda (edge deployment): fazer com que a IA poderosa funcione offline, rapidamente e sem precisar de uma conexão com a nuvem.

Apresentamos o Eddy-VL 1.9B, um novo modelo projetado especificamente para essas situações "air-gapped" (isoladas), onde a privacidade e a velocidade são tudo. Os pesquisadores por trás deste projeto começaram com um modelo professor muito inteligente, porém muito pesado, chamado Qwen3-VL-Embedding-2B. Este professor é como um professor brilhante com 28 camadas de pensamento profundo, mas é volumoso demais para carregar em uma mochila. A equipe fez uma pergunta simples: Podemos encolher este professor sem fazer com que ele esqueça como ensinar?

Eles não apenas cortaram pedaços aleatórios; usaram uma estratégia inteligente chamada poda estrutural (structural pruning). Imagine o cérebro do professor como um edifício de 28 andares. Os pesquisadores usaram uma "sonda" especial para medir o quanto cada andar estava repetindo o trabalho dos andares imediatamente acima e abaixo dele. Eles descobriram quatro andares específicos que estavam realizando muito trabalho redundante — como ter quatro máquinas de xerox idênticas em linha quando uma bastaria. Eles removeram esses quatro andares, reduzindo o edifício de 28 para 24 andares.

Mas aqui está a parte difícil: quando você remove andares de um edifício, as pessoas que moram no último andar podem se perder. Para corrigir isso, a equipe utilizou a destilação em camadas (layered distillation). Pense nisso como um mestre arquiteto (o professor original de 28 andares) guiando um novo arquiteto menor (o estudante de 24 andares). O professor não diz apenas "construa"; ele mostra ao aluno exatamente como pensar em cada etapa. Eles usaram uma técnica chamada CKA (que mede o quão semelhantes são os pensamentos de duas camadas) para garantir que as camadas intermediárias do aluno estivessem pensando exatamente como as do professor, e usaram um método especial "Matryoshka" para a resposta final, garantindo que o aluno pudesse fornecer respostas de diferentes tamanhos dependendo da necessidade.

O resultado é o Eddy-VL 1.9B. É um modelo com cerca de 1,93 bilhão de parâmetros, pesando 3,85 GB — pequeno o suficiente para caber em muitos dispositivos modernos. Em testes, este modelo "encolhido" conseguiu manter cerca de 91,7% da inteligência do professor original. Enquanto o professor original pontuou 68,9 em um teste massivo de 78 tarefas diferentes (chamado MMEB-V2), o Eddy-VL pontuou 63,2. Isso pode parecer uma queda, mas lembre-se, o modelo perdeu quatro camadas inteiras de pensamento! Sem os truques especiais de ensino, a pontuação teria despencado para 56,8. O processo de destilação recuperou com sucesso 6,4 pontos desse terreno perdido.

O modelo também obteve um ganho de velocidade. Como possui menos camadas para processar, ele roda cerca de 10% mais rápido que o original, levando 136,4 milissegundos por imagem em vez de 150,0 milissegundos. Isso pode não parecer uma diferença enorme, mas em uma investigação do mundo real, onde você está escaneando milhares de fotos apreendidas offline, esses segundos extras se somam a horas de tempo economizado.

Os pesquisadores foram cuidadosos ao notar onde o modelo ainda tem dificuldades. Embora tenha se tornado quase tão bom quanto o professor em entender relações complexas entre palavras e imagens (pontuando 86,1% em um teste comparado aos 86,4% do professor), ele ainda teve um pouco de dificuldade com um tipo específico de quebra-cabeça chamado Winoground, onde pontuou 6,8 contra os 8,5 do professor. Isso sugere que, embora o modelo seja excelente para recuperação geral, alguns enigmas lógicos muito complexos ainda exigem o cérebro completo e não podado.

Em última análise, o Eddy-VL 1.9B não é uma solução mágica que resolve todos os problemas, mas é uma ferramenta poderosa para um trabalho muito específico. Ele prova que você pode pegar uma IA massiva e dependente da nuvem e comprimi-la em um pacote leve e pronto para uso offline sem perder muito de sua alma. Para investigadores, especialistas forenses e qualquer pessoa que trabalhe em lugares onde a internet é um luxo que não podem permitir, este modelo oferece uma maneira de manter as luzes acesas e a inteligência alta, diretamente na borda da rede.

Resumo Técnico: Eddy-VL 1.9B

Declaração do Problema

O artigo aborda o desafio de implantar modelos de embedding multimodal de alto desempenho em cenários forenses e investigativos implantáveis em borda (edge-deployable), operando em ambientes isolados (air-gapped). Nestes ambientes, APIs de nuvem estão indisponíveis, a latência é crítica e existem políticas rigorosas de não uso de nuvem. Embora o modelo Qwen3-VL-Embedding-2B sirva como um excelente professor aberto para recuperação visão-linguagem, seu decodificador de texto de 28 camadas e seu checkpoint de 4,26 GB são pesados demais para esses cenários de borda restritos. O objetivo é comprimir o modelo para reduzir a contagem de parâmetros e a latência de inferência, preservando o comportamento de recuperação e a compreensão composicional.

Metodologia

Os autores propõem o Eddy-VL 1.9B, um modelo de embedding multimodal comprimido derivado do Qwen3-VL-Embedding-2B. A estratégia de compressão envolve duas etapas primárias:

1. Poda Estrutural Dirigida por Sonda (Probe-Driven Structural Pruning)

Em vez de treinar um novo modelo de fundação, os autores removem camadas redundantes do decodificador de texto do professor existente.

Detecção de Redundância: Eles extraem estados ocultos do último token de cada um dos 28 blocos do decodificador do professor usando 1.000 pares de imagem-legenda de calibração.
Pontuação: A redundância de camadas adjacentes é pontuada usando Alinhamento de Kernel Centrado Linear (CKA). A pontuação $s(\ell)$ para um bloco é a soma do CKA com seu predecessor e sucessor: $s(\ell) = \text{CKA}(X_{\ell-1}, X_\ell) + \text{CKA}(X_\ell, X_{\ell+1})$ .
Estratégia de Seleção: Em vez de simplesmente remover os 4 blocos com maior pontuação (o que removeria os blocos 21–24), os autores analisam o equilíbrio das pontuações CKA. Eles descobriram que remover o bloco 2 (pontuação alta, mas com vizinhos assimétricos) degradava as transições de profundidade inicial. Em vez disso, selecionaram um conjunto $D = \{3, 22, 24, 25\}$ para remover. Esta escolha preserva a rampa de profundidade inicial e garante uma remoção mais simétrica das camadas médias a tardias.
Resultado: O decodificador de texto é reduzido de 28 para 24 camadas. O codificador de visão (24 blocos) permanece congelado.

2. Destilação de Conhecimento em Camadas (Layered Knowledge Distillation)

O estudante podado de 24 camadas é treinado para imitar o professor de 28 camadas usando um mapeamento de professor-estudante de cobertura de lacunas (hole-covering).

Mapeamento: Os blocos removidos são "conectados" mapeando as camadas do estudante para as camadas vizinhas do professor. Por exemplo, a camada 3 do estudante mapeia para a camada 4 do professor; a camada 21 do estudante mapeia para a camada 23 do professor, etc.
Funções de Perda:
- Perda de Camada Intermediária: Para as camadas intermediárias mapeadas, os autores utilizam $1 - \text{CKA}$ nos mapas de atenção achatados para alinhar a representação estrutural entre o professor e o estudante.
- Perda de Camada Final: O embedding final é alinhado usando MSE + perda de Cosseno com dimensões de Aprendizado de Representação Matryoshka (MRL) $\{128, \dots, 2048\}$ .
Dados de Treinamento: A destilação utiliza uma mistura de dois corpora proprietários:
- Korean COCO: ~410k pares imagem-legenda (imagem + texto em coreano).
- OurDataset: ~45k amostras apenas de imagem (sem legendas de texto) cobrindo domínios relevantes para perícia (documentos, cenas, dispositivos, etc.).

Principais Contribuições

Eddy-VL 1.9B: Um modelo lançado com 1,93 bilhão de parâmetros (3,85 GB em bf16), representando uma redução de ~9,5% em relação ao professor de 2,13B.
Heurística de Poda Inovadora: Um método de poda dirigida por sonda que prioriza o equilíbrio de camadas sobre as pontuações brutas de redundância para evitar o colapso das representações de profundidade inicial, validado por estudos de ablação que mostram que a poda top-k ingênua falha em tarefas intensivas de classificação.
Estrutura de Destilação em Camadas: Um protocolo de destilação específico usando mapeamentos de cobertura de lacunas e perdas de CKA de mapa de atenção de camada intermediária, que supera a destilação de apenas estados ocultos e outros objetivos de camada intermediária (RCKA, STRUCTURE, mutual-kNN).
Otimização de Borda: O modelo é explicitamente projetado para recuperação forense offline e isolada, ofereção uma redução de ~10% na latência de forward.

Resultados

Avaliado no benchmark MMEB-V2 (78 tarefas) usando o framework VLM2Vec:

Desempenho Geral:
- Professor (Qwen3-VL-Embedding-2B): 68,9 (avaliado sob o protocolo específico do artigo).
- Baseline Podado (Sem Destilação): 56,8 (uma perda de 12,1 pontos).
- Eddy-VL 1.9B: 63,2.
- Retenção: O Eddy-VL retém 91,7% do desempenho do professor sob este protocolo e recupera 6,4 pontos dos 12,1 pontos perdidos apenas pela poda.
Sondas Composicionais:
- SugarCrepe: 86,1 (vs. Professor 86,4).
- MR2-Bench: 24,5 (vs. Professor 24,7).
- ARO: 59,5 (vs. Professor 60,4).
- Winoground: 6,8 (vs. Professor 8,5). Os autores observam que esta é a principal fraqueza do modelo.
Eficiência:
- A latência de forward foi reduzida de 150,0 ms para 136,4 ms por imagem (~10% de aceleração) em um NVIDIA DGX Spark com FlashAttention-2.

Significância e Alegações

O artigo afirma que o Eddy-VL 1.9B demonstra a eficácia da poda estrutural combinada com a destilação em camadas para criar recuperadores multimodais implantáveis em borda.

Alegações Modestas: Os autores declaram explicitamente que não pretendem paridade com todas as configurações de leaderboards publicadas (ex: a pontuação pública do leaderboard Qwen de 73,2 vs. sua reavaliação de 68,9). Eles focam em ganhos relativos de compressão sob um protocolo fixo.
Caso de Uso Alvo: O modelo é posicionado como um embedder para exibição de candidatos em investigações forenses, destinado a ser pareado com um reranker para ordenação final.
Limitações: Os autores reconhecem uma lacuna relativa restante de ~8,3% em relação ao professor, a natureza proprietária de seus dados de treinamento (impedindo a redistribuição pública) e a fraqueza específica nas pontuações de grupo do Winoground.

O trabalho fornece um caminho prático para a implantação de grandes modelos de visão-linguagem em ambientes de recursos limitados e offline sem sacrificar a maior parte de suas capacidades de recuperação.