Resumo Técnico: LEAP - Eficiência de Salto de Camadas via Progressão Adaptativa para Destilação de Vision Transformers

Declaração do Problema

Modelos de Fundação de Visão (VFMs) baseados em Vision Transformers (ViT), como o DINOv2, alcançaram um desempenho de estado da arte, mas possuem contagens massivas de parâmetros (ex: ViT-Giant com 2 bilhões de parâmetros) que os tornam impraticáveis para implantação em dispositivos de borda (edge). A Destilação de Conhecimento (KD) é a solução padrão para comprimir esses modelos "professor" em modelos "aluno" compactos. No entanto, a KD baseada em características enfrenta um gap professor-aluno fundamental: a capacidade representacional limitada do aluno e seu espaço de características de rank inferior lutam para imitar os mapas de características complexos e de alta dimensão de um professor profundo (ex: um ViT-G de 40 camadas) em um único passo.

Estratégias existentes para preencher este gap, como o emparelhamento de camadas intermediárias (ex: PKD) ou cabeças de projeção (ex: ViTKD), frequentemente dependem de cronogramas de mapeamento estáticos. Essas abordagens forçam o aluno a se alinhar com características de camadas profundas complexas desde o início do treinamento ou exigem seleção manual arbitrária de camadas. Essa abordagem de "tudo de uma vez" falha em considerar a capacidade evolutiva do aluno, levando a um treinamento instável e convergência lenta, particularmente quando há um descompasso significativo de tamanho entre o professor e o aluno.

Metodologia: LEAP

Os autores propõem o LEAP (Layer-skipping Efficiency via Adaptive Progression), um currículo de treinamento projetado para mitigar o gap professor-aluno ao introduzir uma progressão de "fácil para difícil".

Insight Central: Similaridade Deslocada

Através de uma análise de similaridade camada a camada usando Alinhamento de Kernel Centrado (CKA), os autores observaram um deslocamento temporal durante o treinamento de linha de base:

• Nos estágios iniciais das épocas de treinamento, o mapa de características final do aluno exibe maior similaridade com as camadas rasas intermediárias do professor.
• À medida que o treinamento progride, o pico de similaridade desloca-se gradualmente em direção às camadas mais profundas do professor.
  Isso sugere que as camadas rasas são alvos "mais fáceis" para o aluno inicialmente, enquanto as camadas profundas representam abstrações semânticas mais complexas que requerem uma representação fundamental para serem aprendidas.

O Currículo Adaptativo

Em vez de um alvo fixo, o LEAP trata os mapas de características intermediárias do professor como uma sequência de alvos progressivamente difíceis. O currículo avança com base em um limiar de similaridade CKA online ($\tau$):

1. Inicialização: O aluno começa imitando o primeiro bloco ViT do professor.
2. Progressão Adaptativa: O sistema monitora a similaridade CKA entre o mapa de características terminal do aluno e o bloco alvo do professor atual ($T_m$).
3. Transição: O currículo avança para o próximo bloco do professor ($T_{m+1}$) apenas quando o score de similaridade atinge o limiar predefinido $\tau$ (ou um limite de paciência é atingido).
4. Eficiência: Este mecanismo permite a interrupção precoce da inferência do professor durante os estágios iniciais, pois as camadas mais profundas do professor não são computadas até que o aluno esteja pronto para aprendê-las.

A função de perda minimiza o Erro Quadrático Médio (MSE) entre as características finais do aluno e o alvo atual do professor, alinhadas via um projetor linear de camada única.

Principais Contribuições

1. Currículo LEAP: Um novo currículo de salto de camada para destilação de ViT baseada em características que elimina a necessidade de atribuição manual de camadas ou seleção de característica intermediária. Ele seleciona dinamicamente o alvo "mais fácil" em cada estágio com base em métricas de similaridade.
2. Robustez e Análise: Uma análise minuciosa da robustez do currículo através de diferentes capacidades de aluno (ViT-Small, ViT-Tiny) e escalas de dataset (ImageNet-100, ImageNet-1K). Os autores verificam que os modelos destilados retêm versatilidade em tarefas de nível de imagem, nível de instância e nível de pixel.
3. Ganhos de Eficiência: A progressão adaptativa possibilita economias significativas no custo computacional de treinamento (FLOPs) e no tempo de relógio (wall-clock time) ao adiar a inferência das camadas profundas do professor.

Resultados Experimentais

ImageNet-100 (Ablação e Ajuste)

• Acurácia: O ViT-S destilado via LEAP alcançou 90,1% de acurácia de linear probing, um aumento de +12,24% sobre a linha de base. O ViT-Tiny melhorou de 75,90% para 81,76%.
• Eficiência: O currículo reduziu os FLOPs de treinamento em 25,1% (ViT-S) e 28,8% (ViT-Tiny), e reduziu o tempo de treinamento em 21% e 22,5% respectivamente, via interrupção precoce da inferência do professor.
• Robustez: As melhorias na acurácia limpa traduziram-se em robustez fora da distribuição (out-of-distribution) no mini-ImageNet-C.

Tarefas de Downstream (ImageNet-100)

• Recuperação de Instância: Nos datasets Oxford e Paris, o ViT-S destilado via LEAP mostrou ganhos substanciais em mean Average Precision (mAP), melhorando em 7,75% em Paris e 3,84% em Oxford comparado às linhas de base.
• Segmentação Semântica: No ADE20K, o LEAP melhorou o mIoU significativamente em todos os protocolos (Segmentação Linear, EOMT, Multi-Scale). Para o ViT-S, o mIoU aumentou de 12,15% para 20,53% em Segmentação Linear e de 24,49% para 38,10% em EOMT.

ImageNet-1K (Escalabilidade)

• Recuperação: O LEAP manteve um forte desempenho, alcançando uma melhoria de 7,75% de mAP no dataset Paris e 3,84% em Oxford.
• Classificação e Segmentação: Em classificação de larga escala (linear probing) e segmentação, o LEAP alcançou resultados competitivos, aproximando-se das linhas de base. Os autores atribuem a falta de ganhos massivos na classificação global ao "teto de capacidade arquitetônica" dos modelos alunos compactos neste dataset.
• Eficiência: Embora as economias tenham sido mais modestas nesta escala (redução de 11,51% de FLOPs para o ViT-Tiny), o método preservou a integridade das características, evidenciado pelos ganhos de recuperação.

Estudos de Ablação

• Progressivo vs. Estático: O LEAP superou todas as estratégias de supervisão estática de camada única, confirmando que o benefício vem da progressão estruturada e não de um único "camada ótima".
• vs. Alinhamento Denso: Quando comparado a um alinhamento denso um-para-um de camadas (usando 12 projetores), o LEAP (usando apenas 1 projetor) alcançou desempenho quase idêntico (83,36% vs. 83,38% de linear probing), demonstrando alta eficiência estrutural.

Significância e Alegações

O artigo afirma que o LEAP fornece um caminho de aprendizado estruturado que acelera a convergência e melhora o alinhamento de características final ao respeitar a capacidade evolutiva do aluno. Ao tratar o espaço representacional do professor como um currículo em vez de um alvo estático, o LEAP:

1. Acelera a Convergência: Os alunos estabelecem uma fundação estável antes de enfrentar abstrações de alto nível.
2. Reduz o Custo Computacional: A interrupção precoce da inferência do professor reduz significativamente os FLOPs e o tempo de treinamento.
3. Aumenta a Versatilidade: Os modelos destilados retêm a capacidade de se adaptar a diversas tarefas de downstream (segmentação, recuperação, classificação) sem a necessidade de ajuste fino (fine-tuning) da destilação para tarefas específicas.

Os autores reconhecem limitações, especificamente a necessidade de um professor de caixa branca (white-box) com características intermediárias acessíveis e o potencial de ajuste subótimo de hiperparâmetros (limiar CKA) em grandes datasets. O trabalho futuro é sugerido para destilação entre arquiteturas distintas (ex: Transformer para CNN) e cenários multimodais.