Resumo Técnico: Transformer Destilado de Dupla Ramificação para Rastreamento Assimétrico Eficiente de UAV (EATrack)

1. Declaração do Problema

O rastreamento de Veículos Aéreos Não Tripulados (UAV) enfrenta um compromisso crítico entre eficiência computacional e robustez de rastreamento. Embora os Transformers de Visão (ViTs) ofereçam capacidades de modelagem global superiores em comparação com Redes Neurais Convolucionais (CNNs) e Filtros de Correlação Discriminativos (DCFs), seu alto custo computacional os torna impraticáveis para plataformas embarcadas em UAVs com recursos limitados.

As abordagens leves existentes tentam resolver isso simplificando arquiteturas de rede (por exemplo, podando camadas, descartando tokens ou computação adaptativa). No entanto, o artigo argumenta que tais simplificações estruturais frequentemente enfraquecem a capacidade discriminativa das representações do alvo, levando à degradação de desempenho em cenários complexos envolvendo movimento rápido, oclusão e variações de aparência. Além disso, métodos anteriores de destilação de conhecimento em rastreamento frequentemente operam em nível global, falhando em aproveitar explicitamente priores espaciais ou focar a supervisão na região do alvo, o que pode resultar no modelo estudante perdendo o foco no alvo ou sofrendo com localização degradada.

2. Metodologia

Os autores propõem o EATrack, um framework de rastreamento de UAV eficiente e assimétrico centrado em uma estratégia de destilação de dupla ramificação guiada por professor. A filosofia central é transferir as ricas representações de características e as capacidades precisas de localização de um ViT "Professor" em escala completa para um ViT "Estudante" leve durante o treinamento, sem incorrer em custos computacionais adicionais durante a inferência.

2.1. Arquitetura

• Modelo Professor: Um Transformer de Visão em escala completa (12 camadas) que serve como fonte de conhecimento.
• Modelo Estudante: Um ViT leve e assimétrico (8 camadas) projetado para inferência em tempo real. Ele processa quadros de modelo e de busca independentemente na primeira etapa (Etapa 1) e os funde na segunda etapa (Etapa 2).
• Pipeline de Inferência: O estudante opera independentemente. Para lidar com variações temporais, um Armazenamento de Alvo acumula características confiáveis do alvo. Periodicamente, embeddings representativos são amostrados deste armazenamento para atualizar o modelo, permitindo adaptação temporal com sobrecarga mínima.

2.2. Estratégia de Destilação de Dupla Ramificação

O processo de treinamento emprega duas ramificações de destilação complementares para guiar o modelo estudante:

1. Destilação de Nível de Características Focada Espacialmente:

   • Objetivo: Compensar as representações de características enfraquecidas causadas pela poda.
   • Mecanismo: Uma máscara de peso espacial, derivada da caixa delimitadora de verdade fundamental, é aplicada às características do professor e do estudante. Isso força a perda de destilação (Erro Quadrático Médio) a se concentrar na região do alvo, suprimindo o ruído de fundo.
   • Efeito: Melhora a capacidade do estudante de aprender representações de alvo fortes e de alta granularidade e aumenta a robustez contra desordem de fundo.

2. Destilação de Nível de Previsão:

   • Objetivo: Aumentar a precisão da localização espacial.
   • Mecanismo: Uma perda de divergência de Kullback–Leibler (KL) mascarada alinha as distribuições de confiança do estudante e do professor especificamente dentro da região do alvo.
   • Efeito: Guia o estudante a replicar o comportamento de localização preciso do professor e a consistência de limites.

2.3. Treinamento e Função de Perda

A perda total de treinamento combina objetivos padrão de rastreamento com os termos de destilação:
$$L = L_{cls} + \lambda_1 L_1 + \lambda_2 L_{GIoU} + \lambda_3 L_{feat} + \lambda_4 L_{pred}$$
Onde $L_{feat}$ e $L_{pred}$ são as perdas de destilação de nível de características e de nível de previsão, respectivamente. Crucialmente, o modelo professor e as perdas de destilação são descartados após o treinamento; o modelo estudante não incorre em computação extra durante a inferência.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Framework de Destilação de Dupla Ramificação: Um design inovador que transfere seletivamente conhecimento específico do alvo por meio de supervisão de características ponderada espacialmente e alinhamento de nível de previsão mascarado. Isso aborda as limitações da destilação apenas global ao concentrar a supervisão dentro da região do alvo.
2. Treinamento de Alta Granularidade Consciente do Alvo: Uma estratégia que guia explicitamente o modelo a capturar variações de aparência ao focar a supervisão no primeiro plano. Isso aumenta a robustez a mudanças sutis e dinâmicas sem aumentar a latência de inferência.
3. Framework Leve Assimétrico: A integração de um backbone assimétrico com um mecanismo de aprimoramento temporal (Armazenamento de Alvo) cria um framework que equilibra precisão de rastreamento e eficiência computacional, permitindo que transformers podados mantenham precisão competitiva.

4. Resultados Experimentais

Os autores avaliaram o EATrack em cinco benchmarks de UAV: DTB70, UAVDT, VisDrone2018, UAV123 e UAV123@10fps.

• Desempenho: O EATrack-DeiT (usando um backbone DeiT-tiny) alcançou resultados state-of-the-art (SOTA) em todos os cinco conjuntos de dados, superando rastreadores leves anteriores como Aba-ViTrack e SGLATrack. Por exemplo, no UAV123, alcançou uma taxa de sucesso de 68,1%, superando o melhor anterior por uma margem significativa.
• Eficiência: O modelo roda a 33,6 FPS em uma plataforma embarcada NVIDIA Jetson TX2 sem ferramentas de aceleração (por exemplo, TensorRT), demonstrando capacidade em tempo real. Em uma GPU de alto desempenho (A100), atinge 241,9 FPS.
• Estudos de Ablação:
  • Destilação: A remoção da destilação resultou em uma queda de 1,4% na precisão e 1,1% na taxa de sucesso no UAV123. Ambas as ramificações de nível de características e de nível de previsão mostraram-se complementares.
  • Pistas Temporais: A incorporação de pistas temporais melhorou significativamente o desempenho em conjuntos de dados dinâmicos (por exemplo, +3,2% no DTB70, +5,8% no VisDrone), confirmando o valor da modelagem temporal em cenários de movimento complexo.
  • Análise de Profundidade: O estudo identificou um equilíbrio ótimo entre profundidade de camadas e eficiência, selecionando uma configuração que maximiza o desempenho enquanto mantém o objetivo leve.

5. Significado e Alegações

O artigo afirma que o EATrack efetivamente preenche a lacuna entre eficiência e precisão no rastreamento de UAV. Ao aproveitar uma estratégia de destilação guiada por professor e consciente do alvo, o método permite que transformers estruturalmente podados preservem as capacidades discriminativas e de localização de modelos maiores sem a sobrecarga de inferência associada.

Os autores enfatizam que sua abordagem se distingue dos rastreadores baseados em destilação existentes por:

• Ir além da orientação global para supervisão de alta granularidade e consciente do alvo.
• Combinar orientação de nível de características e de nível de previsão para abordar simultaneamente a qualidade da representação e a precisão de localização.
• Alcançar robustez contra variações de aparência por meio de um mecanismo de adaptação temporal que opera a custo ultrabaixo.

Os resultados sugerem que o EATrack é uma solução viável para aplicações aéreas em tempo real onde são exigidas tanto alta precisão de rastreamento quanto restrições computacionais rigorosas.