Resumo Técnico: HDST-GNN para Rastreamento de Múltiplos Objetos em UAV

Declaração do Problema

O rastreamento de múltiplos objetos (MOT) em imagens de Veículos Aéreos Não Tripulados (UAV) apresenta desafios distintos em comparação ao rastreamento ao nível do solo. O artigo identifica quatro dificuldades primárias:

1. Variação de Altitude: A altitude do drone flutua significativamente, fazendo com que o tamanho aparente dos objetos varie em uma ordem de magnitude. Raios de vizinhança espacial fixos usados em rastreadores baseados em grafos existentes levam à sobre-conexão em baixas altitudes e à sub-conexão em altas altitudes.
2. Tamanho Pequeno e Densidade de Objetos: Os objetos são frequentemente minúsculos (ex: <10×10 pixels) e densamente agrupados, tornando a extração de características de aparência difícil e aumentando a dependência do contexto espacial e de movimento.
3. Oclusão Frequente: Perspectivas e sombras causam desaparecimentos temporários, exigindo uma reidentificação robusta a partir de pistas limitadas.
4. Estados de Objetos Heterogêneos: Grafos de rastreamento contêm entidades qualitativamente diferentes simultaneamente: novas detecções (sem histórico), tracklets confirmados (com velocidade) e tracklets temporariamente perdidos. Métodos existentes frequentemente os tratam de forma uniforme, ignorando suas distintas semânticas de correspondência.

Os atuais rastreadores de estado da arte baseados em grafos (ex: MPNTrack, GNNMatch) falham em abordar essas restrições aéreas específicas, dependendo de contextos espaciais fixos e representações de nós homogêneas.

Metodologia: HDST-GNN

Os autores propõem o HDST-GNN (Rede Neural de Grafo Espaçotempo Heterogênea Dinâmica), um framework treinável de ponta a ponta projetado para abordar as limitações acima. O pipeline consiste em cinco estágios:

1. Extração de Aparência

Um backbone ResNet-18 (pré-treinado no ImageNet) extrai embeddings L2-normalizados de 128 dimensões para:

• Nós de detecção: Recortes do quadro atual.
• Nós de tracklet: Recortes da observação mais recente ($t-1$).
• Nós perdidos: Recortes do último quadro observado antes do desaparecimento.

2. Construção de Grafo Adaptável à Altitude (Contribuição C1)

Em vez de um raio fixo, o sistema estima um proxy de altitude da câmera $\hat{z}$ baseado na área aparente média dos objetos $\bar{a}$ no quadro atual:
$$\hat{z} = -\log\left(\frac{\bar{a}}{a_{ref}} + \epsilon\right)$$
O raio de conexão efetivo $r_{eff}$ é ajustado dinamicamente:
$$r_{eff} = r_0 \cdot \exp(-\beta\hat{z})$$
Isso contrai o raio em altas altitudes (onde os objetos são pequenos e densos em pixels) e o expande em baixas altitudes, evitando conexões errôneas entre regiões espaciais não relacionadas.

3. Representação de Grafo Heterogêneo (Contribuição C2)

O grafo $G=(V, E)$ modela três tipos distintos de nós:

• Tipo-D (Detecção): Novas detecções.
• Tipo-T (Tracklet): Tracks ativas confirmadas.
• Tipo-L (Perdido): Tracks recentemente perdidas (dentro de uma janela de memória).

Cada tipo possui projeções de entrada dedicadas. O grafo inclui cinco relações de arestas tipificadas (ex: correspondência detecção-para-tracklet, interação tracklet-para-tracklet, reidentificação perdido-para-detecção), permitindo que a rede aprenda semânticas relacionais separadas para cada pareamento.

4. Agregação Temporal com Portão de Oclusão (Contribuição C3)

Durante a passagem de mensagens, a rede emprega um mecanismo de Atenção com Portão de Oclusão. Cada nó de origem $j$ carrega um escore de confiança de oclusão $\phi_j \in [0, 1]$, calculado com base em se o nó é um tracklet confirmado, um tracklet perdido ou uma detecção.
A mensagem $m_{j \to i}$ é escalonada por este portão:
$$m_{j \to i} = \alpha_{ij} \cdot \phi_j \cdot W_{msg} h_j$$
Isso garante que nós fortemente ocluídos ou recentemente perdidos contribuam proporcionalmente menos para as atualizações de embedding de seus vizinhos, evitando a "poluição" do estado do grafo.

5. Associação e Treinamento

• Cabeça (Head): Uma cabeça de atribuição Sinkhorn diferenciável (inspirada no SuperGlue) computa atribuições suaves durante o treinamento. Na inferência, um algoritmo de Hungarian de dois estágios (seguindo o ByteTrack) resolve as atribuições rígidas.
• Perda (Loss): O modelo é treinado com uma perda conjunta que combina entropia cruzada binária (para correspondência) e perda de margem de triplete (para aprendizado métrico de aparência).

Principais Contribuições

O artigo reivindica explicitamente três contribuições inovadoras:

1. Construção de Arestas Adaptável à Altitude: Um mecanismo para ajustar dinamicamente a conectividade do grafo com base na altitude estimada da câmera, resolvendo o modo de falha de raio fixo em sequências aéreas.
2. Tipos de Nós e Arestas Heterogêneos: Uma estrutura de grafo que distingue explicitamente entre detecções, tracklets ativos e tracklets perdidos, permitindo o aprendizado de distintas semânticas de correspondência para diferentes estados de ciclo de vida.
3. Agregação Temporal com Portão de Oclusão: Um mecanismo de portão diferenciável que modula os pesos de atenção com base na confiança de oclusão, melhorando a robustez contra o desaparecimento temporário de objetos.

Resultados Experimentais

Experimentos foram conduzidos no dataset VisDrone2019-MOT.

Protocolo Oracle-Detection

Usando caixas delimitadoras de verdade fundamental (ground-truth) como entrada (para isolar o desempenho de associação):

• O HDST-GNN alcançou 94,51% de MOTA e 97,24% de IDF1.
• Superou o baseline SORT em +5,0 pontos de MOTA.
• As trocas de identidade (IDs) foram reduzidas em 81% (de 144 para 28 por sequência em média).
• O modelo recuperou significativamente mais detecções verdadeiras (848 FN vs. 1493 para SORT), demonstrando uma reidentificação eficaz.

Protocolo Noisy-Detection

Usando detecções ruidosas simuladas (15% de falsos negativos, 10% de falsos positivos):

• O HDST-GNN reduziu as trocas de identidade em 49% em relação ao SORT (638 vs. 1264).
• Embora o SORT tenha alcançado um MOTA ligeiramente superior neste cenário ruidoso específico devido a uma política de correspondência IoU mais permissiva, o HDST-GNN demonstrou integridade de identidade superior, uma prioridade para aplicações de vigilância.

Estudos de Ablação

• C1 (Adaptação de Altitude): O componente mais crítico. Remover o C1 causou uma queda de 6,07 pp em MOTA, com o desempenho colapsando em sequências com alta variação de altitude.
• C2 & C3: Remover tipos heterogêneos ou o portão de oclusão resultou em mudanças negligenciáveis no MOTA relatado (provavelmente devido à variância de treinamento), embora os autores notem que esses componentes interagem com a profundidade do treinamento.

Significância e Alegações

O artigo posiciona o HDST-GNN como um novo estado da arte para UAV MOT sob condições de detecção oracle. Os autores afirmam que a significância do trabalho reside em:

1. Abordar Modos de Falha Sistemáticos: Enfrentar diretamente a limitação de raio fixo que assola os rastreadores de grafos existentes em dados aéreos.
2. Modelagem Consciente do Ciclo de Vida: Ir além de grafos homogêneos para modelar explicitamente os distintos estados de objetos rastreados (detecção, rastreamento, perdido).
3. Reidentificação Robusta: Demonstrar que características de aparência aprendidas, combinadas com o portão de oclusão, podem recuperar tracks efetivamente após oclusão e mudanças de altitude onde métodos tradicionais baseados em IoU falham.

Os autores concluem que, embora o desempenho atual seja limitado pela qualidade do detector (especificamente a falta de detectores ajustados para VisDrone na avaliação end-to-end), o próprio framework de associação fornece um viés indutivo robusto e consciente da estrutura para o rastreamento aéreo. O trabalho futuro sugerido inclui o treinamento conjunto com detectores reais e a extensão para rastreamento de múltiplas classes.