Structured Evidence and Vision-Language Models for Interpretable Vision-Only UAV Behavior Analysis

Resumo Técnico: Evidência Estruturada e Modelos de Visão-Linguagem para Análise Interpretável de Comportamento de UAV Baseada Apenas em Visão

Declaração do Problema
Sistemas de contra-UAV (counter-UAV) baseados apenas em visão oferecem vantagens significativas em termos de custo, detecção passiva e compatibilidade com a infraestrutura de câmeras existente. No entanto, os pipelines atuais são amplamente limitados à detecção e ao rastreamento, fornecendo aos operadores localizações de alvos, mas carecendo de evidências auditáveis sobre o comportamento do UAV ou a urgência de uma resposta necessária. Embora os operadores possam ver onde um UAV está, eles não conseguem determinar facilmente o que ele está fazendo (ex: trânsito benigno, vigilância, aproximação ou manobras irregulares) sem uma revisão de vídeo manual lenta e cognitivamente exigente. Os pipelines baseados em visão existentes falham em preencher a lacuna entre o rastreamento visual de baixo nível e a interpretação de comportamento de alto nível.

Metodologia
Os autores propõem um framework de quatro camadas projetado para introduzir uma camada de evidência interpretável entre um rastreador padrão e um Modelo de Visão-Linguagem (VLM). O sistema é estritamente baseado apenas em visão e opera da seguinte forma:

1. Camada de Detecção: Um detector de classe única YOLOv8 (especificamente o modelo YOLOv8s treinado em resolução de 1280 pixels) identifica UAVs em cada quadro.
2. Rastreamento e Fusão: As detecções são associadas em trajetórias usando o ByteTrack, que aproveita detecções de baixa confiança para manter a robustez. Para lidar com a fragmentação de trajetória causada por oclusão ou quedas de confiança, um algoritmo de fusão de trilhas guloso combina segmentos curtos em caminhos coerentes baseados em lacunas temporais, distância espacial e continuidade de movimento.
3. Extração de Evidência Estruturada: Este é o componente central de interpretabilidade. Cada trajetória fundida é convertida em um registro de evidência de template fixo contendo:
   • Estatísticas de Movimento: Velocidade média/máxima, desvio padrão da velocidade, deslocamento total, comprimento do caminho e linearidade (razão entre deslocamento e comprimento do caminho).
   • Características de Escala: Área da caixa delimitadora inicial, final e razão de mudança (proxy para aproximação/afastamento).
   • Curvatura: Ângulos de curva médio e máximo.
   • Métricas de Suspensão (Hovering): Fração de quadros com movimento quase estacionário.
   • Sugestões Baseadas em Regras: Um mecanismo de regras leve gera rótulos de comportamento preliminares (ex: pairando, circulando, cruzando, aproximando-se) com base em limiares aplicados a essas métricas.
4. Raciocínio VLM: A quarta camada solicita ao VLM (Qwen-VL-Max) um input multimodal consistindo em:
   • Um mosaico de key-frames 2×3 (seis quadros amostrados uniformemente).
   • O registro de evidência estruturada (texto serializado de características numéricas e sugestões de regras).
     O modelo é instruído a fornecer rótulos de comportamento, estimativas de urgência de resposta e justificativas em linguagem natural fundamentadas nos valores específicos da evidência, formatadas como um bloco JSON.

Principais Contribuições
A principal contribação do artigo não é um detector ou rastreador inovador, mas sim a demonstração de como uma interface de evidência interpretável pode transformar um pipeline convencional de detecção-rastreamento em um sistema de análise de comportamento auditável.

• Evidência Estruturada sobre Pixels Brutos: O framework desacopla explicitamente a percepção do raciocínio. Em vez de pedir ao VLM para inferir dinâmicas temporais complexas apenas a partir de quadros estáticos esparsos, ele fornece fatos de trajetória compactos e numéricos.
• Auditabilidade: Ao forçar o VLM a citar valores de evidência específicos (ex: linearidade, razão de mudança de escala) em sua justificativa, o sistema torna o processo de raciocínio inspecionável, ao contrário do prompting visual de ponta a ponta onde a base para um rótulo é opaca.
• Abordagem Híbrida: O sistema combina heurísticas baseadas em regras com as capacidades de síntese semântica de um VLM, permitindo que o modelo refine ou substitua as sugestões preliminares baseadas em regras quando necessário.

Resultados Experimentais
O framework foi avaliado em 20 sequências do dataset DUT Anti-UAV, gerando 52 trilhas válidas. Um subconjunto de 50 trilhas foi anotado manualmente para avaliação de comportamento em seis categorias (pairando, circulando, cruzando, aproximando-se, afastando-se, errático).

• Desempenho: A configuração multimodal completa (imagem + evidência estruturada) alcançou a melhor acurácia de correspondência primária (0.700) e acurácia de qualquer correspondência (0.760).
• Descobertas de Ablação:
  • Apenas Imagem: Uma variante usando apenas o mosaico de key-frames teve desempenho insatisfatório (0.220 de acurácia de correspondência primária), confirmando que quadros estáticos esparsos não podem inferir de forma confiável o comportamento temporal.
  • Apenas Evidência: Uma variante usando apenas a evidência estruturada alcançou 0.680 de acurácia de correspondência primária, demonstrando que as estatísticas de trajetória são a fonte dominante de informação.
  • Comparação: A configuração completa superou tanto as variantes de modalidade única quanto o mecanismo de regras sozinho. Especificamente, os quadros visuais forneceram um ganho mensurável em casos geometricamente ambíguos (ex: melhorando a acurácia de "cruising" de 0.57 para 0.71 em comparação com a evidência apenas).
• Desempenho por Classe: O sistema teve bom desempenho nos comportamentos de "aproximação" e "afastamento". "Pairar" (hovering) permaneceu como a classe mais difícil, frequentemente confundida com "circular" quando a razão de suspensão não era dominante.

Significância e Alegações
O artigo afirma que, para a análise de comportamento de UAV baseada apenas em visão, a evidência de trajetória estruturada é a fonte essencial de informação, enquanto os quadros visuais fornecem um ganho suplementar, mas útil, em cenários ambíguos. Os autores afirmam que o framework proposto transforma com sucesso trilhas de baixo nível em rótulos de comportamento auditáveis e explicações orientadas à resposta.

O trabalho enfatiza que os VLMs são eficazes neste domínio apenas quando fundamentados em evidência de trajetória explícita, em vez de serem solicitados a inferir comportamento temporal apenas a partir de imagens estáticas esparsas. O sistema oferece um caminho prático para operações de contra-UAV escaláveis e interpretáveis, onde os operadores podem verificar a lógica por trás de um alerta. Os autores mantêm-se modestos quanto ao escopo, observando limitações como o tamanho pequeno do subconjunto anotado (50 trilhas), o uso de um único anotador e a dependência de um número limitado de key frames para a linha de base da imagem. Sugere-se como trabalho futuro expandir o dataset, envolver múltiplos anotadores e explorar entradas visuais temporais mais densas.