Resumo Técnico: Fusão Distribuída com Restrição de Inclinação no Domínio da Imagem para Rastreamento de UAVs em Manobras

1. Declaração do Problema

A predição de curto horizonte é crítica para o rastreamento eletro-óptico (EO) de Veículos Aéreos Não Tripulados (UAVs) pequenos e manobráveis, particularmente quando as observações são intermitentes ou o alvo é pequeno. Embora as medições padrão (centro da imagem, linha de visão e alcance) forneçam restrições diretas sobre a posição do alvo, elas oferecem apenas restrições fracas sobre a aceleração. Consequentemente, durante manobras agressivas ou curtas interrupções de dados, os estimadores de estado frequentemente apresentam atraso na estimativa da aceleração, levando à amplificação dos erros de predição.

Além disso, o monitoramento de baixa altitude depende cada vez mais de sistemas de múltiplas câmeras distribuídas (combinando nós móveis e fixos) para reduzir pontos cegos. No entanto, esses sistemas introduzem desafios como amostragem assíncrona, qualidade de observação heterogênea, atrasos de comunicação e inconsistências de calibração entre câmeras. Métodos existentes frequentemente focam em melhorar a robustez da detecção ou a estimação de estado separadamente, falhando em explorar plenamente as pistas físicas inerentes à dinâmica de helicópteros para restringir as estimativas de aceleração.

2. Metodologia

O framework proposto integra um pipeline de rotulagem automática de prior fraca para geração de dados com um estimador de fusão distribuída com restrição de inclinação.

A. Rotulagem Automática de Prior Fraca e Detecção

Para evitar o processo trabalhoso de anotação manual de Caixas Delimitadoras Orientadas (OBB), os autores construíram um pipeline para gerar dados de treinamento:

• Fontes de Dados: Vídeo sincronizado, IMU do gimbal e IMU do UAV.
• Processo:
  1. Extração de Movimento: Candidatos de primeiro plano são extraídos usando um modelo de mistura gaussiana de fundo.
  2. Associação de Trajetória: Os candidatos são associados às trajetórias do alvo usando correspondência restrita por raio e interpolação para curtas interrupções.
  3. Rotulagem de Inclinação Fraca: Usando a geometria relativa entre o IMU do gimbal e o IMU do UAV, o sistema calcula o vetor normal equivalente do UAV no quadro da câmera. Isso gera rótulos de roll (rolagem) e pitch (arfagem) no domínio da imagem de forma "fraca", sem exigir uma verdade fundamental 3D precisa.
  4. Geração Adaptativa de OBB: As dimensões e ângulos de rotação da OBB são derivados da área do alvo e dos rótulos de inclinação fraca calculados.
• Detector: Um detector YOLO-OBB é treinado neste conjunto de dados para fornecer medições online de posição do alvo e inclinação no domínio da imagem (roll/pitch).

B. Fusão Distribuída com Restrição de Inclinação

O método de estimação central é um filtro de fusão distribuída usando um Filtro de Kalman Não Linear (UKF) com um vetor de estado aumentado.

• Modelagem de Estado: O estado do alvo inclui posição, velocidade e aceleração ($x, y, z$). O filtro também aumenta o estado com estados de erro de atitude da câmera (rolagem, arfagem, guinada) para cada uma das três câmeras (um gimbal móvel, duas câmeras fixas) para absorver o drift extrínseco e a inconsistência sistemática.
• Inclinação como Pseudo-Observação:
  • O método modela a relação entre a aceleração horizontal e a inclinação no domínio da imagem: $\eta_{pitch} \approx \arctan(a_x/g)$ e $\eta_{roll} \approx \arctan(a_y/g)$.
  • Em vez de inverter essa relação (o que amplifica o ruído), o filtro prevê a inclinação esperada baseada na estimativa atual do estado de aceleração e a compara com a inclinação observada pelo detector.
  • Isso trata o roll/pitch no domínio da imagem como pseudo-observações relacionadas à aceleração, restringindo diretamente o componente de aceleração do estado.
• Mecanismo de Atualização Robusta:
  • Fusão Assíncrona: Observações das três câmeras são fundidas assincronamente dentro de um modelo de espaço de estados unificado.
  • Portão de Mahalanobis (Mahalanobis Gating): Um mecanismo de portão por câmera rejeita falsas detecções. Ele emprega uma estratégia de alargamento de covariância baseada no tempo desde a última validação: se uma detecção é suspeita (resíduos entre limiares suaves e rígidos), a covariância é inflada em vez de a observação ser imediatamente rejeitada. Isso permite que o filtro lide com interrupções e outliers de forma graciosa.

3. Principais Contribuições

O artigo identifica cinco contribuições primárias:

1. Rotulagem de Inclinação de Prior Fraca: Um pipeline de rotulagem automática vídeo-IMU que gera OBBs de UAV e rótulos de rolagem/arfagem no domínio da imagem sem necessidade de anotação manual quadro a quadro.
2. Predição Restrita por Aceleração: Modelagem de rolagem e arfagem no domínio da imagem como pseudo-observações relacionadas à aceleração do alvo, melhorando a observabilidade durante manobras e intervalos de ausência de dados.
3. Fusão Distribuída Assíncrona: Um modelo de espaço de estados unificado fundindo uma câmera de gimbal móvel e duas câmeras terrestres fixas, aumentado com estados de erro de atitude da câmera para garantir consistência entre as câmeras.
4. Estratégia de Atualização Robusta: Um esquema de portão de Mahalanobis com alargamento de covariância para lidar com falsas detecções e interrupções sem desestabilizar o filtro.
5. Implementação Pública: Liberação do fluxo de trabalho em Python para extração de movimento, geração de rótulos fracos e treinamento de YOLO-OBB.

4. Resultados Experimentais

Simulação

Em uma simulação MATLAB com uma trajetória 3D não linear e simulação de interrupções/falsas detecções:

• A adição de observações de roll/pitch reduziu o RMSE de Predição de 1,991 m para 0,821 m (uma redução de 58,73%).
• O Erro de Predição Cumulativo diminuiu em 60,75% (de 6611,580 m·s para 2594,837 m·s).
• Os resultados confirmaram que as observações de inclinação restringem diretamente o estado de aceleração, reduzindo o atraso de predição durante manobras agressivas.

Experimento Distribuído no Mundo Real

Um experimento físico foi conduzido utilizando uma câmera de gimbal móvel em um robô quadrúpede e duas câmeras terrestres fixas.

• Devido à falta de uma verdade fundamental 3D de alta precisão, uma métrica de autoconsistência foi utilizada (comparando as observações previstas no tempo $t$ contra as observações reais).
• Habilitar as observações de roll/pitch reduziu o erro de autoconsistência cumulativo em 18,10% (de 203,4518 para 166,6241).
• Os autores observam que a melhoria no mundo real foi menor do que na simulação idealizada devido ao jitter do detector, erros extrínsecos residuais, desalinhamentos temporais e variações na qualidade da observação. No entanto, os resultados demonstram que a inclinação no domínio da imagem permanece útil sob condições assíncronas práticas.

5. Significância e Alegações

O artigo afirma que a inclinação no domínio da imagem serve como uma valiosa pista de manobra de baixo nível para UAVs de rotores. Ao acoplar o reconhecimento de inclinação com um estimador de estado distribuído, o método fornece restrições de aceleração úteis que as medições baseadas apenas em posição não podem oferecer.

A significância reside na capacidade de melhorar a robustez da predição de curto horizonte sem a necessidade de hardware adicional (como radar ou LiDAR) ou rotulagem manual complexa. Os autores enfatizam que, embora os ganhos no mundo real sejam modestos em comparação com simulações idealizadas, a abordagem aborda com sucesso os desafios específicos de alvos manobráveis em sistemas de rastreamento EO de múltiplas câmeras distribuídas e assíncronas. Trabalhos futuros sugerem focar na melhoria da estabilidade do reconhecimento de inclinação, estimativa explícita de deslocamentos temporais e adaptação conjunta da confiança do detector com a consistência da fusão.