💻 computer science

Moving Like a Human: Ego-Motion-Normalized Temporal Signatures for Real-Time Aerial Person Tracking on Milliwatt-Class Hardware

Este artigo apresenta o EMTS-Det, um sistema de rastreamento de pessoas aéreo, ultraleve e em tempo real, que alcança alta precisão em hardware de classe miliwatt ao substituir o processamento temporal aprendido por assinaturas de movimento calculadas analiticamente e normalizadas pelo ego-movimento, permitindo a detecção e o rastreamento robustos em dispositivos como o Raspberry Pi Zero 2W onde modelos tradicionais falham.

Autores originais: Akbar Anbar Jafari, Cagri Ozcinar, Gholamreza Anbarjafari

Publicado 2026-07-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Akbar Anbar Jafari, Cagri Ozcinar, Gholamreza Anbarjafari

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Rastreador Invisível: Como os Drones Aprendem a Seguir sem Ficar Tontos

Imagine que você está tentando seguir um amigo em uma pista de dança lotada e caótica enquanto está sobre uma plataforma instável e giratória. Se você olhar apenas para um único instantâneo da sala, seu amigo pode parecer um borrão minúsculo e esfumaçado, indistinguível de uma pilha de casacos ou de uma sombra. Este é o combate diário dos drones que tentam realizar o "siga-me" de uma pessoa. Eles voam em computadores minúsculos, movidos a bateria, que são incrivelmente fracos em comparação aos supercomputadores de nossos telefones, e o vento faz o drone tremer violentamente. Para piorar a situação, a pessoa que eles estão perseguindo está frequentemente tão longe que ocupa apenas alguns pixels na tela da câmera — pequena demais para o software padrão reconhecer apenas olhando para suas roupas ou rosto.

A solução não é construir um cérebro mais inteligente; é mudar a forma como o drone vê o mundo. Em vez de tentar memorizar como uma pessoa parece, este artigo sugere ensinar o drone a notar como uma pessoa se move. É a diferença entre tentar identificar um corredor pela cor de sua camisa (que muda com o vento e a iluminação) versus notar que suas pernas estão se movendo em um padrão rítmico de caminhada enquanto o cenário ao redor passa rapidamente. Ao cancelar matematicamente o próprio tremor e rotação do drone primeiro, o sistema transforma um vídeo confuso e borrado em um sinal claro que diz: "Ei, aquilo ali está se movendo por conta própria". Isso permite que até mesmo os chips de computador mais minúsculos e baratos rastreiem um humano em tempo real, algo que antes era considerado impossível em um hardware tão limitado.

O Artigo: "Movendo-se como um Humano"

Os pesquisadores por trás deste artigo, trabalhando com drones que possuem um poder de computação muito limitado (especificamente hardware de "classe miliwatt" como o Raspberry Pi Zero 2W), buscaram resolver um problema complexo: como fazer um drone seguir uma pessoa sem se perder ou precisar de um supercomputador. Eles descobriram que tentar usar detectores de IA pesados e padrão (como o famoso YOLOv8n) nesses drones minúsculos era uma receita para o desastre. Esses detectores padrão são lentos demais, rodando a parcos 1,95 quadros por segundo, e falham miseravelmente quando a pessoa é pequena e a câmera está tremendo.

Em vez disso, eles construíram um novo sistema chamado EMTS-Det. Pense neste sistema como uma equipe de detetives de cinco etapas que trabalham juntas para localizar um humano:

O Estabilizador (Estágio A): Primeiro, o sistema descobre exatamente como o drone está se movendo e girando. É como um dançarino que sabe exatamente o quanto está rodopiando para que possa ignorar esse movimento.
O Filtro de Movimento (Estágio B): Em seguida, ele pega o vídeo e "subtrai" matematicamente o movimento do drone. Se o drone gira para a esquerda, a imagem gira para a direita para cancelar o efeito. O que sobra? Apenas as coisas que estão se movendo por conta própria. Nesta visão filtrada, uma pessoa caminhando surge como um borrão brilhante e radiante, enquanto rochas estáticas ou árvores balançando desaparecem.
O Detetive Minúsculo (Estágio C): Este é o cérebro de IA principal, mas é incrivelmente pequeno — apenas 22.000 parâmetros (comparado aos milhões nos detectores padrão). Como o "borrão de movimento" já é tão claro, este cérebro minúsculo não precisa trabalhar duro para adivinhar o que é o objeto. Ele apenas detecta o centro do borrão em movimento.
O Rastreador (Estágio D): Uma vez que encontra a pessoa, ele trava o alvo usando uma ferramenta matemática chamada filtro de Kalman. Isso funciona como uma previsão mental, adivinhando onde a pessoa estará a seguir, mesmo se o vento soprar o drone ou se a pessoa desaparecer brevemente atrás de um arbusto.
O Inspetor de Marcha (Estágio E): Finalmente, para garantir que não travou acidentalmente em um galho de árvore balançando ou em uma sombra de nuvem, um pequeno "verificador" checa o padrão de movimento. Ele pergunta: "Este objeto se move como um humano caminhando?". Se a resposta for não, ele rejeita o alvo.

O Que Eles Descobriram (e O Que Eles Rejeitaram)

Os resultados foram impressionantes. Em um Raspberry Pi Zero 2W, o sistema deles rodou a 31,85 quadros por segundo com alta precisão, enquanto o detector YOLOv8n padrão rastejava a 1,95 quadros por segundo. Em um teste de mundo real com 1.000 vídeos de drones, o sistema deles rastreou pessoas com sucesso com uma pontuação de precisão de 0,462 (AP25), enquanto o detector padrão conseguiu apenas 0,172.

Crucialmente, o artigo rejeita explicitamente várias ideias que muitos poderiam supor que ajudariam:

Eles rejeitaram "Aprender" o movimento: A equipe testou adicionar módulos complexos de "deslocamento temporal" (IA que aprende a olhar para quadros passados e futuros para entender o movimento). Eles descobriram que isso na verdade tornava o sistema pior. Como o movimento já havia sido limpo matematicamente no Estágio B, a IA não precisava aprender; tentar aprendê-lo apenas gastava energia e confundia o sistema.
Eles rejeitaram a "Aparência" como a pista principal: Quando tentaram treinar o sistema usando apenas a aparência visual da pessoa (ignorando os dados de movimento), o sistema colapsou. Em filmagens do mundo real, a versão de "apenas aparência" falhou completamente, provando que, para alvos pequenos e distantes, como uma pessoa parece não é suficiente; é preciso saber como ela se move.
Eles rejeitaram a calibração padrão: Eles descobriram que a maneira usual de configurar esses pequenos chips de IA (usando uma "média móvel" para estimar o intervalo de números) fazia o sistema falhar silenciosamente. Ao mudar para um método "min-max", eles corrigiram a precisão, que havia sido cortada pela metade pelo método padrão.

A Conclusão

O artigo demonstra que você não precisa de um computador enorme e caro para rastrear uma pessoa do céu. Ao usar geometria simples para remover o próprio tremor do drone primeiro, e então permitir que uma IA pequena e especializada procure pela "assinatura" específica da caminhada humana, é possível alcançar o rastreamento em tempo real em um hardware que custa muito pouco. O sistema travou com sucesso em um alvo em apenas 1,3 segundos durante um teste de campo e manteve uma taxa de sucesso de 97,9% em manter o bloqueio, mesmo quando a pessoa estava escondida atrás de obstáculos.

Os autores observam cautelosamente que, embora seu sistema seja um grande avanço, ele ainda possui limites. Por exemplo, se uma pessoa ficar perfeitamente imóvel por muito tempo, o sistema pode perdê-la porque depende do movimento. No entanto, para o trabalho específico de drones de "siga-me", onde o alvo geralmente está em movimento, essa abordagem de "geometria primeiro, aprendizado depois" prova ser uma solução poderosa e eficiente.

Resumo Técnico: EMTS-Det para Rastreamento Aéreo de Pessoas em Tempo Real

Definição do Problema
O artigo aborda o desafio do rastreamento de pessoas do tipo "follow-me" (siga-me) em drones de consumo e industriais, visando especificamente hardware com orçamentos de computação na classe de miliwatts (ex: Raspberry Pi Zero 2W). O problema é definido por três restrições simultâneas:

Tamanho Reduzido do Alvo: Em distâncias típicas de acompanhamento, uma pessoa ocupa apenas 10–60 pixels em um quadro de 640×512, tornando as características de aparência de quadro único ambíguas e indistinguíveis do ruído de fundo.
Ego-Movimento Agressivo: Estruturas de drones com menos de 250g experimentam movimentos violentos devido a rajadas de vento que superam os gimbals de consumo, causando mudanças rápidas na atitude da câmera.
Limites Severos de Computação: Computadores de apoio nesta classe oferecem apenas 2–4 GFLOPs efetivos em int8. Detectores padrão como o YOLOv8n (aprox. 8,7 GFLOPs) rodam a ~2 FPS, enquanto modelos menores e mais rápidos (ex: MobileNet-SSD) falham em detectar objetos pequenos com precisão.

Os autores argumentam que a evidência ausente para a detecção não é a aparência, mas o movimento temporal, que deve ser extraído analiticamente em vez de aprendido, pois o orçamento de FLOPs disponível não pode suportar o aprendizado simultâneo de invariância ao ego-movimento e aparência de objetos pequenos.

Metodologia: Pipeline EMTS-Det
O sistema proposto, EMTS-Det (Ego-Motion-normalized Temporal Signature Detection), é um pipeline de cinco estágios projetado para caber dentro de um orçamento de ~100 MFLOPs/quadro.

Estágio A: Estimativa de Ego-Movimento: Estima o movimento de câmera entre quadros como uma transformação de similaridade de 4-DoF (translação, rotação, escala) usando rastreamentos esparsos de Lucas-Kanade com RANSAC. Recorre à correlação de fase para cenas com pouca textura.
Estágio B: Representação de Entrada: O quadro anterior é deformado pela transformação estimada para criar três canais de entrada:
1. Luminância ( $L_t$ ): O quadro em escala de cinza atual.
2. Magnitude de Movimento Residual ( $R_t$ ): A magnitude da diferença entre o quadro atual e o quadro anterior deformado (suavizado por Gauss).
3. Diferença Temporal Assinada ( $D_t$ ): A diferença bruta entre o atual e o anterior deformado.
  Crucialmente, esta representação remove analiticamente o ego-movimento, garantindo que pixels brilhantes nos canais de movimento correspondam apenas a objetos que se movem independentemente.
Estágio C: Micro-Detector: Um detector sem estado (stateless), livre de âncoras, com 21.941 parâmetros (7,6 MFLOPs/quadro). Utiliza um backbone de profundidade separável (depthwise-separable) para gerar um heatmap central, geometria de caixa e um embedding de reidentificação de 8-D. A rede é deliberadamente sem estado; a evidência temporal é fornecida inteiramente pelos canais de entrada, não por camadas temporais aprendidas.
Estágio D: Rastreamento com Alvo Travado: Um filtro de Kalman de velocidade constante opera em coordenadas estabilizadas (transformadas pelo ego-movimento acumulado). Isso garante que o tremor da câmera perturbe a transformação de coordenadas, e não o modelo de movimento do alvo. A associação utiliza um portão de duas chaves: distância de Mahalanobis e similaridade de embedding.
Estágio E: Verificação de Assinatura Temporal: Uma CNN 1-D de 8.289 parâmetros verifica os rastreamentos a cada 8 quadros. Ela analisa uma sequência de 16 quadros de descritores de fluxo óptico (ROI flow) para confirmar se o objeto se move com articulação humana (ex: oscilação da frequência de marcha nas pernas versus translação de corpo inteiro).

Estratégia de Treinamento
Devido à falta de datasets públicos com rótulos densos no ponto operacional específico (alvos de 10–60 px com ego-movimento agressivo), os autores utilizam um currículo de movimento sintético:

Nível 1: Atores humanos articulados renderizados no Blender e compostos sobre filmagens de drones reais para garantir ego-movimento realista.
Nível 2: Imagens aéreas estáticas (VisDrone) convertidas em pseudo-vídeos com movimento de drone simulado e proxies de marcha.
Negativos Difíceis: Clipes sem pessoas de ambientes de implantação reais (vegetação balançando, sombras) para treinar o sistema a rejeitar falsos positivos.
Restrição Chave: Cada clipe sintético passa pelo código dos Estágios A/B implantados para gerar os canais de movimento, eliminando o gap de distribuição entre treino e implantação.

Principais Contribuições e Descobertas

Representação de Entrada sobre Mecanismos Temporais Aprendidos: O artigo demonstra que, quando os canais de entrada carregam evidência de movimento ego-normalizada, adicionar módulos temporais aprendidos (como Temporal Shift Modules) reduz a precisão. O detector implantado é sem estado porque os canais de movimento analíticos já fornecem a evidência temporal de curto horizonte necessária.
Falhas de Calibração de Quantização: Os autores documentam e corrigem duas falhas silenciosas de calibração em implantação int8:
- Estimativa de Alcance de Média Móvel: A calibração de média móvel padrão suaviza ativações raras e grandes em cabeças de regressão (tamanho da caixa), reduzindo a precisidade pela metade. A calibração min-max é necessária.
- Calibração de Grafo com Estado: Para redes de streaming com caches, calibrar com caches inicializados com zero corta informações temporais de estado estacionário. Caches de estado propagados devem ser usados durante a calibração.
Generalização vs. Overfitting: Em um split VisDrone-DET retido (imagens reais nunca vistas no treino), o EMTS-Det implantado atinge 0,444 AP25, enquanto um YOLOv8n ajustado exatamente na mesma mistura de treinamento cai para 0,103 AP25. Isso indica que modelos baseados em aparência sofrem overfitting para o domínio sintético de treinamento, enquanto a representação baseada em movimento generaliza para condições do mundo real.
Desempenho em Hardware de Milliwatt:
- Em um Raspberry Pi Zero 2W, o pipeline completo roda a 31,85 FPS (31,4 ms/quadro) com 0,462 AP25 e 0,714 recall.
- Em contraste, o YOLOv8n no mesmo hardware roda a 1,95 FPS com 0,172 AP25.
- O sistema alcança 97,9% de recall de travamento em uma sequência de campo de 57 segundos com zero re-travamentos após oclusões.

Significância e Alegações
O artigo afirma que o rastreamento aéreo de alta precisão em hardware de classe de milliwatt é alcançável não diminuindo detectores modernos, mas redefinindo o problema: removendo o ego-movimento analiticamente e apresentando à rede evidência de movimento pré-computada. Isso reduz a carga de trabalho aprendida para um detector minúsculo e sem estado e um verificador leve.

Os autores enfatizam que a evidência temporal pertence à representação de entrada, computada analiticamente de forma gratuita, em vez de mecanismos temporais aprendidos. Esta abordagem permite que o sistema transfira efetivamente para dados do mundo real onde modelos baseados em aparência falham, mesmo quando treinados em datasets idênticos. O trabalho também fornece orientações críticas para implantar redes com estado e de regressão pesada em int8, abordando modos de falha silenciosos que os pipelines de calibração padrão ignoram.

Limitações Reconhecidas
Os autores observam que o perfil de dispositivo por estágio para comportamento térmico está pendente, o benchmark sintético compartilha um processo generativo com o treinamento (mitigado por dados reais retidos) e o sistema degrada se um alvo permanecer imóvel por períodos prolongados (esgotando os canais de movimento). Além disso, o modelo do verificador é treinado em ciclos de caminhada e não foi testado em marchas de engatinhar ou de movimentos pesados.

O Rastreador Invisível: Como os Drones Aprendem a Seguir sem Ficar Tontos

O Artigo: "Movendo-se como um Humano"

O Que Eles Descobriram (e O Que Eles Rejeitaram)

A Conclusão

Mais como este