💻 computer science

Online 3D Multi-Camera Perception through Robust 2D Tracking and Depth-based Late Aggregation

Este artigo propõe um framework que estende sistemas existentes de rastreamento 2D multivídeo online para o espaço 3D, aproveitando a reconstrução de nuvem de pontos baseada em profundidade e um mecanismo aprimorado de associação de dados, alcançando o terceiro lugar na liderança do desafio 3D MTMC da AI City Challenge de 2025.

Autores originais: Vu-Minh Le, Thao-Anh Tran, Duc Huy Do, Xuan Canh Do, Huong Ninh, Hai Tran

Publicado 2026-05-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Vu-Minh Le, Thao-Anh Tran, Duc Huy Do, Xuan Canh Do, Huong Ninh, Hai Tran

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando acompanhar uma multidão movimentada de pessoas caminhando por um grande edifício, mas você tem uma dúzia de câmeras de segurança observando de diferentes ângulos. Seu objetivo é saber exatamente onde cada pessoa está no espaço 3D (não apenas em uma tela plana) e garantir que você não perca o rastro da "Pessoa A" apenas porque ela caminhou atrás de um pilar ou mudou da visão da Câmera 1 para a visão da Câmera 2.

Este artigo apresenta um novo "assistente inteligente" para sistemas de segurança que resolve esse problema sem precisar reconstruir completamente o software existente. Eis como funciona, dividido em etapas simples:

1. O Problema: "Readequação" é Difícil

A maioria dos sistemas de segurança antigos é excelente em rastrear coisas em uma tela plana, 2D (como em um videogame). Mas para saber onde algo está no mundo 3D real, geralmente você precisa descartar o sistema antigo e construir um novo do zero. Isso é caro e difícil.

Os autores queriam uma maneira de pegar um sistema 2D funcional e "atualizá-lo" para 3D sem derrubá-lo.

2. A Solução: Uma Linha de Montagem em Duas Etapas

Pense no sistema deles como uma fábrica com duas estações principais:

Estação 1: O Detetive 2D (Rastreamento)
Primeiro, o sistema usa as câmeras existentes para encontrar pessoas e objetos. Ele desenha uma caixa ao redor deles na tela 2D e atribui um ID temporário (como uma etiqueta de nome).

O Truque da "Etiqueta de Nome": Os autores inventaram uma maneira inteligente de garantir que as etiquetas de nome permaneçam consistentes. Se uma pessoa é vista pelas Câmeras A, B e C, o sistema verifica se os IDs "locais" dessas câmeras correspondem ao que foi visto no segundo anterior.
O Mecanismo de "Divisão": Às vezes, duas pessoas podem parecer tão semelhantes ou ficar tão próximas que o sistema acidentalmente pensa que são uma só pessoa. O sistema dos autores age como um detetive que percebe: "Espere, isso são na verdade duas pessoas diferentes!" e divide o grupo de volta em duas trilhas separadas.

Estação 2: O Escultor 3D (Agregação de Profundidade)
Uma vez que o sistema sabe quem é quem em 2D, ele avança para a segunda etapa para descobrir onde eles estão em 3D.

Recolhendo Argila: O sistema pega as caixas 2D e as combina com "mapas de profundidade" (que são como scanners 3D invisíveis que dizem à câmera quão distantes as coisas estão). Ele usa isso para construir uma "nuvem de pontos" grosseira para cada pessoa, essencialmente esculpindo-as a partir de poeira digital.
Limpeza: Como as câmeras não são perfeitas, essa nuvem de pontos pode ficar bagunçada ou ter buracos (como quando alguém está parcialmente escondido). O sistema usa um "filtro de ruído" para suavizar a nuvem e remover os pontos espúrios.
Encaixando a Caixa: Uma vez que a nuvem está limpa, o sistema ajusta uma caixa de papelão 3D perfeita ao redor dela.
O Passo de "Fusão": Às vezes, o sistema pode acidentalmente criar duas caixas para a mesma pessoa devido a um erro. O método dos autores age como uma pistola de cola, fundindo essas caixas duplicadas em uma única caixa 3D precisa.
Refinamento do "Yaw": Finalmente, para garantir que a caixa esteja voltada para a direção correta (por exemplo, se uma pessoa está caminhando de lado versus para frente), o sistema olha para onde a pessoa estava 10 segundos atrás e onde ela está agora. Ele calcula a direção em que estão se movendo e rotaciona a caixa 3D para corresponder a essa direção.

3. O Resultado: Um Teste no Mundo Real

A equipe testou esse "kit de atualização" em um conjunto de dados massivo chamado Desafio Cidade AI 2025, que simula ambientes complexos como armazéns e hospitais com até 50 câmeras.

O Resultado: O método deles não apenas funcionou; foi altamente eficaz. Eles pegaram um sistema de rastreamento 2D existente e, ao adicionar suas atualizações de "Escultor 3D" e "Etiqueta de Nome", alcançaram a 3ª colocação na competição global.
Por que isso importa: Eles provaram que você não precisa descartar seu antigo software de segurança 2D para obter rastreamento 3D de alta qualidade. Você só precisa adicionar essa camada específica de "agregação tardia" por cima dele.

Em resumo: Eles descobriram como pegar um sistema de rastreamento de vídeo plano, 2D e dar a ele "percepção de profundidade" combinando visões de câmera, limpando os dados digitais e gerenciando inteligentemente as etiquetas de ID, tudo isso sem precisar reconstruir todo o sistema do zero.

Resumo Técnico: Percepção 3D Online Multicâmera através de Rastreamento 2D Robusto e Agregação Tardia Baseada em Profundidade

Declaração do Problema

O Rastreamento de Múltiplos Alvos com Múltiplas Câmeras (MTMC) é uma tarefa crítica de visão computacional para automatizar a vigilância em grande escala. Embora o MTMC 2D tenha alcançado desempenho notável, estender essas capacidades para o espaço 3D permanece desafiador. As abordagens existentes de MTMC 3D frequentemente exigem a fusão de dados multivista ou detecções em um espaço 3D unificado antes do rastreamento (por exemplo, EarlyBird, BEV-SUSHI). Essa abordagem de "fusão precoce" tipicamente necessita substituir todos os componentes de rastreamento 2D do zero, o que é frequentemente impraticável para sistemas existentes de vigilância em grande escala devido à complexidade e ao custo de tais reformas. Além disso, o rastreamento 3D deve lidar efetivamente com a fusão de informações multivista, oclusões parciais e representação escalável da geometria 3D em nível de objeto.

Metodologia

Os autores propõem um novo framework que estende qualquer sistema existente de rastreamento multicâmera 2D online para o espaço 3D através da Agregação Tardia de Caixas Delimitadoras 3D. O pipeline opera em duas fases principais:

1. Rastreamento 2D Online Multicâmera Aprimorado

A primeira fase foca na obtenção de caixas delimitadoras 2D consistentes e identidades globais entre as visões.

Detecção e Extração de Características: O sistema utiliza um detector Co-DETR baseado em Transformer. Para extração de características, emprega CLIP-ReID para embeddings de aparência e RTMPose para estimativa de pose (14 pontos-chave) para identificar pontos dos pés.
Associação de Dados Espaciais: Em cada instante de tempo, os alvos 2D detectados são agrupados com base em características de aparência ReID (distância cosseno) e localização top-down (distância Euclidiana via homografia). O agrupamento aglomerativo agrupa os alvos em entidades únicas.
Associação de Dados Temporais (Consistência de ID MOT): Para atribuir IDs globais, os autores introduzem um mecanismo de Consistência de ID MOT. Essa abordagem aproveita a consistência dos IDs locais MOT entre quadros consecutivos.
- Correspondência de Consistência: Um cluster é associado a uma trilha existente se seu grupo de IDs locais se sobrepõe significativamente aos IDs locais da trilha anterior.
- Divisão de Trilha: Se um cluster contiver IDs locais "inesperados" (IDs não vistos na trilha anterior) que são mais semelhantes à trilha esperada do que ao ID local antigo, o sistema divide a trilha. Isso previne a troca de IDs causada por oclusões ou características ruidosas.
- Gerenciamento de Estado: As trilhas são gerenciadas em três estados: Tentativa, Confirmada e Perdida, com regras específicas para reativação e criação de novas trilhas.

2. Agregação Tardia de Caixas Delimitadoras 3D

Uma vez estabelecido o rastreamento 2D e as IDs globais, o sistema reconstrói representações 3D sem modificar o rastreador 2D.

Profundidade para Nuvem de Pontos: Para cada objeto rastreado, o sistema segmenta o objeto dentro de sua caixa delimitadora 2D usando SAM2. Extrai valores de profundidade dos mapas de profundidade fornecidos para pixels dentro da máscara. Esses pixels 2D são projetados em coordenadas de câmera 3D e depois transformados em um sistema de coordenadas mundial global usando parâmetros de calibração extrínseca.
Nuvem de Pontos para Caixa Delimitadora 3D: As nuvens de pontos resultantes frequentemente contêm ruído e fragmentação devido a oclusões ou erros de projeção.
- Agrupamento: O DBSCAN é aplicado para remover ruído e isolar a nuvem de pontos do objeto.
- Estimativa de Caixa: As dimensões são estimadas usando percentis das coordenadas dos pontos. Para lidar com casos onde a nuvem de pontos é muito esparsa ou ruidosa, o sistema valida o volume previsto contra o volume médio da classe no conjunto de treinamento, limitando as dimensões se caírem fora de um intervalo definido ( $\alpha_{lower}$ a $\alpha_{upper}$ ).
Fusão de Caixas Delimitadoras 3D: Devido a possíveis erros na associação espacial 2D, um único objeto pode receber múltiplas caixas 3D com IDs diferentes. O sistema realiza uma fusão ponderada de caixas sobrepostas (usando IoA 3D) para fundi-las em uma única caixa delimitadora 3D precisa.
Refinamento de Yaw: Para melhorar a precisão da orientação, o ângulo yaw é refinado com base na trajetória de movimento do alvo. O ângulo é calculado a partir do vetor de deslocamento entre os quadros $t-10$ e $t$ , atualizando apenas se o movimento exceder um limiar específico.

Contribuições Principais

Framework Flexível: Um método para estender sistemas tradicionais online de MTMC 2D para produzir resultados de rastreamento 3D via agregação tardia, evitando a necessidade de reconstruir componentes 2D.
Mecanismo de Associação Aprimorado: Uma estratégia de associação online usando Consistência de ID MOT para propagar IDs globais entre quadros, aproveitando a consistência de IDs locais, melhorando o desempenho do rastreamento entre câmeras.
Mecanismo de Reconstrução 3D: Um pipeline que estende caixas delimitadoras 2D com ID atribuído para o espaço 3D usando segmentação, extração de mapa de profundidade, agrupamento de nuvem de pontos e refinamento geométrico para criar caixas delimitadoras 3D.
Validação: O método foi validado no conjunto de dados 2025 AI City Challenge 3D MTMC, alcançando o terceiro lugar no ranking público.

Resultados

O sistema proposto foi avaliado no conjunto de dados AIC25 MTMC (23 cenas sintéticas, até 50 câmeras).

Desempenho 2D: No conjunto de validação, a correspondência de Consistência de ID MOT melhorou a pontuação HOTA em 20,46% (de 48,63 para 69,09), impulsionada principalmente por um aumento de 29,03% na Precisão de Associação (AssA).
Desempenho 3D: No conjunto de testes público, o pipeline completo alcançou uma pontuação HOTA de 28,75%.
- O módulo de Consistência de ID MOT contribuiu para um aumento de ~5% na Precisão de Detecção (DetA) e um aumento de 7% na AssA.
- O módulo de Agregação Tardia 3D forneceu o impulso mais significativo, aumentando a DetA em 13% e a HOTA em 10%.
- O Refinamento de Yaw melhorou ainda mais a Precisão de Localização (LocA), elevando a HOTA final para 28,75%.
Posição no Ranking: O sistema garantiu o 3º lugar na Trilha 1 do Desafio AI City 2025, superando outras equipes como UTE AI Lab (25,39 HOTA) e SKKU-AutoLab (63,13 HOTA em um contexto diferente, embora o artigo liste a TeamQDT com 28,75 HOTA para a trilha 3D específica).

Significado e Alegações

O artigo afirma que seu principal significado reside em oferecer uma solução prática e econômica para atualizar infraestruturas de vigilância existentes. Ao utilizar "agregação tardia", os autores demonstram que percepção 3D de alta qualidade pode ser alcançada sem o custo proibitivo e a complexidade de substituir componentes de rastreamento 2D estabelecidos. O framework efetivamente preenche a lacuna entre o rastreamento 2D e a localização 3D, aproveitando informações de profundidade e consistência robusta de ID para lidar com oclusões e desafios multivista, conforme evidenciado por seu desempenho competitivo em um benchmark rigoroso.