Resumo Técnico: MVDGC – Detecção de Pedestres Multi-visão 3D e 2D via Restrições Geométricas Duplas

1. Definição do Problema

O desafio central na Detecção de Pedestres Multi-visão (MVPD) é a agregação eficaz de características visuais de diferentes pontos de vista para raciocinar sobre oclusões em cenas lotadas. As abordagens existentes geralmente se dividem em duas categorias, ambas sofrendo de limitações significativas:

• Métodos baseados em âncoras (Anchor-based): Realizam a detecção 2D de forma independente em cada visão e, em seguida, associam as detecções com base na proximidade geométrica e aparência. Embora eficientes, são vulneráveis à oclusão, detecções perdidas e associação cross-view fraca devido à falta de um alinhamento de características precoce.
• Métodos centralizados (Centralized-based): Projetam as características da imagem em um mapa de Visão de Olho de Pássaro (BEV) compartilhado para realizar a detecção de ocupação densa. No entanto, a transformação de perspectiva necessária para essa projeção induz uma severa distorção geométrica, esticando as características de forma não uniforme. Isso leva a quebras de estrutura espacial, características borradas e erros de quantização provenientes de mapas de calor BEV discretizados, degradando a precisão da localização, particularmente em multidões densas.

Além disso, os métodos atuais frequentemente falham em capitalizar a forte relação mútua entre os pontos no solo do BEV e as caixas delimitadoras (bounding boxes) 2D nas imagens, tratando as detecções 2D meramente como sinais auxiliares em vez de otimizá-las conjuntamente com a tarefa principal de localização BEV.

2. Metodologia: MVDGC

Os autores propõem o MVDGC, um framework unificado, de ponta a ponta e baseado em queries, que estima conjuntamente as localizações de pedestres no plano BEV e as caixas delimitadoras 2D nas visões de imagem sem depender de mapas de características BEV densos. O framework é construído sobre uma representação de query cilíndrica 3D e consiste nos seguintes componentes principais:

2.1 Formulação de Query Cilíndrica 3D

Em vez de regredir caixas delimitadoras 3D completas (que exigem anotações 3D completas indisponíveis) ou apenas pontos 2D, o MVDGC representa cada pedestre como um cilindro vertical 3D aprendível.

• Representação: Uma query $Q_{3D}$ é definida por um componente de posição $P_{3D} = \{x, y, h, r\}$ (coordenadas do plano do solo, altura e raio) e um componente de característica $F_{3D}$.
• Ponte Geométrica: O centro do cilindro reside no plano BEV, e sua projeção nas visões de imagem forma naturalmente uma caixa delimitadora retangular. Isso unifica a localização BEV e a detecção ImV em uma única tarefa: o refinamento da posição e da forma do cilindro.
• Vantagem: Ao contrário dos cuboides 3D que projetam polígonos complexos, os cilindros projetam caixas retangulares limpas, suportando diretamente a localização BEV e a supervisão fraca dos parâmetros de forma 3D.

2.2 Arquitetura de Rede

A etapa de decodificação processa essas queries através de três módulos especializados:

1. Amostragem de Características Multi-visão: As queries cilíndricas 3D são projetadas em pontos de referência 2D em todas as visões de câmera usando matrizes de projeção de câmera. Em vez de deformar (warp) mapas de características inteiros para o BEV, o modelo utiliza atenção cruzada deformável para amostrar características locais diretamente dos domínios de imagem brutos. Isso elimina a distorção induzida pela projeção e a perda de resolução.
2. Interação de Query Intra-Inter: Este módulo facilita a troca de informações em dois passos:
   • Intra-visão: Permite a comunicação entre queries dentro da mesma visão de câmera para estabelecer coerência espacial.
   • Inter-visão: Reforça a homogeneidade das características de aparência para o mesmo objeto através de diferentes visões.
3. Fusão Adaptativa Multi-visão: Para lidar com oclusões e visibilidade variável, o modelo aprende pesos de atenção específicos por instância para cada query de objeto em cada visão de câmera. Isso permite que a rede priorize as visões mais informativas para cada pedestre individual, em vez de aplicar pesos de visão uniformes.

2.3 Objetivos de Treinamento

O MVDGC emprega restrições geométricas duplas para supervisionar o refinamento dos cilindros 3D:

• Supervisão BEV: Regressão direta das coordenadas do plano do solo $(x, y)$ do cilindro usando uma perda de regressão baseada em KL para modelar a incerteza e uma perda de classificação do tipo focal.
• Supervisão ImV: O cilindro projetado é restringido para se alinhar com as caixas delimitadoras 2D nas visões de imagem usando perdas Smooth L1 e IoU Generalizada (GIoU).
• Otimização Conjunta: A forma do cilindro ($r, h$) é fracamente supervisionada pelas restrições de caixa delimitadora ImV, garantindo consistência geométrica entre os domínios.
• Estratégia de Correspondência (Matching): Uma estratégia de Correspondência de Hungarian Adaptativa é usada, permitindo atribuição um-para-muitos (até $K=3$) para melhorar a revocação (recall) em cenas lotadas.

3. Principais Contribuições

1. Framework Inovador (MVDGC): Um framework baseado em queries que regride diretamente coordenadas BEV e caixas delimitadoras 2D, evitando os erros de quantização e as distorções de projeção inerentes aos mapas de características BEV densos.
2. Representação Cilíndrica 3D: Uma representação geométrica unificada que faz a ponte entre pontos de solo BEV e caixas delimitadoras ImV. Isso estabelece uma identidade global compartilhada através dos domínios espaciais, permitindo detecção conjunta e rastreamento robusto mesmo sob oclusão severa.
3. Consistência de Espaço Duplo: A aplicação de restrições geométricas tanto nas visões de imagem quanto no BEV leva a uma precisão de localização de estado da arte.
4. Generalização: Validação extensiva nos datasets do mundo real (WildTrack) e sintéticos (MultiViewX, GMVD) demonstra robustez a configurações de cena e layouts de câmera não vistos.

4. Resultados Experimentais

Os autores avaliaram o MVDGC no WildTrack, MultiViewX e no dataset generalizado GMVD.

• Desempenho MVPD: O MVDGC alcançou desempenho de Estado da Arte (SOTA) em múltiplas métricas. No WildTrack, alcançou um MODP de 83.8 e um MODA de 94.2. No MultiViewX, alcançou um MODP de 93.0 e um MODA de 95.7. Superou métodos centralizados (ex: MVDeTr, 3DROM, EarlyBird) e métodos que utilizam informações extras (ex: pistas temporais, hulls visuais).
• Desempenho de Rastreamento: Ao transferir IDs globais do domínio BEV para as visões de imagem, o MVDGC superou significativamente os baselines de rastreamento de visão única.
  • No WildTrack, alcançou um HOTA de rastreamento ImV de 65.4 e um MOTA de 72.9, superando amplamente rastreadores fortes baseados em CNN e Transformer (ex: MeMOTR, StrongSORT).
  • No MultiViewX, alcançou um HOTA de rastreamento ImV de 48.4 e um MOTA de 40.0.
• Estudos de Ablação:
  • Módulos: A combinação da interação Intra-Inter e da Fusão Adaptativa gerou os maiores ganhos.
  • Perdas: A supervisão conjunta BEV-ImV superou significativamente a supervisão apenas BEV. A perda KL para regressão de pontos provou ser superior para lidar com ambiguidade de anotação.
  • Tipo de Query: A query cilíndrica 3D superou significativamente os simples pontos de referência 3D, validando a importância das restrições geométricas.
  • Generalização: No dataset GMVD (cenas de treinamento/teste distintas), o MVDGC manteve alto desempenho, demonstrando forte generalização entre cenas.

5. Significância e Alegações

O artigo afirma que o MVDGC aborda as limitações fundamentais dos métodos de MVPD existentes ao evitar a necessidade de projeção de perspectiva em uma grade BEV densa. Ao tratar os pedestres como cilindros 3D e aplicar restrições duplas, o método:

• Elimina a Distorção: Amostra características diretamente das imagens brutas, preservando relações espaciais e evitando a distorção geométrica causada pelo warping de perspectiva.
• Permite Rastreamento Robusto: A representação 3D unificada fornece uma identidade global consistente que pode ser propagada através de visões e tempo, resolvendo o descompasso entre a localização BEV e o rastreamento 2D.
• Lida com Oclusão: O design centrado no objeto permite que o modelo raciocine sobre pedestres ocluídos ao aproveitar características de partes visíveis do corpo (tronco, cabeça) em vez de depender apenas de pontos de pés potencialmente ocluídos.

Os autores observam uma limitação na revocação para multidões extremamente densas onde a oclusão severa persiste mesmo com múltiplas visões, sugerindo que trabalhos futuros poderiam incorporar modelos de geração de profundidade para sintetizar representações do tipo nuvem de pontos. No entanto, o trabalho atual estabelece um novo benchmark para detecção de pedestres multi-visão ao unificar o raciocínio 2D e 3D através de restrições geométricas.