Resumo Técnico: Correspondência Epipolar Consciente de Malha (MAEM) para Estimativa de Pose 3D Multi-Pessoa Multi-Visão

Declaração do Problema

A estimativa de pose 3D multi-pessoa multi-visão em esportes coletivos, particularmente no basquete, enfrenta desafios significativos devido à alta densidade de jogadores, oclusões mútuas frequentes e à ambiguidade visual causada por uniformes de equipe idênticos. Esses fatores degradam a eficácia dos convencionais sinais de associação entre visões:

• Pontos Chave Esparsos: Frequentemente ocluídos por outros jogadores, levando a evidências geométricas ambíguas.
• Características de Aparência: Tornam-se indistinguíveis sob uniformes de equipe padronizados, causando falhas na reidentificação.
• Métodos Baseados em Aprendizado: Embora eficazes em ambientes controlados, exigem dados multi-visão anotados em larga escala e são sensíveis a alterações na configuração das câmeras, limitando sua generalização para cenários do mundo real onde dados rotulados são escassos.

Métodos existentes sem treinamento dependem de pontos-chave esqueléticos esparsos ou características de aparência, que falham simultaneamente sob as condições de oclusão e aparência uniforme típicas de esportes competitivos. Por outro lado, métodos que utilizam priores de malha corporal frequentemente tratam a recuperação da malha como um refinamento post-hoc em vez de um mecanismo primário de associação, ou permanecem não validados em ambientes densamente lotados.

Metodologia: Correspondência Epipolar Consciente de Malha (MAEM)

O MAEM é um framework sem treinamento projetado para realizar associação robusta de pessoas entre visões e reconstrução de pose 3D sem treinamento no domínio-alvo. O pipeline consiste em três estágios:

Estágio 1: Recuperação de Malha Humana de Visão Única

O sistema emprega o SAM 3D Body como um frontend monoculular para processar cada visão de câmera independentemente. Para cada pessoa detectada, o modelo produz:

• Caixas delimitadoras com pontuações de confiança de detecção.
• Pontos-chave esqueléticos 3D e malhas corporais 3D (baseadas na representação Momentum Human Rig com 18.439 vértices).
• Projeções 2D tanto dos pontos-chave quanto dos vértices densos da malha no plano da imagem.
• Correção de distorção de olho de peixe é aplicada antes da inferência para garantir consistência geométrica com o modelo de câmera calibrado.

Estágio 2: Correspondência e Agrupamento Multi-Visão em Dois Estágios

Este estágio aborda o desafio central de associar detecções entre visões utilizando uma estratégia de filtragem geométrica em dois estágios:

1. Filtro de Reprojeção Grossa:

   • Pares candidatos de detecções de diferentes visões são avaliados triangulando seus centros de caixa delimitadora usando a Transformada Linear Direta (DLT).
   • O ponto 3D resultante é re projetado em ambas as visões, e o erro médio de reprojeção é calculado. Pares que excedem um limite são descartados, eliminando candidatos geometricamente implausíveis.

2. Filtro Epipolar de Malha Densa:

   • Candidatos remanescentes passam por uma verificação rigorosa de consistência usando os vértices de superfície 2D densos projetados em vez de pontos-chave esparsos.
   • Aproveitando a topologia fixa do modelo de malha, vértices correspondentes entre visões são comparados contra suas linhas epipolares (derivadas da matriz fundamental).
   • A distância média ponto-a-linha-epipolar sobre todos os vértices da malha ($N_v = 18.439$) serve como métrica de consistência. Este sinal geométrico denso é robusto à oclusão e aparência uniforme, onde pontos-chave esparsos falham.

3. Atribuição Ótima e Agrupamento:

   • Pares válidos são atribuídos via algoritmo húngaro para minimizar o custo PA-MPJPE (alinhado por Procrustes) entre pontos-chave 3D.
   • O agrupamento Union-Find funde correspondências pares em clusters de pessoas multi-visão.
   • Um passo de resolução de conflitos remove iterativamente detecções duplicadas da mesma câmera dentro de um cluster, retendo a correspondência com o menor custo.

Estágio 3: Triangulação RANSAC por Ponto-Chave

Para cada cluster de pessoa estabelecido, a pose 3D final é reconstruída independentemente para cada articulação:

• Hipóteses 3D candidatas são geradas triangulando pares de pontos-chave 2D de todas as combinações de visões.
• O RANSAC identifica o par de visões ótimo que maximiza o número de visões internas (onde o erro de reprojeção está abaixo de um limite).
• A posição final da articulação 3D é computada via triangulação DLT ponderada por confiança usando todas as visões internas.

Contribuições Principais

1. Malha Densa como Sinais de Associação: O framework introduz um pipeline inovador que explora diretamente vértices de malha monoculular densos projetados como sinais de verificação epipolar. Isso se afasta de métodos convencionais que dependem de pontos-chave esparsos ou aparência, fornecendo cobertura geométrica mais rica que permanece robusta sob oclusão pesada e uniformes idênticos.
2. Mecanismo de Correspondência em Dois Estágios: A combinação de um filtro de reprojeção de caixa delimitadora grossa e um filtro epipolar de malha densa suprime efetivamente correspondências falsas. Estudos de ablação confirmam que essa cascata é estruturalmente necessária para lidar com as ambiguidades dos esportes coletivos melhor do que alternativas de pontos-chave esparsos.
3. Generalização Sem Treinamento: O MAEM alcança precisão competitiva em diversos cenários de basquete indoor e outdoor sem qualquer treinamento de rede no domínio-alvo ou ajuste fino, abordando a escassez de dados multi-visão anotados.

Resultados Experimentais

O método foi avaliado em dois conjuntos de dados públicos de basquete multi-visão: SportCenter EPFL (indoor, 6 câmeras) e Human-M3 Basketball (outdoor, 3–4 câmeras).

• SportCenter EPFL: O MAEM alcançou um Recall de 99,6%, um MPJPE de 59,8 mm e um PA-MPJPE de 40,7 mm. Superou significativamente a linha de base de Correspondência PA-MPJPE (Recall: 86,3%, MPJPE: 65,7 mm) e tornou métodos baseados em aparência (MVPose) ineficazes devido à deriva extrema de localização.
• Human-M3 Basketball: O MAEM alcançou um MPJPE de 74,0 mm e um PA-MPJPE de 51,8 mm usando apenas entrada RGB. Embora tenha mostrado um Recall menor (83,7%) comparado ao método fundido com LiDAR MMVP (98,4%), o MAEM demonstrou precisão superior em limites estritos (AP@75: 76,6% vs. 43,6% para o MMVP), indicando localização espacial mais granular.
• Estudos de Ablação: Remover o filtro de malha densa ou substituí-lo por pontos-chave esparsos resultou em quedas significativas de desempenho (por exemplo, Recall caindo de 83,7% para 47,5% com pontos-chave esparsos), validando a necessidade de evidência geométrica densa para associação robusta.

Significado e Afirmações

O artigo postula que a geometria de superfície corporal densa fornece um sinal substancialmente mais rico para associação entre visões do que pontos-chave esparsos ou características de aparência, particularmente em cenários onde jogadores adotam poses semelhantes ou vestem uniformes idênticos. Os autores afirmam que o MAEM demonstra a utilidade prática da geometria de malha densa para associação entre visões sem a necessidade de treinamento no domínio-alvo.

O framework é apresentado como uma solução para o gargalo da escassez de dados multi-visão anotados em esportes coletivos. Ao substituir sinais de associação frágeis por evidência geométrica robusta derivada da recuperação de malha monoculular, o MAEM permite correspondência multi-pessoa robusta através de configurações variadas de câmeras. Os autores reconhecem limitações, observando que a precisão é limitada pelo modelo de recuperação de malha frontend (que pode falhar sob oclusão severa) e que o filtro epipolar de malha densa introduz sobrecarga computacional. No entanto, o trabalho estabelece uma nova direção para estimativa de pose 3D sem treinamento e agnóstica à aparência em ambientes esportivos complexos e do mundo real.