SAMIDARE: Advanced Tracking-by-Segmentation for Dense Scenarios

Resumo Técnico: SAMIDARE

1. O Problema (Contexto e Motivação)

O rastreamento de múltiplos objetos (MOT) em transmissões esportivas é extremamente desafiador devido ao movimento rápido das câmeras, à agilidade dos atletas e, principalmente, às oclusões frequentes e cenários de alta densidade (muitos jogadores próximos).

Embora métodos baseados em segmentação (como o SAM2MOT) sejam superiores aos baseados em caixas delimitadoras (bounding boxes) por evitarem a contaminação de características de objetos vizinhos, eles ainda sofrem com dois problemas críticos em ambientes densos:

• Deriva de Máscara (Mask Drift): A máscara do alvo expande-se ou "vaza" para o jogador vizinho.
• Corrupção de Memória: Quando uma máscara errada é usada para atualizar o banco de memória do modelo, as características do alvo são corrompidas, levando a trocas de identidade (ID switches) ou perda de rastreamento.

2. Metodologia Proposta

O SAMIDARE (SAM2MOT Improved for Dense AREa) é um framework que aprimora o processo de propagação de máscaras e gestão de memória através de um controle adaptativo. A arquitetura baseia-se em três pilares principais:

A. Controle Adaptativo de Máscara (Preservação da Integridade):

1. Density-Aware Quality Reconstruction (DA-QR): O método original (SAM2MOT) tenta reconstruir máscaras degradadas usando detecções. No entanto, em multidões, a caixa de detecção pode incluir outros jogadores, causando erro. O DA-QR introduz um cálculo de densidade local baseado na intersecção de caixas de detecção. A reconstrução da máscara só é permitida se a densidade local for baixa, evitando que a máscara "se espalhe" para vizinhos durante a regeneração.
2. Hybrid Cross-Object Interaction (H-CoI): Para evitar que máscaras instáveis corrompam a memória, o H-CoI identifica máscaras não confiáveis quando há sobreposição entre dois objetos. Diferente de métodos anteriores que usavam apenas a variância da confiança, o H-CoI utiliza uma lógica híbrida que alterna entre a média ($\mu$) e a variância ($\sigma^2$) da confiança da máscara, escolhendo o indicador mais discriminativo para decidir se a atualização da memória deve ser ignorada.

B. Associação de Objetos Consciente de Estado (SA-OA):
Para lidar com jogadores que saem de cena ou ficam ocluídos, o SAMIDARE classifica os rastros em três estados: Ativos, Ocluídos (alta densidade no último frame) e Fora de Quadro (Frame-Out). Isso permite uma estratégia de associação em três estágios:

• Estágio 1: Associação padrão para rastros ativos e ocluídos usando IoU e confiança.
• Estágio 2: Se a associação falhar (devido a máscaras fragmentadas), o sistema usa a última caixa de detecção estável para reassociar o alvo e disparar a reconstrução da máscara.
• Estágio 3: Para jogadores que saíram do quadro, o sistema utiliza a continuidade espacial (posição histórica) em vez de máscaras, o que é mais eficiente e evita a criação de IDs errôneos para pessoas visualmente similares.

3. Principais Contribuições

1. Regulação da regeneração de máscaras baseada na densidade local para evitar erros em multidões.
2. Identificação robusta de máscaras não confiáveis através de uma métrica híbrida de confiança.
3. Recuperação de rastros (re-ativação) mais eficiente, utilizando estados de oclusão e continuidade espacial para evitar trocas de ID após o retorno de um atleta ao campo de visão.

4. Resultados Experimentais

O modelo foi avaliado no dataset SportsMOT (basquete, futebol e vôlei):

• Desempenho SOTA: O SAMIDARE superou o estado da arte em métricas de precisão de rastreamento (HOTA e IDF1).
• Comparação com Baseline: Em relação ao SAM2MOT, o SAMIDARE obteve um aumento de 2.5 pontos em HOTA e 4.2 pontos em IDF1 no conjunto de validação.
• Robustez por Esporte: Os testes de ablação mostraram que o módulo SA-OA foi o que mais contribuiu para o ganho de precisão, especialmente em esportes com alta movimentação e oclusão, como o basquete e o vôlei.

5. Significância

O trabalho demonstra que, para o rastreamento de alta performance em esportes, não basta apenas segmentar bem o objeto; é necessário um gerenciamento inteligente da memória do modelo. Ao tratar a máscara não como uma verdade absoluta, mas como um dado que pode ser corrompido pela densidade do cenário, o SAMIDARE oferece uma solução robusta para a automação da análise de vídeos esportivos, onde a integridade da identidade do atleta é crucial.