ICPR 2026 Competition on Privacy-Preserving Person Re-Identification from Top-View RGB-Depth Camera (TVRID)

Resumo Técnico: Competição TVRID ICPR 2026

Declaração do Problema
A Re-Identificação de Pessoas (Re-ID) tradicionalmente depende de imagens RGB, onde a identidade é inferida a partir da cor e textura das roupas. No entanto, essa abordagem enfrenta duas limitações críticas: vulnerabilidade a fatores do mundo real, como mudanças de ponto de vista e oclusão, e preocupações significativas de privacidade em vigilância pública devido à exposição de indícios de aparência pessoalmente identificáveis. Embora a sensoriamento de profundidade ofereça uma alternativa que preserva a privacidade, capturando a estrutura 3D e suprimindo indícios baseados em cor, os conjuntos de dados de visão superior existentes carecem de suporte para variações geométricas controladas (por exemplo, subida e descida) que alteram significativamente as proporções corporais percebidas. A competição ICPR 2026 TVRID (Re-Identificação de Pessoas RGB-Profundidade de Visão Superior) aborda essa lacuna avaliando o desempenho de Re-ID sob condições conscientes de privacidade, restritas por modalidade e cross-modais.

Conjunto de Dados e Configuração da Competição
A competição é construída sobre o conjunto de dados TVRID, compreendendo 86 identidades capturadas por quatro câmeras Intel RealSense D455 sincronizadas em posição superior. O setup de aquisição inclui variações geométricas estruturadas em quatro pontos de vista distintos:

1. Plano: Passagem canônica em nível do solo.
2. Subida: Movimento ascendente em uma escada de mão.
3. Descida: Movimento descendente em uma escada de mão.
4. Oblíquo: Visão oblíqua elevada do telhado.

Cada sujeito foi registrado duas vezes por câmera (direções ENTRADA/SAÍDA), resultando em fluxos RGB e Profundidade emparelhados e sincronizados a 15 FPS. O conjunto de dados inclui recortes de pessoas pré-calculados para facilitar pipelines de ponta a ponta.

A competição avaliou três trilhas distintas:

• Trilha 1 (Re-ID RGB): Re-ID padrão usando imagens RGB, servindo como uma linha de base de limite superior.
• Trilha 2 (Re-ID Profundidade): Re-ID que preserva a privacidade usando apenas mapas de profundidade, testando a robustez contra deslocamentos geométricos sem indícios de cor.
• Trilha 3 (Re-ID Cross-Modal RGB↔Profundidade): Recuperação onde a consulta e a galeria pertencem a modalidades diferentes (por exemplo, consulta RGB vs. galeria de profundidade), testando a aprendizagem de representações invariantes à modalidade.

A avaliação foi conduzida utilizando CMC@1 (Característica de Correspondência Cumulativa no Rank-1) e mAP (Precisão Média) em três cenários baseados em câmera: dentro da câmera (ENTRADA/SAÍDA), subida vs. descida e plano vs. oblíquo.

Abordagens Metodológicas das Principais Entradas
A competição atraiu 147 participantes, com 33 submissões finais no conjunto de teste oculto. Os métodos de melhor desempenho em todas as trilhas utilizaram arquiteturas avançadas de aprendizado profundo e estratégias específicas de treinamento:

• Trilha RGB:

  • Hien Pham Duy et al. alcançaram 100% de CMC@1 usando uma espinha dorsal ViT-Base com amostragem PK consciente de identidade e aumentações centradas na pessoa (por exemplo, apagamento de fundo, apagamento de partes do corpo). Eles empregaram pooling médio para agregação de sequência e reclassificação k-recíproca.
  • Carlo Metta utilizou uma espinha dorsal ConvNeXt-Base com perdas ArcFace e tripletas difíceis por lote, empregando validação cruzada de 5 dobras e ensemble.
  • Oron Nir et al. aplicaram MINER (Modelagem de Variância Inter e Intrapessoal), um framework de aprendizado contrastivo construído sobre EVA-CLIP DIFFER, focando na mineração de negativos/positivos difíceis para aprender representações invariantes à visão.

• Trilha Profundidade:

  • Jin-Hui Jiang et al. (98,86% de CMC@1) adaptaram VSLA-CLIP com uma espinha dorsal ViT-Base/16. Eles usaram uma otimização cíclica de dois estágios envolvendo módulos de adaptação temporal treináveis e perdas cross-modais (contrastiva supervisionada, destilação MSE, InfoNCE) para moldar indiretamente os embeddings de profundidade via supervisão RGB.
  • Oron Nir et al. adaptaram o framework MINER convertendo mapas de profundidade em profundidade inversa, normalizando-os e aplicando uma paleta de cores Espectral para criar entradas pseudo-RGB compatíveis com a espinha dorsal do transformador de visão.
  • Md Rashidunnabi et al. propuseram um pipeline baseado em sequência usando ResNet-50 com pooling de atenção temporal, treinado com uma combinação de classificação de identidade, perdas tripletas e perda de centro em dados emparelhados RGB-Profundidade.

• Trilha Cross-Modal:

  • Md Rashidunnabi et al. (99,84% de CMC@1) empregaram XM-VSLA, uma adaptação do VSLA-CLIP que trata Re-ID RGB-Profundidade como um problema de alinhamento visão-linguagem dentro de um espaço de embedding compartilhado, guiado por prompts de texto condicionados à identidade.
  • Jin-Hui Jiang et al. e Oron Nir et al. similarmente aproveitaram os frameworks VSLA-CLIP e MINER, respectivamente, utilizando alinhamento contrastivo cross-modal explícito e arquiteturas de codificador duplo para minimizar a discrepância entre as representações RGB e de profundidade.

Resultados Chave
Os resultados finais estabeleceram uma hierarquia clara de dificuldade: RGB > Profundidade > Cross-Modal.

• Trilha RGB: Os principais sistemas alcançaram desempenho quase perfeito (100% CMC@1, 100% mAP).
• Trilha Profundidade: O desempenho caiu significativamente em comparação com RGB, com o principal sistema alcançando 98,86% de CMC@1 e 99,38% de mAP. A mediana agregada de mAP para a trilha foi de 49,82%, indicando um desafio substancial para sistemas baseados apenas em profundidade.
• Trilha Cross-Modal: Esta foi a tarefa mais difícil. O principal sistema alcançou 99,84% de CMC@1 e 99,92% de mAP, mas a mediana agregada de mAP foi de apenas 23,30%. A lacuna de desempenho entre Profundidade e Cross-Modal foi de aproximadamente 16,44 pontos em mAP.

A análise qualitativa sugeriu que a correspondência de amostras de visão plana contra a câmera oblíqua foi a configuração mais difícil.

Significado e Alegações
O artigo posiciona o TVRID como um benchmark reproduzível para Re-ID de pessoas baseado em visão superior, profundidade e cross-modal. Suas principais contribuições são:

1. Conjunto de Dados: Fornecer um conjunto de dados RGB-Profundidade sincronizado com variações geométricas estruturadas (plano, subida, descida, oblíquo) que são comuns em implantações do mundo real, mas sub-representadas em benchmarks anteriores.
2. Protocolo: Estabelecer um framework de avaliação unificado que avalia simultaneamente o desempenho de reconhecimento, robustez de modalidade e compensações entre privacidade e desempenho.
3. Insights:
   • Os resultados confirmam que, embora o sensoriamento de profundidade reduza a precisão média de recuperação em comparação com RGB, representações invariantes à modalidade fortes são alcançáveis.
   • O sucesso da recuperação cross-modal (consulta RGB $\to$ galeria de profundidade) desafia a suposição de que a profundidade é inerentemente preservadora de privacidade. Os autores argumentam que, se a profundidade puder ser confiavelmente vinculada a assinaturas de identidade RGB, a proteção de privacidade torna-se uma propriedade condicional dependente de modelos de ameaça e controle de acesso, e não uma garantia automática.
   • A geometria da câmera (especificamente mudanças de elevação) permanece um fator de estresse chave para sistemas de Re-ID.

O artigo conclui que o TVRID serve não apenas como um benchmark de avaliação, mas também como um framework para discutir riscos operacionais de privacidade em sistemas modernos de Re-ID, destacando a necessidade de interpretações nuances de privacidade no contexto de vinculação cross-modal.