Resumo Técnico: Similaridade de Cabeça

Definição do Problema

Os sistemas convencionais de reconhecimento facial são projetados para aprender incorporações invariantes à identidade, suprimindo deliberadamente variações intra-identidade, como penteado, maquiagem ou envelhecimento, a fim de agrupar todas as amostras de uma pessoa em um único cluster compacto. Embora eficazes para verificação biométrica, essa abordagem falha em cenários que exigem consistência sensível à aparência, como geração de vídeo, reencenação e edição. Nesses contextos, o objetivo não é apenas verificar a identidade legal, mas garantir que uma sequência represente visualmente a mesma pessoa, mesmo quando os atributos de aparência mudam.

Os modelos atuais lutam com a similaridade de cabeça inteira porque:

1. Eles agrupam diferentes estados de aparência da mesma identidade em uma única representação, falhando em distinguir entre uma pessoa com e sem óculos ou com penteados diferentes.
2. Sofrem degradação significativa de desempenho ao migrar de recortes faciais alinhados para imagens de cabeça inteira não alinhadas (mudança de distribuição).
3. Não conseguem impor uma ordenação hierárquica de similaridade onde amostras da mesma identidade com aparências diferentes (por exemplo, penteados diferentes) sejam classificadas acima de amostras de identidades diferentes, mesmo que estas últimas compartilhem atributos visuais semelhantes.

O artigo introduz a Similaridade de Cabeça, uma nova formulação que estende o reconhecimento centrado na identidade para modelagem estruturada de aparência de cabeça inteira. Visa preservar variações estruturadas de aparência intra-identidade, mantendo a discriminação de identidade e a invariância a fatores de perturbação (iluminação, fundo, pose menor).

Metodologia

O framework proposto aborda o problema por meio de uma arquitetura Vision Transformer Dual-CLS combinada com supervisão de similaridade hierárquica e distilação consciente da identidade.

1. Formulação do Problema

A tarefa é definida por três relações pares no espaço de incorporação:

• $R_1$: Mesma identidade, mesmo estado de aparência (cluster mais apertado).
• $R_2$: Mesma identidade, diferentes estados de aparência (distância intermediária).
• $R_3$: Identidades diferentes (mais distantes).

O objetivo é aprender uma função de incorporação $f_\theta$ que imponha a ordenação hierárquica:
$$s_\theta(R_1) > s_\theta(R_2) > s_\theta(R_3)$$
onde $s_\theta$ é a similaridade do cosseno. Isso garante que a consistência de identidade domine a similaridade de aparência, mas os estados de aparência ainda sejam distinguíveis dentro da mesma identidade.

2. Arquitetura: Vision Transformer Dual-CLS

A base é um Vision Transformer (ViT) pré-treinado com AdaFace. Diferentemente dos sistemas convencionais de reconhecimento facial que usam um único token de classificação, este modelo emprega dois tokens CLS aprendíveis:

• $CLS_{id}$: Otimizado para preservação de identidade.
• $CLS_{head}$: Otimizado para similaridade de cabeça sensível à aparência.

Ambos os tokens compartilham os mesmos parâmetros da base, mas são projetados em incorporações separadas ($z_{id}$ e $z_{head}$) por meio de cabeças de projeção distintas ($g_{id}$ e $g_{head}$).

• $z_{id}$: Usado na inferência tanto para verificação de identidade quanto para classificação de similaridade. É treinado com distilação e perda hierárquica.
• $z_{head}$: Uma incorporação auxiliar usada apenas durante o treinamento para fornecer sinais sensíveis à aparência; é descartada na inferência.

3. Estratégia de Treinamento

O pipeline de treinamento envolve três componentes principais:

1. Alinhamento de Identidade Baseado em Distilação: Para preencher a lacuna de distribuição entre recortes faciais alinhados (usados no pré-treinamento) e entradas de cabeça inteira, o ramo $z_{id}$ é alinhado com uma rede professora congelada (AdaFace-ViT) treinada em rostos alinhados. A perda é definida como $L_{align} = 1 - \cos(z_t, z_{id})$.
2. Perda de Similaridade Hierárquica: Uma perda de margem multi-nível baseada em Softplus impõe a ordenação $R_1 > R_2 > R_3$. É aplicada tanto a $z_{id}$ quanto a $z_{head}$ para estruturar conjuntamente representações de identidade e aparência.
3. Construção de Conjunto de Dados: Um conjunto de dados de referência (HeadSim-Head) é construído a partir de vídeos de longa duração. A supervisão fraca para estados de aparência é derivada do agrupamento temporal (quadros dentro do mesmo segmento de vídeo curto são assumidos como compartilhando o mesmo estado de aparência). O conjunto de dados cobre poses diversas, oclusões e mudanças temporais.

Contribuições Principais

1. Definição da Tarefa: Introdução da Similaridade de Cabeça, uma formulação que vai além do reconhecimento facial invariante à identidade para modelar aparência estruturada de cabeça inteira, preservando explicitamente variações intra-identidade.
2. Benchmark: Construção de um conjunto de dados em grande escala a partir de vídeos de longa duração com estados de aparência supervisionados fracamente, cobrindo poses diversas, oclusões e mudanças temporais.
3. Metodologia: Proposição de uma base simples, porém eficaz, Vision Transformer Dual-CLS que combina distilação consciente da identidade com supervisão de similaridade hierárquica para modelar conjuntamente preservação de identidade e similaridade sensível à aparência.
4. Descobertas Empíricas: Demonstração de que modelos convencionais de reconhecimento facial falham em capturar similaridade dependente de aparência, enquanto o método proposto alcança correspondência forte de cabeça inteira sem sacrificar capacidades de verificação de identidade.

Resultados Experimentais

Desempenho de Verificação Facial

Ao adaptar modelos de reconhecimento facial para entradas de cabeça inteira, modelos padrão sofrem uma queda severa de desempenho.

• AdaFace-ViT: Taxa de Verificação (VR) em FAR=$10^{-3}$ cai de 0,914 (rosto alinhado) para 0,078 (cabeça inteira).
• AdaFace Distilado: A abordagem de distilação proposta recupera o desempenho, alcançando 0,912 de VR em FAR=$10^{-3}$ em entradas de cabeça inteira, correspondendo de perto à base de rosto alinhado.

Desempenho de Similaridade de Cabeça

No conjunto de dados HeadSim-Head, o método proposto supera as bases na distinção de estados de aparência estruturados:

• Nosso: Alcança 0,862 de VR em FAR=$10^{-3}$ e 0,996 de AUC.
• TransReID-ViT: Embora alcance forte desempenho de similaridade (0,749 de VR), falha na verificação de identidade (0,025 de VR no VoxCeleb2), indicando que depende excessivamente de pistas de aparência global e carece de discriminação de identidade.
• AdaFace Vanilla: Desempenha mal (0,326 de VR) pois agrupa variações de aparência.

Estudos de Ablação

O estudo confirma que o desacoplamento em nível de token (Dual-CLS) é superior à separação em nível de cabeça ou incorporações compartilhadas.

• Dual-CLS (Nosso): 0,962 de VR em FAR=$10^{-3}$.
• Dual-Head (Dividido): 0,762 de VR. A separação de cabeças sem desacoplamento em nível de token leva a supervisão de identidade insuficiente para o ramo de similaridade.
• Incorporação Compartilhada: 0,892 de VR. Uma única representação luta para equilibrar os objetivos conflitantes de invariância e preservação de variação.

Significado e Alegações

O artigo afirma que a Similaridade de Cabeça preenche uma lacuna crítica entre a similaridade facial e a similaridade holística em nível de cabeça, essencial para aplicações como geração e edição de vídeo, onde a consistência visual entre quadros é necessária apesar de mudanças no ponto de vista ou estilo.

Os autores enfatizam que sua abordagem:

• Captura explicitamente a variação de aparência intra-identidade em vez de suprimi-la.
• Impõe ordenação hierárquica, garantindo que a consistência de identidade permaneça o fator principal, permitindo ainda a discriminação de diferentes estados de aparência.
• Demonstra viabilidade: Os resultados mostram que a modelagem estruturada de similaridade de cabeça inteira é alcançável usando um framework relativamente simples que aproveita supervisão fraca de vídeos de longa duração e distilação de modelos estabelecidos de reconhecimento facial.

O artigo reconhece limitações, observando que os estados de aparência são supervisionados fracamente (potencialmente ruidosos) e que a hierarquia atual é um proxy para a percepção humana, em vez de um modelo perfeito de julgamento subjetivo. O framework proposto é apresentado como uma base para essa nova tarefa.