Sparsity-Inducing Divergence Losses for Biometric Verification

Resumo Técnico: Perdas de Divergência Indutoras de Esparsidade para Verificação Biométrica

Definição do Problema
O desempenho de estado da arte em verificação de face e de locutor é atualmente dominado por perdas de softmax com penalidade de margem, como CosFace e ArcFace. Esses métodos alcançam alta precisão ao aplicar penalidades geométricas aos logits (log-verossimilhanilhas não normalizadas) da identidade real para maximizar a separação interclasse. No entanto, essas margens geométricas são extensões heurísticas da função softmax padrão e permanecem desconectadas de sua formulação probabilística subjacente.

Inversamente, avanços recentes em perdas de Entropia Cruzada generalizadas, especificamente baseadas em divergências-$f$ e divergências-$\alpha$, oferecem um arcabouço probabilístico fundamentado. A família de divergências-$\alpha$ permite trocas ajustáveis entre mapeamentos de probabilidade suaves e esparsos. Para $\alpha > 1$, essas perdas induzem posteriors esparsas (suprimindo probabilidades pequenas), o que pode levar a embeddings mais discriminativos. Uma lacuna crítica existe, contudo: margens geométricas padrão não se estendem naturalmente a este arcabouço probabilístico generalizado. Métodos existentes ou aplicam modificações geométricas nos logits (desconectadas da divergência) ou utilizam medidas de referência não uniformes apenas para abordar o desequilíbrio de frequência de classe, sem explorar o uso delas para codificar penalidades de margem.

Metodologia: Q-Margin
Os autores propõem o Q-Margin, uma nova função de perda que introduz uma margem probabilística fundamentada dentro do arcabouço de divergência-$\alpha$. Em vez de modificar os logits geometricamente (por exemplo, adicionando uma margem ao ângulo ou à similaridade de cosseno), o Q-Margin codifica a penalidade de margem diretamente na medida de referência (probabilidades a priori), denotada por $q$.

• Formulação de Margem Probabilística: Para uma amostra com rótulo real $y$, a medida de referência $q_j$ é definida como $q_j = \exp(-s \cdot m \cdot \delta_{y,j})$, onde $s$ é um fator de escala, $m$ é o hiperparâmetro de margem e $\delta$ é o delta de Kronecker. Ao reduzir significativamente a medida de referência da classe alvo, a função de perda cria um objetivo de aprendizado mais rigoroso. O modelo é compelido a produzir um logit alvo substancialmente maior em relação aos logits não-alvo para compensar, criando implicitamente uma margem de decisão por meios probabilísticos.
• Unificação Teórica: Os autores demonstram que, conforme $\alpha \to 1$, o Q-Margin reduz-se ao CosFace padrão, proporcionando assim um elo teórico entre margens geométricas e probabilísticas.
• Esparsidade e Eficiência: Uma característica fundamental da divergência-$\alpha$ com $\alpha > 1$ é a geração de posteriors esparsas, onde muitas probabilidades de classe tornam-se exatamente zero. Os autores aproveitam essa propriedade para otimizar o cálculo do $\alpha$-softargmax, que requer encontrar um escalar $\tau^*$ via um algoritmo de bisseção iterativa.
  • Proposição 1: Os autores provam que, se o suporte ativo (classes com probabilidade não nula) estiver contido nos top-$K$ logits, resolver a equação de busca de raiz apenas sobre este subconjunto produz exatamente o mesmo $\tau^*$ e distribuição posterior que o cálculo completo.
  • Implementação: Na prática, ordenar os logits e calcular $\tau^*$ apenas sobre os top 5% das classes (mesmo que o conjunto ativo seja frequentemente menor, ex: ~0,4%) resulta em uma solução exata que reduz drasticamente o overhead computacional em comparação com a avaliação de milhões de classes.

Principais Contribuições

1. Perda Q-Margin: A proposta de uma perda de divergência-$\alpha$ com penalidades de margem codificadas na medida de referência, oferecendo uma alternativa inerentemente esparsa à perda logística padrão para treinar embeddings de identidade discriminativos.
2. Ponte Teórica: Derivação do Q-Margin para mostrar que ele recupera o CosFace como um caso especial ($\alpha \to 1$), unificando as perspectivas geométrica e probabilística dentro de um único arcabouço.
3. Algoritmo de Treinamento Eficiente: Exploração da extrema esparsidade das posteriors da divergência-$\alpha$ para propor uma modificação do algoritmo de bisseção iterativa. Isso permite o treinamento exato e eficiente em memória de datasets com milhões de identidades, restringindo o cálculo a um pequeno conjunto ativo de classes.
4. Avaliação Abrangente: Experimentos extensos em benchmarks de larga escala (WebFace42M, IJB-B, IJB-C e VoxCeleb) demonstrando desempenho competitivo ou superior, particularmente em baixas Taxas de Aceitação Falsa (FARs).
5. Análise de Hiperparâmetros: Uma análise empírica detalhada da interação entre o parâmetro de divergência $\alpha$, a escala $s$ e a margem $m$, revelando que esses parâmetros são acoplados e requerem ajuste conjunto dependendo da modalidade biométrica.

Resultos

• Verificação de Face: Nos benchmarks IJB-B e IJB-C, o Q-Margin (com $\alpha=1,25, s=35, m=0,2$) alcançou 93,67% de TAR em FAR=$10^{-5}$ no IJB-B e 96,35% no IJB-C. Estes resultados superam as baselines de ArcFace e CosFace reimplementadas sob receitas idênticas. O Q-Margin é competitivo com métodos de estado da arte como PartialFC e UniFace, apesar de usar um backbone ResNet-100 padrão sem redes auxiliares ou amostragem negativa.
• Verificação de Locutor: No benchmark VoxCeleb1-H, o Q-Margin (com $\alpha=1,5, s=10, m=0,1$) alcançou 87,91% de TAR em FAR=$10^{-3}$, superando as baselines de ArcFace e CosFace. O $\alpha$ ideal para verificação de locutor foi encontrado como sendo mais alto ($1,5$ ou $1,75$) do que para verificação de face ($1,25$), sugerindo ajuste dependente da modalidade.
• Desempenho em Baixa FAR: Crucialmente, o Q-Margin melhora consistentemente o desempenho em baixas FARs ($10^{-4}$ e $10^{-5}$), uma capacidade crítica para aplicações de alta segurança.
• Eficiência Computacional: Embora uma implementação ingênua de $\alpha$-softargmax seja mais lenta que o softmax padrão, a estratégia de truncamento top-$K$ proposta reduz o gap de throughput de treinamento para aproximadamente 5% de overhead em relação ao ArcFace, mantendo a exatidão.

Significância e Alegações
O artigo afirma que o Q-Margin preenche uma lacuna fundamental entre o design de perda de informação-teórica e o sucesso empírico da softmax com penalidade de margem. Ao reinterpretar o aprendizado de margem através da lente da divergência-$\alpha$, os autores fornecem um método teoricamente fundamentado que naturalmente incentiva embeddings discriminativos enquanto preserva propriedades de esparsidade benéficas.

Os autores enfatizam que o método é particularmente eficaz para aplicações de alta segurança que exigem baixas taxas de aceitação falsa. Além disso, a capacidade de treinar eficientemente em datasets com milhões de identidades (ex: WebFace42M) via a otimização induzida pela esparsidade oferece uma solução escalável sem a necessidade de estratégias de amostragem heurísticas como as usadas em PartialFC. O trabalho conclui que, embora o Q-Margin introduza um hiperparâmetro adicional ($\alpha$) e exija um ajuste conjunto cuidadoso com o parâmetro de escala, ele oferece uma alternativa robusta e fundamentada às abordagens atuais de margem geométrica.