Resumo Técnico: Calibração Adaptativa para Reconhecimento Facial Justo e de Alto Desempenho

Declaração do Problema

Sistemas modernos de reconhecimento facial mapeiam imagens de faces para embeddings de alta dimensão e utilizam a similaridade de cosseno como pontuação de correspondência. Embora esses sistemas tenham alcançado alta precisão, eles exibem disparidades demográficas significativas, com taxas de erro frequentemente uma ordem de magnitude superiores para indivíduos com tons de pele mais escuros em comparação com aqueles com tons de pele mais claros.

O problema central identificado é um descompasso fundamental entre o objetivo de treinamento e a operacionalização do sistema. O treinamento normalmente emprega objetivos baseados em distância (ex: perdas de contraste ou de margem angular) que garantem que correspondências corretas sejam mais próximas do que as incorretas, mas não fazem suposições sobre distâncias absolutas. Consequentemente, a mesma distância de cosseno pode corresponder a diferentes probabilidades de uma correspondência correta dependendo da região do espaço de embedding. Grupos demográficos sub-representados frequentemente ocupam regiões de menor densidade deste espaço, onde o comportamento do embedding é menos restrito. Quando um limiar global é aplicado às distâncias de cosseno brutas, ele falha em considerar essas variações locais, levando a erros desproporcionais (falsas rejeições ou falsas aceitações) para grupos minoritários. Métodos de pós-processamento existentes frequentemente dependem de mapeamentos monotônicos globais (como o escalonamento de Platt) ou heurísticas de agrupamento discretas que falham em capturar necessidades de calibração contínuas e específicas de cada região, ou que exigem metadados demográficos na inferência, o que é frequentemente indisponível em implementações do mundo real.

Metodologia: Calibração Adaptativa (AC)

Os autores propõem a Calibração Adaptativa (AC), uma estratégia de calibração post-hoc que mapeia pontuações de similaridade de cosseno e o contexto local do embedding para probabilidades bem calibradas sem exigir anotações de grupos demográficos durante o treinamento ou a inferência.

Conceito Central

A AC aborda o descompasso aprendendo uma função de calibração contínua e localmente variável. Ela postula que a probabilidade de uma correspondência depende não apenas da similaridade de cosseno ($s$), mas também da localização do par dentro do espaço de embedding.

Representação do Par

Para capturar o contexto local, a AC utiliza o embedding médio normalizado ($\bar{z}$) de um par de faces:
$$\bar{z} = \frac{z_1 + z_2}{\|z_1 + z_2\|_2}$$
onde $z_1$ e $z_2$ são os embeddings normalizados das duas faces. Esta representação é escolhida porque:

1. É simétrica (a ordem de probe/gallery não importa).
2. Reside na mesma hiperesfera unitária dos embeddings do backbone, preservando propriedades geométricas.
3. Varia continuamente, evitando saltos discretos associados a métodos baseados em agrupamento (clusters).

Variantes do Modelo

A AC treina um classificador secundário para prever a probabilidade de correspondência $p$ dada a representação do par e a pontuação de similaridade. Três variantes são propostas:

1. AC-MLP: Um Perceptron Multicamadas (Multi-Layer Perceptron) leve que mapeia o vetor concatenado $[\bar{z}, s]$ para uma probabilidade via uma saída sigmoide.
2. AC-Linear: Um modelo de regressão logística sobre $[\bar{z}, s]$. Isso preserva o ranking local da pontuação de similaridade ao mesmo tempo em que permite deslocamentos específicos de região.
3. AC-Density: Uma abordagem híbrida que incorpora uma medida de densidade local. Ela calcula a distância euclidiana média para os $k$-vizinhos mais próximos no conjunto de treinamento ($\rho(\bar{z})$) para identificar regiões esparsas. Em seguida, aplica uma regressão de ridge para prever o erro residual de uma pontuação base calibrada por Platt, combinando a pontuação base, a densidade local e as características lineares.

Treinamento e Inferência

O método é treinado em um conjunto de calibração usando entropia cruzada binária para minimizar a diferença entre as probabilidades previstas e os rótulos de correspondência reais (ground-truth). Crucialmente, ele não requer rótulos demográficos durante o treinamento ou a inferência. Teoricamente, se os grupos forem recuperáveis a partir do espaço de embedding, um modelo suficientemente expressivo treinado para minimizar a entropia cruzada será calibrado para o grupo para qualquer grupo dessa natureza.

Principais Contribuições

1. Nova Estratégia de Calibração: Introdução da Calibração Adaptativa, que mapeia o contexto do embedding local e as pontuações de similaridade para probabilidades de correspondência calibradas, abordando as deficiências tanto em precisão quanto em justiça (fairness).
2. Desempenho Superior: Demonstração de que a AC domina as técnicas de calibração post-hoc existentes (como FairCal, FALCON e FRAPP´E) em uma ampla gama de conjuntos de dados (RFW, BFW, LFW) e backbones (ArcFace, AdaFace, MagFace, FaceNet).
3. Justiça Sem Rótulos (Label-Free Fairness): O método alcança uma calibração equitativa sem exigir anotações demográficas na inferência, tornando-o prático para implantações onde tais metadados não estão disponíveis.
4. Evitar o "Nivelamento para Baixo" (Leveling Down): Ao contrário de algumas intervenções de justiça que degradam o desempenho para grupos majoritários para equalizar resultados, a AC melhora a calibração e a precisão global, particularmente para os grupos onde o sistema apresenta o pior desempenho.
5. Generalização: A abordagem fornece calibração de grupo para qualquer grupo recuperável do espaço de embedding (ex: etnia, gênero ou outros atributos como acessórios de cabeça), não apenas para eixos demográficos predefinidos.

Resultados

O artigo avalia a AC contra linhas de base de última geração em três benchmarks padrão:

• Conjuntos de Dados: Racial Faces in-the-Wild (RFW), Bias in Face Verification (BFW) e Labeled Faces in the Wild (LFW).
• Backbones: ArcFace (R50, R100), AdaFace, MagFace e FaceNet.
• Métricas:
  • Precisão: Taxa de Verdadeiros Positivos (TPR) global em uma Taxa de Falsos Positivos (FPR) de $10^{-3}$.
  • Justiça: Pior AUROC do grupo e Pior Brier Score.
  • Nivelamento para Baixo (Leveling-Down): Uma métrica (LU-AUROC) que mede quantos dos grupos com pior desempenho melhoram sem degradar outros.

Principais Descobertas:

• Precisão e Justiça: AC-Linear e AC-Density consistentemente alcançam os melhores ou quase melhores resultados sem rótulos em uma ampla gama de datasets e backbones. Por exemplo, no RFW com MagFace, a AC-Density melhorou o pior AUROC do grupo de 94,19 para 96,02 (uma redução de ~30% no erro residual) sem degradar outros grupos.
• Qualidade da Calibração: A AC reduz significativamente o Brier score para os grupos mais mal calibrados em comparação com baselines como FairCal e FSN.
• Nivelamento para Baixo (Leveling-Down): As variantes da AC frequentemente alcançam a pontuação máxima de "Nivelamento para Cima" (Leveling-Up), onde todos os grupos melhoram, enquanto métodos como FRAPP´E e FSN frequentemente falham em melhorar os piores grupos sem prejudicar outros.
• Comparação com Métodos Conscientes de Demografia: Embora métodos que exigem rótulos demográficos reais (Oracle, GST, DemoNorm) sirvam como limites superiores, a AC aproxima-se do seu desempenho em muitos cenários sem precisar desses rótulos na inferência.

Significância e Alegações

O artigo afirma que a Calibração Adaptativa fornece uma solução prática para o reconhecimento facial equitativo. Ao converter distâncias em probabilidades calibradas usando uma função localmente variável, a AC corrige o descompasso fundamental entre os objetivos de treinamento e os limiares operacionais.

Os autores enfatizam que sua abordagem:

• Melhora o Desempenho Geral: Não apenas redistribui erros, mas frequentemente aumenta a precisão global.
• Evita o "Nivelamento para Baixo": Melhora o desempenho para os grupos mais mal atendidos sem sacrificar o desempenho dos grupos que já performam melhor, abordando um modo de falha comum em intervenções de justiça.
• É Implantável: Não requer metadados demográficos na inferência, sendo adequada para aplicações do mundo real onde tais dados não estão disponíveis.
• É Flexível: Pode ser integrada em pipelines de verificação existentes com código customizado mínimo, particularmente as variantes lineares.

O trabalho sugere que, ao focar no contexto local do embedding, os sistemas podem alcançar justiça e precisão robustas simultaneamente, oferecendo um caminho para uma implantação mais equitativa da tecnologia de reconhecimento facial.