TransFIRA: Transfer Learning for Face Image Recognizability Assessment

Resumo Técnico: TransFIRA

1. O Problema

A reconhecimento facial em ambientes não controlados (como vigilância, vídeos longos e imagens da web) enfrenta variações extremas de pose, desfoque, iluminação e oclusão.

• Falha das Métricas Atuais: Métricas de qualidade visual convencionais (baseadas em nitidez, pose ou iluminação) frequentemente falham em prever se uma imagem é realmente reconhecível pelo codificador (encoder) de reconhecimento facial implantado.
• Limitações dos Métodos FIQA Existentes: Os métodos atuais de Avaliação de Qualidade de Imagem Facial (FIQA) dependem de:
  • Heurísticas visuais manuais.
  • Anotações curadas (rótulos humanos).
  • Pipelines generativas computacionalmente intensivas.
  • Métodos acoplados a backbones específicos, limitando a generalização.
• O Lacuna: Existe uma desconexão entre a "qualidade visual" da imagem e a "reconhecibilidade" no espaço de incorporação (embedding space) do modelo de reconhecimento. Um sistema precisa saber quais quadros são confiáveis para o seu modelo específico, não apenas se a imagem parece boa.

2. Metodologia (TransFIRA)

O TransFIRA (Transfer Learning for Face Image Recognizability Assessment) é um framework leve e sem anotações que fundamenta a avaliabilidade diretamente na geometria do espaço de incorporação do encoder.

A. Definição Geométrica de Reconhecibilidade (Rótulos)
Em vez de usar rótulos humanos, o TransFIRA deriva rótulos de supervisão diretamente das incorporações (embeddings) do encoder pré-treinado:

• CCS (Class-Center Similarity): Similaridade angular (cosseno) entre a incorporação da imagem e o centro de sua própria classe.
• NNCCS (Nearest Nonmatch Class-Center Similarity): A máxima similaridade com qualquer outro centro de classe (o impostor mais próximo).
• CCAS (Class-Center Angular Separation): A diferença entre CCS e NNCCS ($CCAS = CCS - NNCCS$).
  • Corte Natural: Um valor de CCAS > 0 indica que a imagem está no lado correto da fronteira de decisão do encoder (mais próxima da classe correta do que de qualquer impostor). Isso serve como um critério de filtragem principiado e sem parâmetros.

B. Rede de Predição (Transfer Learning)

• O framework adapta qualquer encoder pré-treinado adicionando uma cabeça de regressão leve (uma camada linear).
• O modelo é treinado de ponta a ponta para prever diretamente os valores de CCS e CCAS a partir da imagem de entrada.
• Vantagem: Não requer re-treinamento do encoder de reconhecimento nem anotações de qualidade humana. A supervisão é determinística e baseada na geometria do próprio modelo.

C. Agregação Informada por Reconhecibilidade
Para a construção de templates (agregação de múltiplas imagens de um sujeito), o TransFIRA propõe duas operações:

1. Filtragem: Remove quadros onde o CCAS predito $\le$ 0 (quadros não reconhecíveis ou ambíguos).
2. Ponderação (Weighting): Pondera as incorporações restantes pelo valor predito de CCS. Imagens com maior similaridade ao centro da classe (mais compactas e confiáveis) têm maior peso na média final.

3. Principais Contribuições

1. Supervisão Específica do Encoder: A primeira definição de FIQA baseada puramente na geometria do espaço de decisão do encoder (via CCS e CCAS), eliminando a dependência de heurísticas visuais ou rótulos externos.
2. Aprendizado por Transferência Flexível: Capacidade de estender qualquer encoder pré-treinado para predição de qualidade com apenas uma camada extra, sem alterar o design do backbone.
3. Agregação e Explicabilidade:
   • Introduz um corte natural ($CCAS > 0$) para filtragem e ponderação baseada em CCS, alcançando resultados state-of-the-art.
   • Fornece explicabilidade baseada no encoder: revela como degradações (borro, oclusão) afetam a confiabilidade e identifica sujeitos intrinsecamente difíceis de identificar.
   • Extensão Multimodal: Adaptação bem-sucedida para reconhecimento corporal (body recognition) através de uma estratégia de calibração por sigmoide, resolvendo o problema de saturação dos valores de similaridade.

4. Resultados Experimentais

O TransFIRA foi avaliado nos benchmarks BRIAR Protocol 3.1 (vigilância com degradações extremas) e IJB-C (imagens não controladas da web).

• Desempenho em Agregação de Templates:
  • Superou consistentemente métodos anteriores como MagFace, CR-FIQA, DifFIQA e FaceQNet.
  • No BRIAR, a combinação de filtragem e ponderação aumentou a Taxa de Aceitação Verdadeira (TAR) em até +0.1385 (em FMR $10^{-6}$) comparado à média uniforme, representando ganhos significativos em cenários de vigilância.
  • No IJB-C, alcançou resultados state-of-the-art ou comparáveis aos melhores baselines, mantendo-se leve.
• Correlação com a Verdadeira Reconhecibilidade:
  • Aumentou a correlação de Spearman com a reconhecibilidade real em quase 2x em comparação aos melhores métodos existentes (ex: atingindo SC de 0.86 no BRIAR vs. <0.45 dos concorrentes).
• Reconhecimento Corporal:
  • Demonstrou eficácia ao estender o método para corpos, utilizando calibração por sigmoide para lidar com a saturação de similaridade, estabelecendo o primeiro método de avaliação de qualidade para reconhecimento corporal baseado em geometria.

5. Significado e Impacto

O TransFIRA representa uma mudança de paradigma na avaliação de qualidade facial:

• Da Qualidade Visual para a Reconhecibilidade do Modelo: Move o foco de "como a imagem parece" para "como o modelo específico vê a imagem".
• Eficiência e Interpretabilidade: Oferece um método leve (apenas uma camada extra) que é totalmente interpretável, pois os critérios de decisão (filtragem e ponderação) são derivados diretamente da geometria do espaço de incorporação.
• Robustez: É robusto a mudanças de domínio e funciona bem em cenários de degradação extrema onde métodos baseados em heurísticas falham.
• Aplicabilidade Prática: Permite a construção de sistemas de reconhecimento mais robustos, capazes de filtrar automaticamente dados ruins e ponderar dados bons, além de fornecer ferramentas para monitoramento de falhas e explicabilidade do sistema.

Em suma, o TransFIRA estabelece um novo padrão para FIQA, sendo o primeiro framework unificado, sem anotações e guiado pela geometria, capaz de melhorar a precisão, a interpretabilidade e o escopo (incluindo corpos) dos sistemas de reconhecimento biométrico.