A Lightweight Ensemble-Based Face Image Quality Assessment Method with Correlation-Aware Loss

Resumo Técnico: Um Método de Avaliação de Qualidade de Imagem Facial Baseado em Ensemble Leve com Perda de Consciência de Correlação

Definição do Problema
A Avaliação de Qualidade de Imagem Facial (FIQA) é um guardião crítico para sistemas de reconhecimento e verificação facial, particularmente em ambientes não controlados e do mundo real ("in the wild"). Embora existam métricas de avaliação de qualidade de imagem sem referência (IQA) de propósito geral (ex: BRISQUE, NIQE), elas frequentemente falham em capturar degradações específicas de faces, como pose, iluminação e oclusão, correlacionando-se fracamente com o sucesso real do reconhecimento. Por outro lado, os modelos de FIQA perceptuais de estado da arte (SOTA) tipicamente dependem de arquiteturas de aprendizado profundo pesadas (ex: grandes transformers ou loops de difusão iterativos) que são computacionalmente intensivas. Esse alto custo de inferência (na ordem de múltiplos GFLOPs) cria um gargalo para a implantação em ambientes de recursos limitados, como dispositivos móveis ou sistemas embarcados, limitando sua aplicabilidade prática apesar da alta precisão.

Metodologia
Os autores propõem um framework de FIQA leve e eficiente, projetado para equilibrar alta precisão com baixo custo computacional. A metodologia consiste em três componentes principais:

1. Arquitetura de Ensemble Leve:
   O modelo integra um ensemble de duas redes neurais convolucionais (CNNs) compactas: MobileNetV3-Small e ShuffleNetV2. Ambas as redes foram pré-treinadas no ImageNet e ajustadas (fine-tuned) para a tarefa de FIQA, substituindo suas camadas finais de classificação por Perceptrons de Camada Múltipla (MLPs) para gerar um único escalar de pontuação de qualidade.

   • MobileNetV3-Small: Utiliza um vetor de características de agrupamento médio global (global average pooled) de dimensão 576, processado através de um MLP de duas camadas.
   • ShuffleNetV2: Utiliza um vetor de características de agrupamento médio global de dimensão 1024, processado através de um MLP de três camadas.
   • Estratégia de Fusão: A predição final é gerada via um esquema de média de dois níveis. Primeiro, as predições são calculadas pela média entre múltiplas visões aumentadas da imagem de entrada (Aumentação em Tempo de Teste - TTA). Segundo, os outputs dos dois modelos distintos são calculados pela média. Esta abordagem aproveita as forças representacionais complementares das duas arquiteturas enquanto mantém uma contagem total de parâmetros de aproximadamente 2 milhões.

2. Função de Perda de Consciência de Correlação (MSECorrLoss):
   Para alinhar as predições do modelo com os julgamentos perceptuais humanos, os autores introduzem uma função de perda conjunta que combina o Erro Quadrático Médio (MSE) com um regularizador de Pearson.

   • A perda é definida como $\mathcal{L} = \mathcal{L}_{MSE} + \alpha \mathcal{L}_{Corr}$.
   • $\mathcal{L}_{MSE}$ minimiza o erro direto de predição.
   • $\mathcal{L}_{Corr}$ é definida como $1 - \text{Pearson}(q, \hat{q})$, incentivando o modelo a preservar a ordenação monotônica das pontuações de qualidade em relação à verdade fundamental (ground truth). Isso é crucial para tarefas perceptuais onde a ordenação relativa é frequentemente mais importante do que a precisão absoluta da pontuação.

3. Aumentação em Tempo de Teste (TTA):
   Durante a inferência, a imagem de entrada é transformada em múltiplas visões aumentadas (especificamente, inversões horizontais e verticais aleatórias). O ensemble processa essas visões, e a pontuação de qualidade final é obtida pela média das predições através das aumentações e dos modelos. Esta estratégia aumenta a robustez e a estabilidade sem exigir dados de treinamento adicionais.

Principais Contribuições
O artigo delineia três contribuições primárias:

• Design de Ensemble Compacto: Um ensemble de dois ramos fundindo MobileNetV3-Small e ShuffleNetV2, alcançando alta precisão com uma escala de sub-milhão de parâmetros (aprox. 2M de parâmetros no total) e baixo custo de inferência (~0.5 GFLOPs).
• MSECorrLoss: Uma função objetivo inovadora que simultaneamente minimiza o MSE e maximiza a correlação de Pearson com as avaliações humanas, estreitando o alinhamento com a verdade fundamental perceptual.
• Integração de TTA Robusta: Uma estratégia eficaz de tempo de inferência que faz a média das predições através de visões aumentadas, melhorando a estabilidade e reduzindo a variância.

Resultados Experimentais
O método foi avaliado no benchmark VQualA FIQA, um dataset de larga escala "in-the-wild" contendo aproximadamente 30.000 imagens de treinamento e 1.000 imagens de validação. A avaliação utilizou o Coeficiente de Correlação de Posto de Spearman (SRCC) e o Coeficiente de Correlação Linear de Pearson (PLCC).

• Desempenho: O método proposto alcançou um SRCC de 0.9829 e um PLCC de 0.9894, resultando em uma Pontuação Final de 0.9862.
• Comparação: Estes resultados superam significativamente as abordagens SOTA existentes. Por exemplo, o método anterior de melhor desempenho específico para faces, TOPIQ Swin Face, alcançou uma Pontuação Final de 0.9286 (SRCC 0.9156, PLCC 0.9416). O método proposto supera este por uma margem de 0.058 na pontuação final.
• Eficiência: Apesar dos ganhos de desempenho, o modelo permanece leve, adequado para implantação no mundo real onde os recursos computacionais são limitados.

Estudos de Ablação
Os autores realizaram estudos de ablação para validar a contribuição de cada componente:

• Ensemble: Combinar MobileNet e ShuffleNet melhorou a Pontuação Final de ~0.97 (modelos individuais) para 0.9792, demonstrando que o aprendizado de ensemble reduz a variância da predição.
• Função de Perda: A substituição do MSE padrão pelo MSECorrLoss elevou ainda mais a pontuação para 0.9821, confirmando o benefício de otimizar para a correlação.
• TTA: A adição da Aumentação em Tempo de Teste resultou na performance ótima final de 0.9862, destacando seu papel na redução da variância da predição e na melhoria da consistência de ranking.

Significância e Alegações
O artigo afirma que sua abordagem aborda com sucesso o equilíbrio entre precisão e eficiência computacional na FIQA. Ao utilizar um ensemble leve e uma perda de consciência de correlação, o método alcança desempenho de estado da arte no benchmark VQualA, mantendo-se dentro das restrições de eficiência necessárias para implantação em dispositivos móveis e embarcados. Os autores posicionam este trabalho como uma solução prática para cenários "in-the-wild", onde o julgamento de qualidade automático, confiável e consciente de faces é essencial para tarefas subsequentes, como verificação de identidade, controle de acesso e análise forense. O trabalho sugere que estratégias arquitetônicas e de treinamento simples e bem orquestradas podem avançar sistemas de FIQA robustos sem depender de backbones computacionalmente caros.