Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

1. Problema e Motivação

O reconhecimento facial é uma tecnologia biométrica amplamente utilizada, mas historicamente apresenta viés demográfico, onde certos grupos (baseados em etnia e gênero) sofrem taxas de erro mais altas. Tradicionalmente, esses sistemas baseiam-se em embeddings (representações numéricas fixas) treinados especificamente para identidade facial.

Recentemente, os Modelos de Linguagem Multimodal (MLLMs) emergiram como uma alternativa, capazes de realizar tarefas de verificação facial através de prompting visual e raciocínio geral, sem necessidade de treinamento especializado em rótulos de identidade. No entanto, a justiça demográfica (fairness) desses modelos MLLMs aplicados à verificação facial permanece inexplorada. Não é claro se os padrões de viés observados em sistemas tradicionais se transferem para os MLLMs, nem se a abordagem baseada em raciocínio geral oferece desempenho e equidade aceitáveis.

2. Metodologia

Os autores realizaram um estudo de benchmarking sistemático para avaliar a precisão e a justiça demográfica de MLLMs na tarefa de verificação facial (determinar se duas imagens pertencem à mesma pessoa).

• Modelos Avaliados: Foram testados 9 MLLMs de código aberto de 6 famílias diferentes (comparando modelos de propósito geral com um modelo especializado). Os tamanhos variam de 2B a 8B parâmetros.
  • Destaque: O FaceLLM-8B é o único modelo especializado em análise facial; os outros (como Qwen-VL, LLaVA, Idefics, etc.) são modelos de linguagem-vídeo de propósito geral.
• Protocolos e Dados:
  • IJB-C: Um protocolo de verificação 1:1 com 3.531 sujeitos, anotado por gênero e etnia (Africano, Asiático Oriental, Sul-Asiático, Caucasiano).
  • RFW (Racial Faces in-the-Wild): Um benchmark balanceado focado especificamente em viés étnico (4 grupos étnicos), sem anotações de gênero.
• Método de Avaliação:
  • Zero-shot: Os modelos não foram ajustados (fine-tuned) para a tarefa.
  • Prompting: As imagens são enviadas com um prompt de texto solicitando uma pontuação de similaridade de 0 a 100.
  • Agregação: Para pares de templates (que podem conter múltiplas imagens), as pontuações de todos os pares de imagens são médias aritméticas.
• Métricas de Desempenho:
  • Precisão: Taxa de Erro Igual (EER) e Taxa de Verdadeira Correspondência (TMR) em pontos operacionais fixos.
  • Justiça (Fairness): Quatro métricas baseadas na Taxa de Falsa Correspondência (FMR) para diferentes grupos demográficos:
    1. Diferencial máximo de FMR ($\Delta_F$).
    2. Razão máxima de FMR ($R_F$).
    3. Razão máxima para a média geométrica ($M_F$).
    4. Coeficiente de Gini ($G_F$) para medir a desigualdade geral.

3. Contribuições Principais

1. Primeira Avaliação de Justiça Demográfica em MLLMs: O trabalho preenche uma lacuna crítica ao analisar sistematicamente como MLLMs generalistas e especializados lidam com viés em verificação facial.
2. Benchmark Comparativo: Estabelece uma linha de base comparando modelos de propósito geral contra um modelo especializado (FaceLLM) em dois protocolos padrão da indústria (IJB-C e RFW).
3. Descoberta de Padrões de Viés Inéditos: Revela que os padrões de viés em MLLMs diferem fundamentalmente dos sistemas de reconhecimento facial tradicionais baseados em embeddings.
4. Análise de Trade-off Precisão-Justiça: Demonstra que os modelos mais precisos não são necessariamente os mais justos, e que modelos com baixa precisão podem parecer "justos" apenas porque cometem erros uniformemente altos em todos os grupos.

4. Resultados Chave

Desempenho de Precisão

• FaceLLM-8B superou significativamente todos os modelos de propósito geral em ambos os benchmarks, alcançando o menor EER global (5,13% no IJB-C e 29,46% no RFW).
• Os modelos de propósito geral apresentaram desempenho variável, com alguns (como Ovis1.5 e Qwen2-VL-2B) operando próximo ao nível de chance aleatória (EER ~30-50%).
• O desempenho foi melhor no IJB-C do que no RFW, atribuído ao fato de que os templates do IJB-C contêm, em média, mais imagens (20,3) do que os do RFW (3,6), permitindo que o MLLM faça uma média de mais pontuações de pares para estabilizar o resultado.

Análise de Viés e Justiça

• Padrão de Viés Inverso (Etnia): Diferente dos sistemas tradicionais onde grupos de pele mais escura tendem a ter pior desempenho, no IJB-C, o grupo Caucasiano foi o mais prejudicado (maior EER) em 5 dos 8 modelos não degenerados.
• Disparidade Étnica no RFW: No RFW, o grupo Africano foi consistentemente o mais prejudicado em todos os modelos, com gaps de EER significativos (ex: FaceLLM-8B teve 21,23% de EER para Asiáticos vs. 35,25% para Africanos).
• Justiça de Gênero: As disparidades de gênero foram consistentemente menores do que as de etnia em todos os modelos e pontos operacionais. O FaceLLM-8B demonstrou uma desigualdade de gênero extremamente baixa ($G_F = 0,004$).
• Trade-off Precisão vs. Justiça:
  • Modelos com baixa precisão (como Ovis1.5) apresentaram os índices de Gini mais baixos (parecendo mais justos), mas apenas porque suas taxas de erro eram altas e uniformes para todos os grupos.
  • O modelo mais preciso (FaceLLM-8B) não foi o mais justo em todos os aspectos (teve o maior diferencial absoluto no RFW), mas combinou alta precisão com baixa desigualdade de gênero no IJB-C.

5. Significado e Conclusão

O estudo conclui que, embora os MLLMs ofereçam uma nova abordagem flexível para verificação facial, eles ainda não alcançam a precisão e a velocidade necessárias para aplicações práticas de alto risco em comparação com sistemas especializados.

A descoberta mais crítica é que os padrões de viés não são universais; eles mudam dependendo da arquitetura do modelo e do conjunto de dados. Isso implica que a avaliação de justiça não pode ser generalizada de sistemas tradicionais para MLLMs. Além disso, o trabalho alerta que métricas de justiça isoladas podem ser enganosas: um modelo "justo" pode ser inútil se sua precisão geral for baixa.

Limitações e Futuro: Os autores sugerem que estudos futuros devem explorar atributos interseccionais (etnia x gênero), testar modelos maiores (>13B parâmetros) e investigar a sensibilidade dos resultados à formulação dos prompts.