R-FLoRA: Residual-Statistic-Gated Low-Rank Adaptation for Single-Image Face Morphing Attack Detection

1. Problema e Contexto

O reconhecimento facial é amplamente utilizado em controle de fronteiras e verificação de identidade, mas permanece vulnerável a ataques de morfagem facial (face morphing). Neste tipo de ataque, as imagens faciais de duas ou mais pessoas são combinadas para criar uma nova identidade visualmente plausível, permitindo que um adversário contorne sistemas de segurança e obtenha documentos de viagem ou credenciais ilegítimas.

O foco deste trabalho é a Detecção de Ataque de Morfagem de Imagem Única (S-MAD). Diferente da detecção diferencial (D-MAD), que compara uma imagem ao vivo com uma referência (ex: chip de passaporte), a S-MAD opera apenas com uma única imagem apresentada, sem uma referência confiável. Isso torna a detecção extremamente desafiadora devido à falta de contexto comparativo e à diversidade dos métodos de geração de ataques. O desafio principal é generalizar a detecção para técnicas de morfagem nunca vistas anteriormente e em diferentes domínios de dados (cross-domain).

2. Metodologia Proposta: R-FLoRA

O artigo propõe um novo framework que integra estatísticas de resíduos de alta frequência com representações de um Vision Transformer (ViT) de base (foundation model) congelado. A arquitetura, chamada R-FLoRA, consiste nos seguintes componentes principais:

• Backbone Congelado (ViT): O modelo utiliza um transformador de visão pré-treinado em larga escala (ex: CLIP ViT-L/14) cujos parâmetros permanecem congelados durante o treinamento. Isso preserva o rico contexto semântico aprendido pelo modelo base.
• Extração de Resíduos Laplacianos: Um ramo paralelo processa a imagem para extrair um mapa de resíduos baseado no operador Laplaciano. Este ramo captura artefatos de alta frequência e inconsistências estruturais sutis introduzidas pela morfagem, que muitas vezes são ignorados por modelos puramente semânticos.
• R-FLoRA (Residual-Statistic-Gated Low-Rank Adaptation):
  • Em vez de ajustar todo o modelo, o método insere adaptadores de baixo rank (LoRA) apenas nas projeções de Atenção (Query e Value) das últimas $k$ camadas do transformador.
  • Mecanismo de Portão (Gating): Um escalar de "portão" é derivado das estatísticas globais dos resíduos (média, variância e energia). Este portão modula dinamicamente as atualizações de baixo rank, permitindo que o modelo adapte sua resposta baseada no conteúdo específico de cada imagem, enfatizando pistas relacionadas à morfagem.
• Fusão Res-FiLM (Residual Feature-wise Linear Modulation): As estatísticas de resíduos em nível de "patch" são fundidas com os tokens do backbone através de uma rede de modulação linear compartilhada. Isso injeta evidências forenses locais na estrutura semântica global sem perturbar a organização espacial.
• Pooling por Atenção Cruzada (Cross-Attention Pooling): Um cabeçalho de pooling com consultas aprendidas agrega os tokens fundidos, permitindo que o modelo pondere adaptativamente regiões esparsas onde os artefatos de morfagem estão presentes.
• Função de Perda (Loss Function): O treinamento utiliza uma combinação de:
  • Perda de classificação binária (BCE).
  • Aprendizado de Instância Múltipla (MIL) esparsa.
  • RCA (Residual-Contrastive Alignment): Uma perda de alinhamento contrastivo que regulariza a relação entre os tokens fundidos e os tokens originais do backbone congelado, forçando a separação entre amostras legítimas e morfadas.

3. Principais Contribuições

1. Integração Condicional de Resíduos: Demonstração de que usar estatísticas de resíduos Laplacianos como sinal de condicionamento explícito para um backbone ViT congelado melhora significativamente a generalização em técnicas de morfagem não vistas.
2. Módulo R-FLoRA: Introdução de um mecanismo de adaptação leve onde atualizações de baixo rank são moduladas por um portão escalar derivado de estatísticas globais, permitindo controle dependente do conteúdo sem re-treinar o backbone.
3. Fusão Res-FiLM: Um mecanismo eficiente de fusão que alinha estatísticas locais de resíduos com tokens globais, preservando a estrutura semântica.
4. Alinhamento Contrastivo (RCA): Uma nova função de perda que melhora a robustez em cenários de mudança de domínio (domain shift).
5. Avaliação Abrangente: Testes extensivos em quatro conjuntos de dados conformes com a ICAO, cobrindo sete técnicas distintas de geração de morfagem.

4. Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados (derivados de FERET, FRGC, FRILL e MS40) contendo imagens reais e morfadas geradas por métodos baseados em landmarks e modelos generativos (incluindo Diffusion Models).

• Protocolo de Avaliação: O estudo utilizou um protocolo rigoroso de "dados não vistos" (cross-dataset), onde o modelo é treinado em um conjunto e testado em conjuntos completamente diferentes (ex: Treino em MD#1, Validação em MD#2, Teste em MD#3 e MD#4).
• Desempenho: O R-FLoRA superou consistentemente nove métodos recentes do estado da arte (SOTA), incluindo abordagens baseadas em modelos de difusão, aprendizado few-shot e outros adaptadores de foundation models.
  • No teste MD#3 (treino MD#1), alcançou uma D-EER (Detection Equal Error Rate) de 7,14%, comparado a taxas muito superiores (ex: >12% a >50%) para os concorrentes.
  • No teste MD#4, obteve uma D-EER de 15,31%, mantendo a melhor generalização entre todos os métodos.
• Eficiência: Com o backbone congelado, apenas 2,1% dos parâmetros totais são treináveis (9,3 milhões de parâmetros treináveis). O tempo de inferência é de aproximadamente 13 ms por imagem em GPU, permitindo operação em tempo real.
• Robustez: O modelo demonstrou robustez significativa contra degradações controladas (desfoque gaussiano, ruído aditivo e compressão JPEG) sem necessidade de re-treinamento.

5. Significância e Conclusão

O trabalho R-FLoRA representa um avanço significativo na detecção de ataques de morfagem facial ao combinar a interpretabilidade forense (através de resíduos Laplacianos) com o poder de generalização de modelos foundation.

• Impacto Prático: A eficiência computacional e a capacidade de operar com poucos parâmetros treináveis tornam a solução viável para implantação em sistemas de verificação de identidade e controle de fronteiras em tempo real.
• Generalização: A capacidade de detectar morfagens geradas por técnicas nunca vistas antes (incluindo modelos de difusão modernos) resolve um dos maiores gargalos atuais na segurança biométrica.
• Interpretabilidade: Ao basear-se em estatísticas de resíduos físicas, o modelo oferece uma justificativa mais clara para suas decisões do que caixas-pretas puramente baseadas em aprendizado profundo.

Em suma, o R-FLoRA estabelece um novo padrão para a detecção de morfagem de imagem única, oferecendo uma solução robusta, eficiente e generalizável para proteger sistemas biométricos contra ameaças de identidade sintética.