R-FLoRA: Residual-Statistic-Gated Low-Rank Adaptation for Single-Image Face Morphing Attack Detection

1. Problema: Detección de Ataques de Morfado en Imágenes Únicas (S-MAD)

Los sistemas de reconocimiento facial (FRS) utilizados en control fronterizo y verificación de identidad digital son vulnerables a los ataques de morfado facial. Estos ataques consisten en combinar digitalmente las imágenes de dos o más individuos para crear una nueva identidad visualmente plausible que engañe tanto a operadores humanos como a algoritmos automáticos.

El desafío principal abordado en este trabajo es la Detección de Ataques de Morfado en Imágenes Únicas (S-MAD). A diferencia de la detección diferencial (D-MAD), que compara una imagen en vivo con una referencia (ej. chip de pasaporte), la S-MAD debe operar únicamente sobre una imagen presentada, sin contexto de referencia. Esto es crítico en escenarios de inscripción o control fronterizo donde no se dispone de una imagen de referencia confiable. La detección es difícil debido a la falta de información contextual, la diversidad de métodos de generación de morfados y la necesidad de generalizar a técnicas de ataque nunca antes vistas.

2. Metodología Propuesta: R-FLoRA

El artículo propone un nuevo marco de trabajo que integra estadísticas de residuos de Laplaciano con representaciones de un transformador de visión (ViT) de base congelada (Foundation Model), específicamente CLIP ViT-L/14. La arquitectura se compone de seis componentes funcionales clave:

• Backbone Congelado (ViT): Se utiliza un modelo de visión transformador preentrenado (CLIP) cuyos parámetros permanecen congelados durante el entrenamiento. Esto preserva el rico contexto semántico aprendido y evita el sobreajuste, permitiendo que el modelo se centre en las adaptaciones específicas para la detección de fraudes.
• Extracción de Residuos de Laplaciano: Se genera un mapa de residuos basado en Laplaciano a partir de la imagen de entrada (escala de grises suavizada). Este mapa resalta las artefactos de alta frecuencia y las inconsistencias estructurales sutiles introducidas por los procesos de mezcla (blending) típicos del morfado.
  • Se calculan descriptores por parche (media, varianza y energía de los residuos).
• R-FLoRA (Adaptadores de Baja Rango con Puerta Estadística de Residuos):
  • Es el núcleo de la adaptación. Se inyectan adaptadores de baja rango (LoRA) en las proyecciones de Consulta (Q) y Valor (V) de las últimas $k$ capas del transformador.
  • Mecanismo de Puerta: A diferencia de los LoRA estáticos, estos adaptadores son modulados por una puerta escalar ($g$) derivada de las estadísticas globales de los residuos de Laplaciano. Esto permite que el modelo adapte dinámicamente su atención basándose en la presencia de artefactos de morfado específicos de cada muestra.
• Fusión Res-FiLM (Residual Feature-wise Linear Modulation):
  • Una red MLP compartida fusiona los descriptores de residuos a nivel de parche con los tokens del backbone.
  • Aplica modulación lineal (escalar y desplazar) a los tokens, inyectando evidencia forense local en la representación global sin alterar la estructura semántica.
• Agrupamiento por Atención Cruzada (Cross-Attention Pooling):
  • En lugar de un promedio simple, se utiliza un cabezal de atención cruzada con consultas aprendidas para agrupar los tokens fusionados. Esto permite al modelo ponderar adaptativamente los parches que contienen evidencia de morfado, que suelen ser espacialmente dispersos.
• Función de Pérdida (Objetivo de Entrenamiento):
  • Combina pérdida de clasificación binaria (BCE) con una nueva Pérdida de Alineación Contraste-Residual (RCA). La RCA regulariza la relación entre los tokens fusionados y los tokens originales del backbone congelado, forzando la alineación para muestras legítimas (bona fide) y la separación para morfados.

3. Contribuciones Clave

1. Integración de Residuos Condicionados: Demostración de que el uso de estadísticas de residuos de Laplaciano como señal de condicionamiento explícita para un ViT congelado mejora significativamente la generalización a técnicas de morfado no vistas.
2. Módulo R-FLoRA: Introducción de un mecanismo de adaptación ligero donde las actualizaciones de baja rango están controladas por una puerta derivada de estadísticas globales, permitiendo una modulación dependiente del contenido.
3. Fusión Res-FiLM: Propuesta de una red de modulación compartida para fusionar estadísticas de residuos locales con tokens de fondo de manera eficiente en parámetros.
4. Alineación Contraste-Residual (RCA): Formulación de una nueva función de pérdida que mejora la robustez ante cambios de dominio al regular la consistencia del espacio de tokens.
5. Eficiencia y Escalabilidad: El modelo mantiene el backbone congelado, entrenando solo una fracción mínima de parámetros (~2.1% del total), lo que permite inferencia en tiempo real y bajo consumo computacional.

4. Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos ICAO-compliant (derivados de FERET, FRGC, FRILL y MS40) que incluyen siete técnicas de generación de morfados (desde métodos basados en hitos hasta modelos de difusión avanzados).

• Protocolo de Evaluación: Se utilizó un protocolo estricto de generalización cruzada entre conjuntos de datos (entrenar en un dataset, validar en otro, y probar en datasets totalmente no vistos).
• Comparativa: El método propuesto superó consistentemente a nueve métodos del estado del arte (SOTA), incluyendo enfoques basados en difusión, aprendizaje few-shot, modelos de fundación (como MADation) y arquitecturas de distilación.
• Métricas Clave:
  • En la prueba cruzada (Entrenamiento MD#1, Validación MD#2, Prueba MD#3), R-FLoRA logró una Tasa de Error Igual de Detección (D-EER) de 7.14%, superando significativamente a los competidores (el siguiente mejor fue ~12.74%).
  • En la prueba en MD#4, logró un D-EER de 15.31%, manteniendo tasas de error de falsos positivos (BSCER) mucho más bajas que los métodos existentes en puntos de operación estrictos.
• Robustez: El modelo demostró una gran robustez ante degradaciones controladas (desenfoque gaussiano, ruido y compresión JPEG) sin necesidad de reentrenamiento, manteniendo un rendimiento estable incluso en condiciones de baja calidad.

5. Significado e Impacto

Este trabajo representa un avance significativo en la seguridad biométrica por varias razones:

• Generalización Realista: Aborda el problema crítico de la detección de morfados en condiciones operativas reales, donde los atacantes utilizan técnicas desconocidas y los datos de prueba difieren de los de entrenamiento.
• Eficiencia Computacional: Al utilizar un backbone congelado y adaptadores ligeros, el método es viable para su despliegue en sistemas de control fronterizo en tiempo real, evitando el costo computacional de entrenar modelos masivos desde cero.
• Interpretabilidad Forense: La integración de estadísticas de residuos de Laplaciano proporciona una conexión interpretable entre las señales forenses de baja nivel (artefactos de mezcla) y las representaciones semánticas de alto nivel, facilitando la explicación de las decisiones del modelo.
• Marco Unificado: Establece un nuevo paradigma que combina la potencia de los modelos fundacionales (Foundation Models) con técnicas forenses tradicionales de análisis de residuos, superando las limitaciones de los enfoques puramente basados en aprendizaje profundo o puramente basados en residuos.

En conclusión, R-FLoRA ofrece una solución robusta, eficiente y generalizable para la detección de ataques de morfado en imágenes únicas, mejorando la seguridad de los sistemas de verificación de identidad digital y control fronterizo.