CPG-PAD: Concept-Informed Prompts Guided Presentation Attack Detection

Resumen Técnico: CPG-PAD: Detección de Ataques de Presentación Guiada por Prompts Informados de Conceptos

Declaración del Problema
La Detección de Ataques de Presentación (PAD, por sus siglas en inglés) es fundamental para asegurar los sistemas de reconocimiento facial contra intentos de suplantación, tales como fotografías impresas, videos reproducidos y máscaras 3D. Aunque los métodos basados en aprendizaje profundo han mostrado resultados prometedores, tienen dificultades para generalizar ante dominios no vistos debido a cambios significativos en sensores, condiciones de iluminación y materiales de ataque. Los enfoques recientes que aprovechan los Modelos de Visión-Lenguaje (VLM), particularmente los marcos basados en CLIP, han mejorado la generalización utilizando conocimiento multimodal. Sin embargo, los métodos de PAD similares a CLIP dependen típicamente de prompts textuales diseñados por humanos (por ejemplo, "una foto de un rostro real") optimizados bajo supervisión de etiquetas de clase. Los autores argumentan que estos prompts de nivel humano no logran alinearse explícitamente con la semántica visual de grano fino y relevante para el ataque (como distorsiones geométricas sutiles o discrepancias de reflexión de iluminación) y a menudo se sobreajustan a artefactos específicos del dominio en lugar de capturar claves de ataque transferibles.

Metodología
El artículo propone CPG-PAD (Detección de Ataques de Presentación Guiada por Prompts Informados de Conceptos), un marco que integra la guía de conceptos a nivel de modelo en el proceso de aprendizaje de prompts. El método consta de dos etapas primarias:

1. Mejora de Conceptos Visuales (VCE - Visual Concept-driven Enhancement):

   • Este módulo opera sobre un modelo CLIP preentrenado sin requerir actualizaciones de parámetros.
   • Descubrimiento de Conceptos: Utilizando la Factorización de Matrices Semi-Negativa (Semi-NMF) sobre los mapas de activación de un subconjunto de datos de dominio, el sistema descubre automáticamente conceptos visuales relevantes para PAD (por ejemplo, "pliegue de papel", "agujeros cortados", "ojos ambiguos") directamente desde el espacio de características.
   • Generación de Mapas de Calor: Estos conceptos descubiertos se utilizan para generar mapas de calor de características de grano fino ($H_{gt}$) para todo el conjunto de datos. Estos mapas de calor sirven como señales de guía localizadas y asociadas a conceptos que resaltan claves visuales específicas relevantes para la detección de ataques, extendiéndose más allá de la comprensión de nivel humano.

2. Inyección de Conceptos Basada en Prompts (PCI - Prompt-based Concept Injection):

   • Esta etapa aprende múltiples prompts informados de conceptos alineando los prompts textuales con los conceptos visuales descubiertos por VCE.
   • Prompts Aprendibles: El marco utiliza embeddings de prompts aprendibles concatenados con descripciones de texto de clase fijas (por ejemplo, "Una foto de un rostro falso").
   • Decodificador de Prompt Visual (VPD - Visual-Prompt Decoder): Un nuevo módulo de decodificación, que incorpora la Atención de Múltiples Cabezales (MSA) y un mecanismo propuesto de Atención Dual de Múltiples Cabezales (MDA), facilita la interacción entre las características del prompt y los tokens de la imagen.
   • Pérdida de Mapeo de Conceptos: El VPD decodifica los prompts en mapas de calor predichos ($H_{dec}$). Se aplica una pérdida de mapeo de conceptos ($L_M$) para minimizar el error entre $H_{dec}$ y los mapas de calor de conceptos de verdad de campo ($H_{gt}$) mediante el emparejamiento húngaro. Esto obliga a los prompts aprendibles a alinearse con el espacio de conceptos interno del modelo, inyectando efectivamente información de conceptos visuales en los prompts de texto.
   • Clasificación: La clasificación final se realiza calculando las puntuaciones de similitud entre las características del prompt aprendido y el token CLS de la imagen de entrada, supervisada tanto por la pérdida de entropía cruzada de clasificación como por la pérdida de mapeo de conceptos.

Contribuciones Clave

• Marco Novedoso: La introducción de CPG-PAD, que mejora la generalización de dominio incorporando conceptos visuales descubiertos mediante técnicas de XAI en VLMs preentrenados en el proceso de aprendizaje de prompts.
• Mecanismos VCE y PCI: El diseño de la Mejora de Conceptos Visuales (VCE) para descubrir automáticamente conceptos relevantes para el ataque y generar mapas de calor de características, y la Inyección de Conceptos Basada en Prompts (PCI) para aprender prompts informados de conceptos a través del Decodificador de Prompt Visual (VPD).
• Desempeño de Vanguardia (State-of-the-Art): La demostración de un desempeño superior de cruce de dominio en nueve conjuntos de datos de referencia bajo protocolos de evaluación de múltiples fuentes, fuentes limitadas y fuente única.

Resultados Experimentales
Los autores evaluaron CPG-PAD en nueve conjuntos de datos (incluyendo MSU-MFSD, CASIA-FASD, OULU-NPU, CelebA-Spoof y SiW-Mv2) a través de cinco protocolos de evaluación (P1–P5).

• Multi-fuente (P1): En el benchmark ICMO, CPG-PAD logró un promedio de Tasa de Error Total de Mitad (HTER) de 2.08%, superando al método anterior basado en CLIP, S-CPTL (3.33%), e incluso a S-CPTL entrenado con datos adicionales (2.89%).
• Fuente Limitada (P2/P3): En escenarios con menos dominios de origen, CPG-PAD alcanzó consistentemente el rendimiento de los dos mejores, reduciendo el HTER promedio a 9.91% (sin datos adicionales) y 6.59% (con aumentación de CelebA-Spoof) en conjuntos de datos CSW.
• Fuente Única (P4): El método logró un HTER promedio de 5.33% (3.36% con aumentación), superando significativamente a otros baselines de fuente única.
• PAI Desconocido (P5): En el conjunto de datos SiW-Mv2 con Instrumentos de Ataque de Presentación (PAI) desconocidos, CPG-PAD redujo el HTER promedio de 3.03% (baseline de CLIP) a 1.02%, mostrando una robustez particular contra la ofuscación, el maquillaje y las máscaras 3D.
• Estudios de Ablación: Los experimentos confirmaron la necesidad de cada componente (Prompts Aprendibles, Pérdida de Mapeo de Conceptos y VPD), el número óptimo de prompts (coincidiendo con el número de conceptos descubiertos, $J=K=15$), y la profundidad óptima del VPD (4 capas).

Significancia
El artículo afirma que CPG-PAD aborda la limitación de los prompts diseñados por humanos en los métodos de PAD basados en CLIP mediante el aprovechamiento de señales a nivel de modelo. Al utilizar XAI para descubrir conceptos visuales y mapas de calor, el marco permite que el modelo aprenda prompts que se alineen con claves de ataque de grano fino y transferibles en lugar de artefactos específicos de un dominio. Este enfoque permite que el modelo capture características generalizables y suprima sesgos específicos del conjunto de datos, lo que conduce a un rendimiento robusto en dominios objetivo no vistos sin depender de sensores adicionales o arquitecturas de razonamiento multimodal complejas (como los Modelos de Lenguaje Grandes). Los resultados sugieren que destilar conceptos visuales de los VLMs preentrenados es una estrategia efectiva para mejorar la generalización de dominio de los sistemas de anti-suplantación facial.