LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

Imagina que estás intentando enseñarle a un robot a detectar una identificación falsa. Le muestras mil fotos de personas reales y mil fotos de personas sosteniendo fotos impresas o reproduciendo videos de rostros en sus teléfonos. El robot se vuelve muy bueno detectando los falsos en esa habitación específica, bajo esa luz específica, con esas cámaras específicas. En el momento en que llevas al robot a una habitación diferente, cambias la iluminación o intercambias la cámara, el robot de repente olvida todo y empieza a adivinar al azar. Esta es la frustrante realidad de la "Detección de Ataques de Presentación de Rostros" (PAD, por sus siglas en inglés). Es una rama de la visión artificial dedicada a mantener seguros los sistemas de reconocimiento facial frente a trucos como fotos, máscaras o videos reproducidos. El gran sueño es construir un detector que funcione en todas partes, sin importar la cámara o la iluminación. Recientemente, los científicos han estado intentando utilizar "Modelos Fundacionales" —cerebros de IA masivos y superinteligentes entrenados con miles de millones de imágenes y textos de internet para resolver esto. La esperanza era que estos cerebros gigantes ya supieran tanto sobre el mundo que pudieran aprender fácilmente a detectar falsificaciones con solo un mínimo de entrenamiento adicional.

Este artículo pone a prueba esa esperanza con un experimento masivo. Los investigadores tomaron 32 tipos diferentes de estos cerebros de IA gigantes (incluyendo los famosos como CLIP y DINO) e intentaron enseñarles a detectar falsificaciones de rostros usando un truco ingenioso y ligero llamado "LoRA". Piensa en LoRA como ponerle un pequeño collar de entrenamiento ajustable a un perro gigante; no vuelves a entrenar a todo el perro, solo ajustas una fracción minúscula de su cerebro (menos del 1%) para que aprenda un nuevo truco. Los resultados fueron una mezcla de un éxito asombroso y una cruda dosis de realidad. Cuando la IA era probada con los mismos datos con los que fue entrenada, se convertía en una superestrella, detectando falsificaciones con una precisión casi perfecta (menos del 2% de error). Sin embargo, cuando los investigadores le pedían a la IA que detectara falsificaciones en un nuevo entorno que no había visto antes, su rendimiento se desplomaba. La tasa de error saltaba entre el 20% y el 43%, lo cual es apenas mejor que lanzar una moneda al aire. El artículo concluye que, si bien LoRA es excelente para pulir un modelo para un trabajo específico, no es suficiente para solucionar el problema más profundo de hacer que la IA funcione a través de diferentes mundos. El "cerebro" del modelo importa más que el tamaño del modelo, y los datos con los que fue entrenado importa aún más.

La historia del robot inteligente y los falsos escurridizos

Sumerjámonos en la aventura. Los científicos comenzaron haciendo una pregunta simple: ¿Es suficiente un poco de entrenamiento adicional (LoRA) para que estos cerebros de IA gigantes sean lo suficientemente robustos como para detectar falsificaciones de rostros en cualquier lugar?

Para averiguarlo, organizaron un torneo masivo. Reunieron 32 diferentes "Codificadores de Visión" —estos son los ojos de la IA, las partes que realmente miran las imágenes. Algunos de estos ojos provenían de modelos entrenados solo con imágenes, mientras que otros eran las "torres de visión" extraídas de enormes "Modelos de Visión y Lenguaje" (VLM), que son cerebros de IA que pueden ver imágenes y leer texto al mismo tiempo. También probaron 9 de estos VLM gigantes en su modo "zero-shot". El "zero-shot" es como entregarle un examen a un estudiante sin dejar que estudie el tema primero; simplemente le preguntas: "¿Es este un rostro real o uno falso?" y ves qué responde.

La sorpresa del Zero-Shot
Primero, probaron el enfoque zero-shot. Le pidieron a los VLM gigantes que detectaran falsificaciones usando un prompt simple, como un profesor haciendo una pregunta. ¿El resultado? La IA estaba completamente perdida. Funcionó con una precisión de aproximadamente el 50%, que es lo mismo que adivinar "cara o cruz" lanzando una moneda. Incluso los modelos más inteligentes y caros con miles de millones de parámetros no pudieron resolverlo sin un entrenamiento específico. Esto le dijo a los investigadores que tener un cerebro inteligente no es suficiente; el cerebro necesita ser ajustado específicamente para la tarea de detectar falsificaciones.

La magia de LoRA (y sus límites)
Después, probaron el método LoRA. Tomaron los ojos congelados de estos 32 modelos y les añadieron esos pequeños collares de entrenamiento ajustables. Los entrenaron en cuatro conjuntos de datos diferentes (colecciones de fotos de rostros tomadas con diferentes cámaras e iluminación).

• La buena noticia: Cuando probaron la IA con el mismo conjunto de datos del que aprendió, fue increíble. La mayoría de los modelos redujeron su tasa de error a menos del 2%. Algunos, como el CLIP ViT-B/32, bajaron hasta el 0.3%. Era como si la IA de repente se hubiera convertido en una maestra detective para esa habitación específica.
• La mala noticia: Cuando movieron la IA a un diferente conjunto de datos (una habitación diferente, una cámara diferente), la magia desapareció. Las tasas de error se dispararon entre el 19.8% y el 42.6%.

Los investigadores se dieron cuenta de que LoRA estaba actuando como un sastre muy bueno. Podía ajustar perfectamente un traje para que le quedara a una persona (un conjunto de datos) ajustando unos pocos botones. Pero no podía hacer que ese mismo traje le quedara a una persona completamente diferente (un conjunto de datos distinto) solo ajustando los botones. El traje seguía teniendo la forma de la primera persona.

El tamaño no importa (mucho)
Una creencia común en la IA es que "más grande es mejor". Los investigadores probaron esto comparando modelos diminutos con modelos masivos. Descubrieron que un modelo relativamente pequeño llamado CLIP ViT-B/32 (con solo 0.09 mil millones de parámetros) en realidad funcionó mejor que algunos modelos masivos con más de 8 mil millones de parámetros. De hecho, el diminuto modelo CLIP fue uno de los mejores detectando falsificaciones a través de diferentes conjuntos de datos, mientras que un modelo enorme llamado InternViT-6B (con 5.54 mil millones de parámetros) fue uno de los peores al cruzar la brecha entre conjuntos de datos.

Esto sugiere que el tipo de entrenamiento que recibió el modelo originalmente importa mucho más que qué tan grande sea. Los modelos entrenados con métodos "contrastivos" (aprender a emparejar imágenes con sus descripciones de texto) o "autodestilación" (aprender a ser consistente consigo mismo) funcionaron mejor que los modelos entrenados solo para rellenar partes faltantes de una imagen.

La "dieta de datos" importa
El equipo también observó cuántos datos comieron los modelos durante su entrenamiento original. Encontraron que comer una dieta de "escala web" (miles de millones de imágenes de internet) era necesario para obtener buenos resultados, pero comer más de eso no ayudaba mucho. Una vez que un modelo había visto suficiente de internet, añadir más datos no lo hacía mejor detectando falsificaciones en nuevos lugares. Era como un estudiante que ha leído todos los libros de la biblioteca; leer unos pocos más no lo convertirá repentinamente en un genio en un tema nuevo y específico.

La pista oculta: El "Cuarto" vs. El "Rostro"
El descubrimiento más fascinante surgió al observar cómo la IA "veía" las imágenes. Los investigadores utilizaron una técnica llamada t-SNE para visualizar los pensamientos internos de la IA. Encontraron que, incluso después del entrenamiento con LoRA, la IA seguía agrupando las fotos basándose en dónde fueron tomadas (el conjunto de datos) en lugar de qué eran (reales o falsas).
Imagina que intentas clasificar una pila de fotos en "Personas Reales" y "Personas Falsas". Pero la IA sigue clasificándolas en "Fotos tomadas en el Laboratorio" y "Fotos tomadas en la Calle". El entrenamiento de LoRA ayudó a la IA a clasificar perfectamente las fotos del "Laboratorio", pero cuando vio una foto de la "Calle", se confundió porque todavía estaba buscando pistas del "Laboratorio". La IA no había aprendido el concepto universal de un "rostro falso"; simplemente había aprendido a reconocer las peculiaridades de la iluminación y la cámara de la sala de entrenamiento.

El veredicto
El artículo concluye que la adaptación de LoRA por sí sola no es suficiente para resolver el problema de la detección de rostros entre diferentes conjuntos de datos. Si bien hace que los modelos sean increíblemente precisos en el entorno en el que fueron entrenados, no logra que sean lo suficientemente robustos para manejar nuevas cámaras, nuevas luces o nuevos métodos de ataque. La "puntuación de generalización" (una nueva métrica que los autores inventaron para medir qué tan bien funciona un modelo en ambos escenarios) mostró que incluso los mejores modelos todavía luchaban por cerrar la brecha.

Los autores sugieren que el problema no es el tamaño del modelo ni la ingeniosidad del truco LoRA. El problema es que los modelos siguen siendo demasiado dependientes del "sabor" específico de los datos con los que fueron entrenados. Para resolver esto verdaderamente, podríamos necesitar cambiar la forma en que entrenamos estos modelos desde cero, quizás enseñándoles a ignorar el "cuarto" y enfocarse solo en el "rostro", o utilizando diferentes estrategias de entrenamiento que obliguen a la IA a aprender reglas universales en lugar de hábitos específicos.

En resumen, hemos construido detectives de IA que son brillantes en su propia comisaría, pero se pierden en cuanto salen por la puerta. El pequeño collar de LoRA ayuda a que caminen un poco mejor, pero no les da un mapa para todo el mundo.