LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

Imagine que você está tentando ensinar um robô a identificar um documento de identidade falso. Você mostra a ele mil fotos de pessoas reais e mil fotos de pessoas segurando fotos impressas ou reproduzindo vídeos de rostos em seus celulares. O robô torna-se muito bom em detectar os falsos naquela sala específica, sob aquela luz específica, com aquelas câmeras específicas. No momento em que você leva o robô para uma sala diferente, muda a iluminação ou troca a câmera, o robô subitamente esquece tudo o que aprendeu e começa a adivinhar aleatoriamente. Esta é a realidade frustrante da "Detecção de Ataque de Apresentação de Face" (PAD - Face Presentation Attack Detection). É um ramo da visão computacional dedicado a manter os sistemas de reconhecimento facial seguros contra truques como fotos, máscaras ou vídeos reproduzidos. O grande sonho é construir um detector que funcione em qualquer lugar, não importa a câmera ou a iluminação. Recentemente, cientistas têm tentado usar "Modelos de Fundação" — cérebros de IA massivos e superinteligentes treinados em bilhões de imagens e textos da internet — para resolver isso. A esperança era que esses cérebros gigantes já conhecessem tanto o mundo que poderiam facilmente aprender a detectar falsificações com apenas um pouquinho de treinamento extra.

Este artigo coloca essa esperança à prova com um experimento massivo. Os pesquisadores pegaram 32 tipos diferentes desses cérebros de IA gigantes (incluindo modelos famosos como CLIP e DINO) e tentaram ensinar a eles a detectar falsificações de rostos usando um truque inteligente e leve chamado "LoRA". Pense no LoRA como colocar uma pequena coleira de treinamento ajustável em um cachorro gigante; você não treina o cachorro inteiro novamente, você apenas ajusta uma fração minúscula do céreço dele (menos de 1%) para aprender um novo truque. Os resultados foram uma mistura de sucesso incrível e um choque de realidade. Quando a IA era testada nos mesmos dados em que foi treinada, ela se tornava uma superestrela, detectando falsificações com precisão quase perfeita (menos de 2% de erro). No entanto, quando os pesquisadores pediam à IA para detectar falsificações em um novo ambiente que ela não tinha visto antes, o desempenho desabava. A taxa de erro saltava para entre 20% e 43%, o que é mal melhor do que jogar uma moeda para o alto. O artigo conclui que, embora o LoRA seja ótimo para polir um modelo para um trabalho específico, ele não é suficiente para resolver o problema mais profundo de fazer a IA funcionar em diferentes mundos. O "cérebro" do modelo importa mais do que o tamanho do modelo, e os dados nos quais ele foi treinado importam ainda mais.

A História do Robô Inteligente e dos Falsos Espertalhões

Vamos mergulhar na aventura. Os cientistas começaram fazendo uma pergunta simples: Será que um pouco de treinamento extra (LoRA) é suficiente para tornar esses cérebros de IA gigantes robustos o suficiente para detectar falsificações de rostos em qualquer lugar?

Para descobrir, eles organizaram um torneio massivo. Eles reuniram 32 diferentes "Codificadores de Visão" — estes são os olhos da IA, as partes que realmente olham para as imagens. Alguns desses olhos vinham de modelos treinados apenas em imagens, enquanto outros eram as "torres de visão" extraídas de enormes "Modelos de Visão-Linguagem" (VLMs), que são cérebros de IA que podem ver imagens e ler texto ao mesmo tempo. Eles também testaram 9 desses VLMs gigantes em seu modo "zero-shot". Zero-shot é como entregar uma prova a um aluno sem deixá-lo estudar o assunto primeiro; você apenas pergunta: "Isto é um rosto real ou falso?" e vê o que ele diz.

A Surpresa do Zero-Shot
Primeiro, eles tentaram a abordagem zero-shot. Eles pediram aos VLMs gigantes para detectar falsificações usando um comando simples, como um professor fazendo uma pergunta. O resultado? A IA estava completamente perdida. Ela teve cerca de 50% de precisão, o que é o mesmo que adivinhar "cara ou coroa" jogando uma moeda. Mesmo os modelos mais inteligentes e caros, com bilhões de parâmetros, não conseguiram entender sem um treinamento específico. Isso disse aos pesquisadores que ter um cérebro inteligente não é o suficiente; o cérebro precisa ser especificamente ajustado para a tarefa de detectar falsificações.

A Magia do LoRA (e seus Limites)
Em seguida, eles tentaram o método LoRA. Eles pegaram os olhos congelados desses 32 modelos e adicionaram essas pequenas coleiras de treinamento ajustáveis. Eles os treinaram em quatro conjuntos de dados diferentes (coleções de fotos de rostos tiradas com diferentes câmeras e iluminações).

• A Boa Notícia: Quando testaram a IA no mesmo conjunto de dados do qual ela aprendeu, foi incrível. A maioria dos modelos reduziu sua taxa de erro para menos de 2%. Alguns, como o CLIP ViT-B/32, chegaram a tão baixo quanto 0,3%. Era como se a IA tivesse subitamente se tornado uma mestre detetive para aquele quarto específico.
• A Má Notícia: Quando moveram a IA para um diferente conjunto de dados (um quarto diferente, uma câmera diferente), a magia desapareceu. As taxas de erro dispararam para entre 19,8% e 42,6%.

Os pesquisadores perceberam que o LoRA estava agindo como um alfaiate muito bom. Ele podia ajustar perfeitamente um terno para caber em uma pessoa (um conjunto de dados) ajustando alguns botões. Mas ele não conseguia fazer esse terto caber em uma pessoa completamente diferente (um conjunto de dados diferente) apenas ajustando os botões. O terno ainda tinha o formato da primeira pessoa.

Tamanho Não Importa (Muito)
Uma crença comum na IA é que "maior é melhor". Os pesquisadores testaram isso comparando modelos pequenos com modelos massivos. Eles descobriram que um modelo relativamente pequeno chamado CLIP ViT-B/32 (com apenas 0,09 bilhão de parâmetros) na verdade teve um desempenho melhor do que alguns modelos massivos com mais de 8 bilhões de parâmetros. Na verdade, o pequeno modelo CLIP foi um dos melhores em detectar falsificações em diferentes conjuntos de dados, enquanto um modelo enorme chamado InternViT-6B (com 5,54 bilhões de parâmetros) foi um dos piores em atravessar o abismo entre os conjuntos de dados.

Isso sugere que o tipo de treinamento que o modelo recebeu originalmente importa muito mais do que o quão grande ele é. Modelos treinados com métodos "contrastivos" (aprender a combinar imagens com suas descrições de texto) ou "autodestilação" (aprender a ser consistente consigo mesmo) funcionaram melhor do que modelos treinados apenas para preencher partes faltantes de uma imagem.

A "Dieta de Dados" Importa
A equipe também observou quanta comida os modelos comeram durante seu treinamento original. Eles descobriram que comer uma dieta de "escala da web" (bilhões de imagens da internet) era necessário para obter bons resultados, mas comer mais do que isso não ajudava muito. Uma vez que um modelo tinha visto o suficiente da internet, adicionar mais dados não o tornava melhor em detectar falsificações em novos lugares. Era como um estudante que leu todos os livros da biblioteca; ler mais alguns não o tornará subitamente um gênio em um novo assunto específico.

A Pista Escondida: O "Quarto" vs. O "Rosto"
A descoberta mais fascinante veio de observar como a IA "via" as imagens. Os pesquisadores usaram uma técnica chamada t-SNE para visualizar os pensamentos internos da IA. Eles descobriram que, mesmo após o treinamento LoRA, a IA ainda agrupava as fotos com base em onde elas foram tiradas (o conjunto de dados) em vez de o que elas eram (real ou falso).
Imagine que você está tentando separar uma pilha de fotos em "Pessoas Reais" e "Pessoas Falsas". Mas a IA continua separando-as em "Fotos tiradas no Laboratório" e "Fotos tiradas na Rua". O treinamento LoRA ajudou a IA a separar as fotos do "Laboratório" perfeitamente, mas quando ela viu uma foto da "Rua", ela ficou confusa porque ainda estava procurando por pistas do "Laboratório". A IA não havia aprendido o conceito universal de um "rosto falso"; ela apenas aprendeu a reconhecer as peculiaridades de iluminação e de câmera do quarto de treinamento.

O Veredito
O artigo conclui que a adaptação LoRA sozinha não é suficiente para resolver o problema da detecção de faces em cross-dataset. Embora torne os modelos incrivelmente precisos no ambiente em que foram treinados, falha em torná-los robustos o suficiente para lidar com novas câmeras, novas luzes ou novos métodos de ataque. A "pontuação de generalização" (uma nova métrica que os autores inventaram para medir o quão bem um modelo funciona em ambos os cenários) mostrou que mesmo os melhores modelos ainda estavam lutando para atravessar o abismo.

Os autores sugerem que o problema não é o tamanho do modelo ou a inteligência do truque LoRA. O problema é que os modelos ainda são muito dependentes do "sabor" específico dos dados com os quais foram treinados. Para resolver isso verdadeiramente, podemos precisar mudar a forma como treinamos esses modelos desde o início, talvez ensinando-os a ignorar o "quarto" e focar apenas no "rosto", ou usando diferentes estratégias de treinamento que forcem a IA a aprender regras universais em vez de hábitos específicos.

Em resumo, construímos detetives de IA que são brilhantes em sua própria delegacia, mas se perdem no momento em que dão um passo para fora da porta. A pequena coleira LoRA ajuda eles a caminharem um pouco melhor, mas não lhes dá um mapa para o mundo inteiro.