Generalist Multimodal LLMs Gain Biometric Expertise via Human Salience

Resumo Técnico: Detecção de Ataques de Apresentação em Íris via MLLMs e Saliência Humana

1. Problema e Motivação

A Detecção de Ataques de Apresentação (PAD) em biometria de íris é crucial para a segurança, mas o desenvolvimento de modelos especializados enfrenta barreiras significativas:

• Coleta de Dados: É impossível coletar dados representando todos os futuros tipos de ataques desconhecidos. Coletar dados diversificados é caro e eticamente complexo.
• Privacidade: Dados biométricos são informações de identificação pessoal (PII) sujeitas a regulamentações estritas (como IRB). Isso impede o envio de dados para serviços de nuvem pública de Grandes Modelos de Linguagem Multimodal (MLLMs) comerciais (ex: ChatGPT, Claude), limitando o uso de soluções de ponta.
• Adaptabilidade: A evolução rápida de vetores de ataque (especialmente com IA generativa) exige sistemas que se adaptem rapidamente sem retreinamento completo.

O objetivo deste trabalho é investigar se MLLMs de propósito geral, quando operando sob restrições de privacidade (localmente ou com acordos institucionais), podem realizar a tarefa de PAD de íris ao serem aumentados com conhecimento de especialistas humanos (saliência).

2. Metodologia

2.1. Arquitetura e Modelos
Os autores testaram dois modelos MLLM sob restrições de privacidade rigorosas:

• Gemini 2.5 Pro: Acessado via acordo bilateral institucional com o Google (garantia de segurança de dados).
• Llama 3.2-Vision (90B): Hospedado localmente em infraestrutura da universidade.

2.2. Conjunto de Dados

• Um conjunto de teste restrito de 224 imagens de íris cobrindo 7 tipos de ataques (ex: lentes de contato texturizadas, impressões, olhos artificiais, pós-morte, sintéticos) e íris vivas.
• Saliência Humana: Coletada de 70 não especialistas e 8 especialistas, que descreveram verbalmente os indicadores de ataque ou normalidade das imagens.
• MESH (Machine-Expanded Saliency from Human): Uma técnica inovadora onde os MLLMs expandem as descrições humanas brutas em descrições de imagem completas e robustas, integrando observações de especialistas e não especialistas.

2.3. Design Experimental e Engenharia de Prompt
Os autores realizaram 16 experimentos combinando dois modelos com quatro estratégias de prompting:

1. Zero-shot (Prompt Curto/Longo): Apenas a imagem e uma pergunta binária ("É uma íris real/saudável ou sintética/doente?").
2. Few-shot com Saliência Humana: Inclusão de transcrições verbais de humanos como exemplos no contexto.
3. Few-shot com MESH: Inclusão das descrições expandidas geradas por LLM (Llama MESH ou Gemini MESH) como exemplos.
4. Variação de Prompt:
   • Curto: Pergunta direta.
   • Longo: Prompt estruturado com papel de especialista, framework de análise (textura, reflexos, artefatos) e formato de saída específico.

2.4. Métricas
Utilizou-se a Taxa de Erro Quadrático Médio (MSE) baseada em um limiar fixo de 0.5, comparando os resultados com:

• Uma linha de base de CNN especializada (DenseNet-121) treinada com mapas de saliência humana.
• Desempenho de examinadores humanos (baseado em estudo anterior).

3. Contribuições Principais

1. Viabilidade de MLLMs em Ambientes Privados: Demonstra que MLLMs podem superar CNNs especializadas e até humanos em tarefas de PAD de íris, mesmo sem acesso a dados de treinamento específicos para essa tarefa, desde que operem em ambientes controlados (local ou com acordos de segurança).
2. Saliência Humana como Guia de Prompt: Estabelece que injetar descrições verbais humanas (saliência) nos prompts dos MLLMs resolve ambiguidades que os embeddings visuais sozinhos não conseguem distinguir.
3. Geração de MESH: Introduz o conceito de expandir descrições humanas limitadas em descrições completas de imagem via LLM, criando um sinal de saliência mais rico para o modelo.
4. Análise de Clustering Inerente: Mostrou, via visualização UMAP, que os vision transformers pré-treinados em MLLMs já agrupam naturalmente tipos de ataques de íris, mesmo sem treinamento específico, mas que a sobreposição de classes requer orientação semântica (prompts) para ser resolvida.

4. Resultados Chave

• RQ1 (Desempenho Base): Com prompts ingênuos (curtos), os MLLMs performaram pior que a CNN e os humanos, embora o Gemini tenha detectado alguns tipos de ataque inerentemente.
• RQ2 (Prompt Estruturado): O uso de um prompt longo e estruturado melhorou drasticamente o desempenho do Gemini, fazendo-o igualar o desempenho humano (MSE 0.062 vs 0.062) e superar a CNN (MSE 0.345). O Llama não teve melhoria significativa apenas com o prompt longo.
• RQ3 (Saliência Humana): A adição de descrições humanas aos prompts melhorou ambos os modelos.
  • O Gemini com prompt longo + saliência humana foi o melhor modelo geral, superando os examinadores humanos (MSE 0.053 vs 0.062) e a CNN em todas as categorias de ataque, exceto íris doentes e normais.
  • O Llama também superou a CNN com saliência humana, mas não superou os humanos.
• RQ4 (MESH): A inclusão de MESH melhorou o desempenho em relação à CNN, mas não superou a saliência humana bruta no caso do Gemini. Curiosamente, o MESH gerado pelo Gemini com prompts curtos superou a saliência humana bruta, sugerindo que o modelo consegue expandir a descrição humana para seu próprio benefício quando o prompt base é fraco.
• Observações:
  • O Gemini tende a produzir valores de confiança bimodais (0 ou 1), enquanto o Llama expressa mais incerteza (valores intermediários).
  • Prompts muito longos com MESH podem levar ao overfitting (classificar tudo como ataque), possivelmente devido à degradação da atenção visual em cadeias de texto longas.

5. Significado e Conclusão

O trabalho demonstra que MLLMs generalistas não precisam ser retreinados para tarefas biométricas de nicho se forem guiados corretamente. A combinação de:

1. Engenharia de Prompt (estrutura de especialista);
2. Saliência Humana (conhecimento de domínio verbal);
3. Restrições de Privacidade (processamento local ou seguro);

...cria um caminho viável para a implementação de PAD de íris em cenários onde a privacidade impede o uso de soluções em nuvem padrão. A conclusão é que, com a engenharia de prompt adequada, um MLLM "pronto para uso" (off-the-shelf) pode superar tanto sistemas CNN especializados quanto especialistas humanos na detecção de ataques de apresentação em íris.

O artigo também disponibiliza um novo conjunto de dados de descrições verbais humanas para o benchmark de PAD de íris, facilitando pesquisas futuras.