Follow My Eyes: Backdoor Attacks on VLM-based Scanpath Prediction

Título: Follow My Eyes: Ataques de Backdoor em Previsão de Caminhos de Olhar (Scanpath) Baseada em VLM

1. Problema e Contexto

A previsão de scanpath (caminho de olhar) é uma tarefa crucial para sistemas de realidade aumentada (AR), realidade virtual (VR) e renderização foveada em dispositivos móveis. Diferente da estimativa de olhar (que determina onde o usuário está olhando agora), a previsão de scanpath antecipa a sequência temporal e a duração das fixações oculares com base no conteúdo semântico da cena e em uma tarefa de busca (ex: "encontrar um garfo").

Recentemente, modelos baseados em Modelos de Linguagem Visuais (VLMs), como o GazeFormer, tornaram-se o estado da arte para essa tarefa. No entanto, a cadeia de suprimentos desses modelos é vulnerável:

• Os dados de rastreamento ocular são caros, levando ao uso de conjuntos de dados públicos ou pesos pré-treinados de terceiros.
• Um atacante pode envenenar os dados de treinamento ou distribuir um modelo pré-treinado comprometido.

O problema central é que, ao contrário de tarefas de classificação (onde um backdoor redireciona para um rótulo discreto), a previsão de scanpath opera em um espaço de saída contínuo e sequencial. Ataques de backdoor tradicionais, que forçam uma trajetória fixa, criam padrões estatísticos detectáveis (agrupamento/clustering) nesse espaço contínuo, tornando-os fáceis de identificar. O artigo investiga se é possível criar ataques de backdoor mais sofisticados que evitem essa detecção enquanto manipulam o comportamento do sistema.

2. Metodologia e Proposta de Ataque

Os autores propõem a primeira avaliação sistemática de ataques de backdoor em modelos de previsão de scanpath baseados em VLM. Eles demonstram que ataques de "caminho fixo" são detectáveis e, em vez disso, projetam ataques de saída variável que condicionam o comportamento malicioso à imagem de entrada e à consulta de texto.

O estudo utiliza o modelo GazeFormer e o conjunto de dados COCO-Search18. Os ataques são ativados por triggers (gatilhos) em três modalidades: visual (um patch branco), textual (espaço de largura zero ou palavras específicas) e multimodal.

Dois tipos principais de ataques variáveis foram desenvolvidos:

1. Ataque Espacial Consciente da Entrada (Input-Aware Spatial Attack):

   • Objetivo: Redirecionar a busca visual para um objeto "venenoso" (ex: "facas") em vez do objeto solicitado pelo usuário (ex: "garfo").
   • Mecanismo: O atacante gera rótulos de treinamento onde o scanpath é uma busca válida para o objeto venenoso, mas gerada dinamicamente para cada cena usando um modelo de referência limpo.
   • Evasão: Como o caminho de olhar muda dependendo da cena (não é uma trajetória fixa), o ataque evita a detecção por clustering de ativação e mantém a plausibilidade visual.

2. Ataque de Duração do Scanpath (Scanpath Duration Attack):

   • Objetivo: Inflar o tempo de visualização previsto, atrasando a conclusão da tarefa de busca visual.
   • Mecanismo: Existem duas variantes:
     • Inflação de Duração: Adiciona um atraso fixo ($\Delta t$) a cada fixação existente.
     • Injeção de Fixações Extras: Insere novas fixações intermediárias na sequência, aumentando o tempo total sem alterar a localização espacial final.
   • Impacto: Em sistemas de renderização foveada, isso pode atrasar o carregamento de texturas ou interações críticas em AR.

3. Resultados Principais

• Eficácia dos Ataques:

  • Os ataques de caminho fixo foram implantados com sucesso, mas foram facilmente detectados por análise estatística simples (heatmaps de fixação concentrados) e Activation Clustering.
  • Os ataques de saída variável foram altamente eficazes.
    • No ataque espacial, a taxa de acerto na caixa delimitadora (BBox hit ratio) caiu drasticamente em entradas ativadas (ex: de 0.86 para ~0.32), indicando que o modelo estava procurando o objeto errado, mantendo ao mesmo tempo um desempenho limpo alto (>0.78) em entradas normais.
    • No ataque de duração, atrasos significativos foram observados (até +416 ms em gatilhos textuais com 10% de envenenamento), enquanto a precisão espacial permanecia intacta.

• Resiliência a Defesas:

  • Foram avaliadas cinco defesas pós-treinamento: Fine-tuning, Fine-pruning, Neural Attention Distillation (NAD), Contrastive Fine-tuning e SecureGaze.
  • Conclusão Crítica: Nenhuma defesa conseguiu simultaneamente suprimir os ataques e preservar o desempenho do modelo limpo em todas as configurações.
    • Fine-pruning removeu o ataque, mas degradou severamente a utilidade do modelo limpo.
    • Fine-tuning e Contrastive Learning foram inconsistentes, falhando em certos gatilhos ou piorando o desempenho.
    • SecureGaze (baseado em engenharia reversa) falhou em detectar os ataques devido à natureza multimodal e variável das saídas.

• Viabilidade em Dispositivos Móveis (Edge):

  • Os modelos comprometidos foram quantizados (FP32, FP16, INT8) e implantados em smartphones reais (Samsung Galaxy S24 Ultra e Note 9).
  • A fidelidade do ataque foi preservada (84-90% de similaridade com o servidor), confirmando que os backdoors sobrevivem à quantização e funcionam em hardware de borda, onde não há intervenção de servidor para detecção.

4. Contribuições Chave

1. Primeiro Estudo de Backdoor em Previsão de Scanpath: Preenche uma lacuna na literatura de segurança de IA, focando em saídas contínuas e sequenciais em vez de classificações discretas.
2. Novas Formulações de Ataque: Introduz ataques de saída variável que evitam a detecção por clustering, explorando a natureza multimodal e sequencial dos VLMs.
3. Análise de Defesas: Demonstra que as defesas atuais são inadequadas para este domínio, criando um desafio aberto para a comunidade de segurança.
4. Validação em Edge: Prova que a ameaça é prática e persiste em dispositivos móveis reais, impactando diretamente sistemas de renderização e interação em tempo real.

5. Significado e Impacto

Este trabalho revela uma vulnerabilidade crítica em sistemas de visão computacional que estão se tornando onipresentes em AR/VR e dispositivos móveis. A manipulação de scanpaths não é apenas um erro de precisão, mas uma falha de segurança que pode:

• Comprometer a segurança física: Ao atrasar a detecção de obstáculos ou objetos críticos em interfaces de AR.
• Drenar recursos: Ao forçar a renderização de alta resolução em áreas erradas (devido ao redirecionamento espacial).
• Quebrar a confiança: Ao manipular a intenção do usuário em ambientes colaborativos.

O estudo conclui que a defesa contra backdoors em modelos de saída estruturada e contínua requer novas abordagens, possivelmente focadas na estrutura temporal das previsões ou certificação pré-implantação, já que as defesas pós-treinamento tradicionais são insuficientes.