NutVLM: A Self-Adaptive Defense Framework against Full-Dimension Attacks for Vision Language Models in Autonomous Driving

Resumo Técnico: NutVLM

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) têm revolucionado a condução autónoma (CA), permitindo que os veículos interpretem cenários complexos e raciocinem semanticamente. No entanto, essa integração multimodal expandiu a superfície de ataque, tornando os sistemas vulneráveis a ameaças adversárias de dimensão completa:

• Ataques Locais: Adesivos físicos ou patches em sinais de trânsito que enganam o modelo.
• Ataques Globais: Perturbações imperceptíveis distribuídas por toda a imagem que desalinham o raciocínio multimodal.
• Limitações das Defesas Atuais: Os métodos existentes falham em equilibrar robustez e desempenho em amostras limpas. Muitas abordagens exigem re-treinamento custoso (como Adversarial Training) ou são ineficientes em tempo real, não conseguindo lidar simultaneamente com ataques físicos e digitais globais em plataformas de CA de última geração (como Dolphins, DriveLM).

2. Metodologia: O Framework NutVLM

O NutVLM é um framework de defesa online e autoadaptativo projetado para proteger todo o ciclo de vida de percepção-decisão. A arquitetura integra dois componentes principais que atuam de forma sinérgica:

A. NutNet++ (Sentinela de Detecção e Purificação)

• Função: Atua como um detector unificado que classifica as entradas em três categorias: amostras benignas, ataques locais (patches) e ataques globais (perturbações difusas).
• Mecanismo de Detecção: Utiliza três métricas baseadas em erros de reconstrução:
  1. Magnitude da Anomalia ($M_{anom}$): Identifica a presença de anomalias.
  2. Entropia de Energia ($H_{energy}$): Distingue ruído difuso (global) de energia concentrada (local).
  3. Concentração Local ($C_{local}$): Quantifica a agregação espacial das perturbações.
• Lógica de Decisão (DualGate):
  • Se for detectado um ataque local, o sistema aplica uma máscara de escala de cinza eficiente para purificar a região afetada, preservando o contexto global.
  • Se for detectado um ataque global, o sistema aciona o módulo EAPT.

B. EAPT (Expert-guided Adversarial Prompt Tuning)

• Função: Corrige instruções em tempo real para ataques globais sem re-treinar o modelo completo.
• Mecanismo:
  • Utiliza um modelo CLIP congelado como um "Especialista" para verificar a consistência semântica entre a imagem perturbada e o prompt original.
  • Se a consistência for baixa, o EAPT otimiza um embedding latente através de gradiente para gerar um sufixo corretivo ("driving prompts").
  • Este sufixo é projetado no vocabulário do VLM e adicionado ao prompt original, reorientando a atenção do modelo para características seguras e neutralizando alucinações adversárias.
• Vantagem: Evita o custo computacional de fine-tuning completo, operando apenas na otimização de prompts latentes.

3. Principais Contribuições

1. Framework Unificado: Proposta do NutVLM, o primeiro framework de defesa online que lida simultaneamente com ameaças locais e globais em VLMs para condução autónoma.
2. NutNet++: Introdução de um mecanismo de detecção de três vias (limpo, local, global) que supera as limitações de detectores binários anteriores, permitindo purificação física imediata para patches.
3. EAPT: Desenvolvimento de uma técnica de correção de instruções sem parâmetros (parameter-free) que utiliza otimização latente e projeção discreta para corrigir alinhamentos semânticos comprometidos por ruído global.
4. Validação Abrangente: O sistema foi testado em múltiplos backbones (Dolphins, InstructBlip, LLaVA, MiniGPT-v4) e contra uma variedade de ataques (FGSM, PGD, CADA, AdvCLIP, etc.).

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark Dolphins e em conjuntos de dados específicos (CADA, APRICOT, DAmageNet):

• Desempenho Geral: O NutVLM obteve uma melhoria de 4,89% nas métricas globais (Precisão, Pontuação de Linguagem e Pontuação GPT) em comparação com o baseline sob ataque.
• Robustez contra CADA: No cenário de ataque mais agressivo (Nível 4), o NutVLM manteve uma pontuação final de 41,74% para ataques globais e 53,64% (GPT Score) para ataques locais, superando significativamente as defesas existentes.
• Detecção: O módulo NutNet++ alcançou um F1-score de 73,94% na detecção de ameaças no conjunto de dados CADA, superando o modelo anterior (NutNet) em mais de 20 pontos percentuais.
• Generalização: O framework demonstrou eficácia consistente em diferentes arquiteturas de VLM (LLaVA, InstructBlip, MiniGPT-v4), restaurando o desempenho muitas vezes acima do baseline original não atacado.
• Eficiência: A correção via EAPT introduz latência negligenciável (0,44 FPS vs 0,46 FPS do baseline), tornando-o viável para aplicações em tempo real.

5. Significado e Impacto

O NutVLM representa um avanço crítico na segurança de sistemas de transporte inteligentes. Ao resolver o dilema tradicional entre robustez e desempenho em amostras limpas, e ao oferecer uma solução que não requer re-treinamento massivo do modelo, o framework permite a implantação segura de VLMs avançados em veículos autónomos. A capacidade de distinguir e tratar diferentemente ataques físicos (patches) e digitais (ruído global) oferece uma proteção holística essencial para a segurança viária futura, garantindo que a tomada de decisão do veículo permaneça confiável mesmo sob condições adversárias extremas.