Resumo Técnico: Semantic Router: Sobre a Viabilidade de Sequestro de MLLMs via uma Única Perturbação Adversária

1. Definição do Problema: Sequestro Semântico-Consciente

Este artigo investiga uma nova ameaça aos Modelos de Linguagem de Grande Escala Multimodais (MLLMs) denominada Sequestro Semântico-Consciente (Semantic-Aware Hijacking). Embora os MLLMs sejam cada vez mais implantados em sistemas sem estado (ex: direção autônoma, robótica) onde processam quadros individuais sem reter o contexto histórico, este trabalho explora a viabilidade de comprometer uma sequência dessas decisões atômicas usando uma única perturbação adversária universal.

Diferente das Perturbações Adversárias Universais (UAPs) tradicionais que mapeiam diversos inputs para um único alvo, ou do ruído não direcionado que degrada o desempenho de forma geral, a ameaça proposta envolve uma Perturbação Universal Semântico-Consciente (SAUP). Uma SAUP atua como um "roteador semântico", percebendo ativamente a semântica visual de um quadro de entrada e roteando-o para um alvo distinto definido pelo atacante com base apenas no conteúdo desse input. Por exemplo, em um cenário de direção autônoma, uma única perturbação poderia forçar o modelo a emitir "virar à direita" ao detectar um cruzamento, mas "parar" ao detectar uma rotatória, guiando cumulativamente um agente para um destino malicioso.

O desafio central reside nas restrições geométricas do espaço latente: a perturbação deve simultaneamente afastar todos os inputs de seus manifolds naturais (Desvio Dominante - Dominant Shift) enquanto preserva e amplifica diferenças semânticas sutis para desviá-los em direção a alvos distintos e específicos (Deflexão Semântica - Semantic Deflection).

2. Metodologia: SORT e Estrutura Teórica

Análise Teórica

Os autores formalizam o modelo de ameaça sob um cenário de caixa branca (white-box), analisando as propriedades geométricas do espaço latente do MLLM. Eles decompõem a resposta do codificador de visão a um input perturbado $x + \delta$ em dois componentes via expansão de Taylor de primeira ordem:

1. Desvio Dominante ($\mu_\delta$): A perturbação $\delta$ cria um desvio dominante $\phi(\delta)$, movendo o cluster de entrada para um subespaço adversário onde as fronteiras de decisão são densas.
2. Deflexão Semântica ($\nu_c$): A perturbação utiliza a matriz Jacobiana $J_\delta$ para extrair diferenças semânticas intrínsecas do input $x(c)$, desviando as características em direção a embeddings de alvos substitutos específicos.

Os autores derivam um limite teórico (Teorema 3.4) afirmando que o mapeamento bem-sucedido exige que a capacidade de expansão da perturbação (norma espectral do Jacobiano) exceda a razão entre a distância entre os embeddings dos alvos e a distância entre os embeddings dos inputs. Isso destaca a dificuldade de atacar semânticas de grão fino onde as distâncias entre inputs são pequenas.

O Algoritmo SORT

Para superar esses desafios de otimização, o artigo propõe a estratégia de otimização Semantic-ORienTed (SORT), que consiste em dois componentes principais:

1. Otimização de Espaço Normalizado (NSO): Em vez de otimizar diretamente no espaço de pixels $[0, 1]$, o que leva a gradientes instáveis e mínimos locais, o SORT introduz uma mudança de variáveis para um espaço normalizado e irrestrito. Isso estabiliza o panorama de otimização e garante passos consistentes.
2. Otimização de Separação Semântica (SSO): Para maximizar explicitamente o poder de deflexão, os autores introduzem uma perda baseada em margem ($L_{Margin}$) junto com a perda de entropia cruzada padrão. Esta função de perda força as características perturbadas de diferentes classes semânticas a se separarem no espaço de saída, garantindo que se alinhem com seus respectivos embeddings de alvos substitutos em vez de colapsarem em um único cluster.

Dataset: RIST

Para avaliar o sequestro semântico de grão fino, os autores introduzem o RIST (Real Image Sequence Trajectories). Diferente dos benchmarks de classificação padrão, o RIST consiste em quadros sequenciais de vídeos contínuos (cenários de AutoDriving e RoboTasking). Ele apresenta categorias semânticas de grão fino (ex: tipos específicos de cruzamentos ou estados de manipulação robótica) onde os inputs dentro de uma categoria são visualmente semelhantes, mas requerem ações distintas e conscientes do contexto.

3. Resultados Principais

Os autores realizaram experimentos extensivos em três MLLMs representativos: LLaVA-1.5, Qwen2.5-VL e InternVL3, através de dois datasets (ImageNet para semântica de grão grosso e RIST para semântica de grão fino).

• Viabilidade de Roteamento Semântico: Os experimentos demonstram que uma única SAUP pode sequestrar com sucesso múltiplas decisões sem estado. No modelo Qwen, uma única perturbação alcançou uma Taxa de Sucesso de Ataque (ASR) de 66% em cinco alvos distintos usando um único quadro.
• Controle de Grão Fino: No dataset RIST, as SAUPs alcançaram uma ASR média de 72% no cenário RoboTasking (2 alvos) e 62% no cenário AutoDriving (5 alvos), provando a capacidade de distinguir variações semânticas sutis (ex: diferentes condições de estrada) para disparar comandos específicos como "acelerar" ou "esterçar".
• Geração de Texto Longo: O ataque se estende ao controle da geração de textos longos. Com 2 alvos, as SAUPs mantiveram uma ASR de 83% mesmo quando os alvos consistiam em 10 palavras. Com 5 alvos, alcançaram uma ASR de 54% para alvos de 4 palavras.
• Capacidade de Informação: O estudo identifica um limite de "capacidade de informação". À medida que o número de alvos aumenta, a ASR declina, particularmente para perturbações com restrições espaciais limitadas (ex: patches de canto vs. quadros completos). A restrição de Quadro (7.056 pixels) manteve taxas de sucesso mais altas do que a restrição de Canto (1.600 pixels) conforme o número de alvos crescia, sugerindo um gargalo na codificação de múltiplas fronteiras de decisão dentro de um orçamento de pixels limitado.
• Estudos de Ablação: A remoção do NSO causou uma queda catastrófica no desempenho (queda média de 49,5% na ASR), confirmando sua necessidade para a estabilidade da otimização. A remoção do SSO resultou em menor desempenho em cenários de múltiplos alvos, destacando seu papel na separação de clusters semânticos.

4. Significância e Alegações

O artigo afirma demonstrar a viabilidade fundamental de sequestrar decisões de MLLMs sem estado via uma única perturbação que atua como um roteador semântico. A significância deste trabalho reside em:

• Novo Modelo de Ameaça: Ele vai além da simples classificação errônea ou do sequestro de alvo único para um ataque universal "muitos-para-muitos", onde uma única perturbação roteia dinamicamente os inputs para diferentes alvos maliciosos com base no contexto visual.
• Insight Geométrico: Fornece uma compreensão teórica e empírica dos mecanismos de "Desvio Dominante" e "Deflexão Semântica" no espaço latente, oferecendo um framework principista para entender como perturbações universais podem codificar mapeamentos complexos.
• Implicações no Mundo Real: Embora o estudo seja conduzido em um ambiente digital de caixa branca, os autores argumentam que esta vulnerabilidade apresenta riscos reais para agentes sem estado em direção autônoma e robótica. Eles sugerem que um atacante poderia embutir uma SAUP projetada em um anúncio web ou ambiente visual para coagir um agente a uma cadeia de decisões maliciosas (ex: fazer upload de dados privados seguido pela execução de um comando "enviar").

Os autores mantêm uma postura modesta quanto à implantação física, reconhecendo que a robustez a fatores físicos (iluminação, desfoque de movimento) e configurações de caixa preta permanece um desafio significativo que requer pesquisas futuras. No entanto, eles postulam que a viabilidade digital demonstrada serve como um ponto de partida crítico para entender e mitigar o sequestro semântico em ambientes de agentes complexos.