Resumo Técnico: RouteHijack

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) adotam cada vez mais arquiteturas de Mistura de Especialistas (MoE) para escalar a capacidade de forma eficiente, sua robustez de segurança permanece pouco explorada. Ataques adversariais existentes enfrentam limitações significativas quando aplicados a modelos MoE:

• Jailbreaks baseados em prompts dependem de busca heurística, são frágeis e transferem-se mal.
• Métodos de intervenção no modelo (por exemplo, poda de especialistas, manipulação de logits) exigem acesso privilegiado a pesos ou ativações internas, o que é irrealista em cenários de implantação padrão.
• Ataques baseados em otimização (por exemplo, GCG), embora apenas de entrada, são fundamentalmente inadequados para modelos MoE. Eles são projetados para arquiteturas densas, falhando em levar em conta o mecanismo de roteamento Top-K não diferenciável. Além disso, são centrados na saída, otimizando para prefixos de tokens específicos (por exemplo, "Claro, aqui está") em vez das dinâmicas de roteamento internas que governam o comportamento de segurança. Isso frequentemente leva a otimização instável ou a modelos que inicialmente cumprem, mas subsequentemente recusam.

Atualmente, não existe um ataque baseado em otimização, apenas de entrada, eficaz capaz de contornar mecanismos de segurança em LLMs MoE enquanto mantém a geração coerente.

Metodologia: RouteHijack

Os autores propõem o RouteHijack, um framework adversarial consciente de roteamento que explora a vulnerabilidade estrutural dos modelos MoE: a concentração de comportamentos alinhados à segurança dentro de um pequeno subconjunto especializado de especialistas. O ataque opera sob restrições realistas de apenas entrada no momento da implantação, utilizando um modelo substituto para otimização offline.

O framework consiste em duas etapas principais:

1. Localização de Especialistas Orientada por Resposta

Diferentemente de métodos anteriores que analisam ativações com base em prompts de entrada (o que confunde comportamento de segurança com semântica do prompt), o RouteHijack emprega perfilamento contrastivo orientado por resposta.

• Mecanismo: Para uma consulta maliciosa dada, o modelo gera duas respostas: uma recusa segura ($a_{safe}$) e uma resposta prejudicial complacente ($a_{harm}$). O método compara as frequências de ativação de especialistas entre essas duas respostas, isolando especialistas que estão especificamente ativos durante a recusa versus a geração prejudicial.
• Filtragem Consciente de Utilidade: Para evitar degradar as capacidades gerais do modelo, o método filtra especialistas "polissêmicos" que contribuem tanto para a segurança quanto para a modelagem de linguagem geral. Ele seleciona especialistas críticos para a segurança ($E_{safe}$) e especialistas prejudiciais ($E_{harm}$) com base em sua ativação diferencial, penalizando aqueles com altas frequências de ativação geral.

2. Otimização Consciente de Roteamento (Perda Ternária)

O RouteHijack constrói um sufixo adversarial universal ($x_{adv}$) otimizado para manipular a decisão do roteador no token de fronteira ($t^*$) antes do início da decodificação autoregressiva. A otimização minimiza uma perda ternária ($L_{total}$) composta por três componentes:

• Supressão de Segurança ($L_{suppress}$): Minimiza a probabilidade de roteamento dos especialistas de segurança identificados ($E_{safe}$) para enfraquecer o mecanismo de defesa primário do modelo.
• Promoção Prejudicial Limitada ($L_{promote}$): Maximiza a probabilidade de roteamento de especialistas prejudiciais ($E_{harm}$), mas impõe uma restrição limitada (perda de hinge). Isso impede que o roteador colapse em poucos especialistas, o que causaria degradação semântica, garantindo que o modelo permaneça fluente.
• Improbabilidade de Recusa ($L_{refusal}$): Penaliza a geração de tokens de recusa (por exemplo, "desculpe", "não pode") durante os primeiros passos de decodificação ($W=5$). Isso impede que o modelo retorne a trajetórias de recusa mesmo que o roteamento inicial seja manipulado.

A otimização utiliza uma busca discreta guiada por gradiente (semelhante ao GCG), mas visa as probabilidades contínuas do softmax do roteador antes da truncagem Top-K não diferenciável, permitindo propagação estável do gradiente.

Contribuições Principais

1. Framework RouteHijack: O primeiro ataque baseado em otimização, apenas de entrada, especificamente projetado para LLMs MoE que influencia diretamente a seleção de especialistas por meio de perturbações de entrada.
2. Perfilamento Orientado por Resposta: Um método inovador para isolar especialistas críticos para a segurança e prejudiciais contrastando respostas do modelo em vez de prompts de entrada, fornecendo uma caracterização mais precisa dos mecanismos internos de segurança.
3. Objetivo Consciente de Roteamento: Uma função de perda ternária que controla conjuntamente a ativação de especialistas e as dinâmicas de decodificação em estágio inicial, superando a não diferenciabilidade do roteamento MoE.
4. Validação Empírica: Avaliação abrangente em sete LLMs MoE de última geração (abrangendo variantes de roteamento esparsos, de especialistas compartilhados e agrupados) e três Modelos de Linguagem Visual (VLMs) baseados em MoE.

Resultados Experimentais

• Taxa de Sucesso do Ataque (ASR): O RouteHijack alcança uma ASR média de 69,3% em sete LLMs MoE, com um pico de 89,1%. Isso supera significativamente a melhor linha de base de caixa branca (SAFEx, 33,3%) e ataques padrão baseados em otimização (GCG, 21,9%).
• Preservação de Utilidade: O ataque incorre em uma queda média mínima de utilidade de 1,3% em cinco benchmarks de NLU (CoLA, RTE, WinoGrande, OpenBookQA, ARC-Challenge), demonstrando que a filtragem consciente de utilidade preserva com sucesso as capacidades gerais de linguagem.
• Transferibilidade:
  • Modelos Irmãos: Sufixos otimizados transferem-se zero-shot entre cinco variantes MoE irmãs, elevando a ASR média de 27,7% para 61,2%.
  • Multimodal: O ataque generaliza para VLMs baseados em MoE, aumentando a ASR média de 2,47% para 38,7%, indicando que as vulnerabilidades de roteamento são inerentes à arquitetura MoE, independentemente da modalidade.
• Validação Mecanística: A análise confirma que o ataque altera com sucesso as probabilidades de roteamento no token de fronteira (Taxa de Supressão de Especialista Alvo de -28,75% e Taxa de Promoção Prejudicial Alvo de +28,51%), e essas alterações propagam-se através do processo de geração autoregressiva.

Significado e Alegações

O artigo alega que o RouteHijack expõe uma vulnerabilidade fundamental em arquiteturas de especialistas esparsos: o alinhamento de segurança não é uniformemente distribuído, mas concentrado em um pequeno subconjunto de especialistas. Essa concentração cria uma superfície de ataque localizada que pode ser explorada por meio de manipulação de roteamento.

Os autores argumentam que os métodos atuais de alinhamento de segurança (por exemplo, RLHF, DPO) são insuficientes porque focam em distribuições de saída sem abordar as dinâmicas de roteamento esparsas subjacentes. As descobertas sugerem que:

1. O Roteamento é um Risco Agnóstico à Modalidade: Vulnerabilidades no mecanismo de roteamento afetam tanto modelos de texto quanto de linguagem visual.
2. Ameaça de Caixa Preta: A capacidade de transferir ataques entre modelos irmãos implica que até mesmo modelos MoE proprietários e de caixa preta estão em risco se compartilharem uma espinha dorsal de roteamento com variantes de pesos abertos.
3. Necessidade de Novas Defesas: O artigo conclui que defesas robustas devem ir além do alinhamento no nível de saída para incluir regularização consciente de roteamento durante o treinamento (para distribuir comportamentos de segurança de forma mais ampla) ou auditorias de roteamento no momento da inferência para detectar padrões anômalos de ativação de especialistas.