BitHydra: Towards Bit-flip Inference Cost Attack against Large Language Models

Título: BitHydra: Rumo a Ataques de Custo de Inferência por Inversão de Bits contra Grandes Modelos de Linguagem (LLMs)

1. O Problema: Vulnerabilidade de Custo de Inferência

Os Grandes Modelos de Linguagem (LLMs) são amplamente implantados em plataformas de serviços em nuvem (MLaaS), onde o custo de inferência é calculado com base no número de tokens gerados (saída). Ataques anteriores de "custo de inferência" focavam na criação de entradas maliciosas (prompts adversariais) para forçar o modelo a gerar respostas excessivamente longas.

No entanto, esses métodos possuem limitações críticas:

1. Custo para o Atacante: O atacante paga pelos tokens de entrada e saída gerados, tornando o ataque economicamente inviável em grande escala.
2. Não Persistência: O ataque afeta apenas a sessão do usuário que enviou o prompt malicioso.
3. Detecção: Prompts anômalos podem ser facilmente filtrados.

O artigo propõe um novo paradigma: o Ataque de Custo de Inferência por Inversão de Bits (BICA - Bit-Flip Inference Cost Attack). Em vez de manipular a entrada, o atacante manipula diretamente os pesos do modelo no nível de hardware (memória DRAM), utilizando falhas do tipo Rowhammer. O objetivo é fazer com que o modelo gere respostas infinitas para qualquer usuário, de forma persistente e sem que o atacante pague pelo custo de geração.

2. Metodologia: O Framework BitHydra

O principal desafio é identificar quais bits específicos, se invertidos, maximizariam o custo de computação (gerando sequências longas) sem quebrar a coerência do modelo ou causar erros numéricos catastróficos (como NaN).

O BitHydra aborda isso através de um framework de otimização rigoroso:

A. Formulação do Problema

O ataque é formulado como um problema de Programação Inteira Binária (BIP) com restrições:

• Objetivo: Minimizar a probabilidade do token de fim de sequência (<EOS>), forçando o modelo a não parar de gerar.
• Restrição: O número de bits invertidos deve ser mínimo (orçamento $k$) para manter o ataque discreto e eficiente.
• Foco: A otimização é restrita apenas aos pesos de incorporação de saída (output embedding) correspondentes ao token <EOS>. Isso reduz drasticamente o espaço de busca e preserva a qualidade da geração para outros tokens.

B. Relaxação Contínua via ADMM

Como o espaço de busca binário é combinatório e intratável (NP-difícil), o BitHydra utiliza uma técnica de relaxação:

1. Relaxação: O problema discreto é transformado em um problema de otimização contínua.
2. Método ADMM: Utiliza-se o Alternating Direction Method of Multipliers (ADMM) baseado no framework $\ell_p$-Box. Isso permite resolver o problema relaxado iterativamente, alternando entre:
   • Otimização Contínua: Encontrar uma direção de gradiente ótima para suprimir a probabilidade do <EOS>.
   • Seleção Discreta: Mapear os resultados contínuos de volta para bits binários, selecionando o bit mais crítico para inverter permanentemente.
3. Função de Perda ($L_{<EOS>}$): Uma função de perda personalizada que penaliza a probabilidade de terminação da sequência ao longo de todo o processo de decodificação.

C. Fluxo de Trabalho Iterativo

O processo é repetido para cada bit a ser invertido (dentro do orçamento):

1. Inicializa os pesos atuais.
2. Resolve o problema relaxado via ADMM para obter pesos proxy contínuos.
3. Calcula a pontuação de sensibilidade para os bits candidatos.
4. Inverte o bit mais eficaz empiricamente.
5. Atualiza os pesos e repete até esgotar o orçamento de bits.

3. Contribuições Principais

1. Novo Paradigma de Ataque: Introdução do BICA, que ataca parâmetros do modelo em vez de entradas, permitindo danos persistentes e em escala global (afetando todos os usuários).
2. Framework BitHydra: Desenvolvimento de uma metodologia baseada em otimização (BIP + ADMM) para identificar bits críticos de forma eficiente, evitando buscas exaustivas.
3. Eficiência e Furtividade: Demonstração de que é possível causar falhas catastróficas de custo (geração infinita) com apenas 1 a 4 inversões de bits, mantendo a coerência linguística do texto gerado.
4. Análise de Transferibilidade: Prova de que os bits identificados em um pequeno conjunto de prompts de busca funcionam em uma vasta gama de prompts não vistos, indicando uma mudança sistêmica na dinâmica de geração do modelo.

4. Resultados Experimentais

Os autores avaliaram o BitHydra em 10 LLMs de diferentes famílias (Llama 3, Qwen, Mistral, DeepSeek, Vicuna, etc.), variando de 1.5B a 16B de parâmetros.

• Eficácia: Com apenas 1 a 4 inversões de bits, o BitHydra fez com que 90% a 100% dos prompts de avaliação atingissem o limite máximo de geração (ex: 2048 tokens).
  • Exemplo: No Llama-3-8B, apenas 1 bit invertido foi suficiente para atingir 100% de taxa de sucesso (MaxRate) e gerar 2048 tokens.
• Comparação com Baselines: O método superou significativamente ataques baseados em prompts (como Engorgio, Sponge Examples) e outros métodos de inversão de bits adaptados (como Prisonbreaker), que frequentemente resultavam em texto sem sentido ou falhas de modelo.
• Qualidade de Saída: Ao contrário de ataques que corrompem todo o modelo, o BitHydra mantém o texto gerado gramaticalmente correto e coerente, apenas tornando-o excessivamente longo e repetitivo (ex: loops de fechamento, listas infinitas).
• Resistência a Defesas: O ataque manteve alta eficácia mesmo após tentativas de defesa, como fine-tuning (LoRA) para perturbar os bits críticos ou reconstrução de pesos.

5. Significado e Impacto

• Ameaça Subexplorada: O trabalho revela uma superfície de ataque crítica e negligenciada: a integridade dos pesos do modelo em ambientes de computação compartilhada (MLaaS).
• Risco Econômico e Operacional: Um ataque bem-sucedido pode inviabilizar economicamente um serviço de IA, gerando custos de computação massivos para o provedor e latência inaceitável para os usuários, sem que o atacante pague nada.
• Implicações de Segurança: A descoberta de que a injeção de falhas de hardware pode ser usada para manipular o comportamento de geração (e não apenas para degradar a precisão) exige novas estratégias de defesa, como monitoramento de integridade de pesos e arquiteturas de memória resistentes a Rowhammer.
• Vazamento de Informações: O artigo observa que a geração prolongada pode inadvertidamente revelar prompts de sistema internos ou metadados confidenciais, criando um novo vetor de vazamento de dados.

Em resumo, o BitHydra demonstra que a segurança de LLMs não pode depender apenas da proteção de dados de entrada, mas deve incluir a integridade física e lógica dos parâmetros do modelo, especialmente em ambientes de nuvem compartilhada.