AttestLLM: Efficient Attestation Framework for Billion-scale On-device LLMs

Título: AttestLLM: Framework de Attestação Eficiente para LLMs em Dispositivos de Escala Bilionária

1. Problema e Motivação

A implementação de Grandes Modelos de Linguagem (LLMs) diretamente em dispositivos de borda (on-device) oferece vantagens cruciais, como baixa latência e privacidade aprimorada. No entanto, essa arquitetura introduz um desafio de segurança crítico: a proteção da Propriedade Intelectual (PI) de nível de hardware dos fornecedores.

• Ameaça: Terceiros não confiáveis na cadeia de suprimentos (ex.: revendedores) podem acessar o dispositivo e substituir os LLMs otimizados pelo fornecedor por modelos não autorizados, ilegais ou maliciosos.
• Consequência: Isso viola a PI do hardware, degrada o desempenho do dispositivo e prejudica a confiança do usuário.
• Limitação das Soluções Existentes: Técnicas de attestation (atestação) anteriores, como o DeepAttest, foram projetadas para redes neurais menores (milhões de parâmetros) e ambientes como Intel SGX. Elas falham em escalar para LLMs de bilhões de parâmetros em dispositivos móveis baseados em ARM devido a:
  1. Restrições de Hardware: Memória segura limitada (ex.: 10–32 MB no Arm TrustZone), insuficiente para carregar parâmetros e ativações de LLMs grandes.
  2. Ineficiência: A verificação de marca d'água existente é computacionalmente pesada, degradando o throughput de inferência.

2. Metodologia: AttestLLM

O AttestLLM é o primeiro framework de atestação que utiliza uma abordagem de co-design de algoritmo/software/hardware para proteger LLMs em dispositivos de borda. O sistema opera em duas fases principais:

A. Marcação D'água Offline (Offline Watermarking)

O objetivo é embutir assinaturas robustas e específicas do dispositivo no LLM sem degradar sua qualidade.

• Análise de Sensibilidade: O framework perfila o modelo para identificar quais camadas do Transformer são mais sensíveis a alterações. Camadas com grandes magnitudes de ativação (mais salientes) recebem menos bits de marca d'água, enquanto camadas menos sensíveis recebem mais, preservando a utilidade do modelo.
• Inserção Baseada em Otimização:
  • Utiliza um algoritmo de otimização para codificar a marca d'água nos dados de ativação (não apenas nos pesos).
  • Abordagem de Duas Etapas:
    1. Pré-quantização: Otimização baseada em gradiente em precisão completa para aproximar a assinatura alvo.
    2. Pós-quantização: Otimização de ordem zero (zeroth-order) para ajustar os pesos discretizados (INT4/INT8) após a compressão, garantindo robustez contra a quantização.
• Verificação Independente: Cada camada do LLM possui sua própria marca d'água, permitindo verificação independente camada por camada.

B. Attestação Online com TEE (Trusted Execution Environment)

A verificação ocorre dentro de um ambiente seguro (TEE) no dispositivo, enquanto a inferência ocorre no ambiente de execução rico (REE).

• Expansão de Memória Segura: Utiliza uma enclave baseada em virtualização (pKVM) para superar as limitações de memória do TrustZone, permitindo o processamento de partes do modelo.
• Fluxo de Trabalho:
  1. Amostragem Dinâmica: O TEE solicita periodicamente a atestação de um subconjunto aleatório de camadas do LLM (ex.: $k$ camadas de um total de $|M|$).
  2. Cópia Segura: As camadas amostradas são copiadas de forma segura do REE para o TEE via virtio-pmem.
  3. Verificação Paralela: Dentro do TEE, as chaves de marca d'água e os dados de ativação são descriptografados e verificados.
• Otimizações de Eficiência:
  • Pipeline e Paralelismo: A cópia segura e a verificação computacional são sobrepostas (pipelined) para reduzir a latência.
  • Saída Antecipada (Early-exit): Se uma camada falhar na verificação, o processo é abortado imediatamente, evitando cálculos desnecessários.
  • Proteção contra Tampering: O sistema monitora eventos do SO e páginas de memória para detectar substituição de módulos ou injeção de adaptadores (como LoRA) não autorizados.

3. Principais Contribuições

1. Primeiro Framework de Attestação para LLMs em Dispositivos: Protege a PI de hardware garantindo que apenas LLMs autorizados rodem na plataforma.
2. Co-design Escalável: Combina marcação d'água adaptativa (preservando qualidade) e protocolos de atestação eficientes para lidar com modelos de bilhões de parâmetros em hardware restrito (ARM).
3. Robustez e Eficiência: Demonstra resistência contra ataques de falsificação, substituição de modelos e ataques ao sistema TEE, mantendo um overhead mínimo.

4. Resultados Experimentais

Os testes foram realizados em diversos LLMs (Llama3 1B/3B/8B, Qwen3 4B/8B, Phi-4 15B) quantizados para INT4 e INT8, em um dispositivo ARM (Cortex-A76/A55).

• Fidelidade do Modelo (Qualidade):
  • O AttestLLM preserva a qualidade do modelo com degradação mínima.
  • INT4: Redução média de 0,62% na Perplexidade (PPL) e 0,09% na Precisão Zero-shot.
  • INT8: Redução média de 0,07% na PPL e 0,15% na Precisão Zero-shot.
• Confiabilidade da Attestação:
  • Taxa de Extração de Marca D'água (WER): 100% para modelos autorizados.
  • Taxa de Aprovação (APR): 100% para modelos legítimos; 0% para modelos não marcados ou adulterados.
• Eficiência (Overhead):
  • Comparado à abordagem de "TEE-shield" (executar todo o modelo no TEE), o AttestLLM é drasticamente mais eficiente:
    • Latência: 62x menor overhead (média de 8-9% vs. >470%).
    • Energia: 30x menor overhead (média de 7% vs. >87%).
• Resiliência a Ataques:
  • Falsificação: Resistente a ataques onde o adversário tenta forjar a assinatura, devido à criptografia das chaves e ao espaço de busca aleatório da memória.
  • Substituição de Modelo: Detecta com sucesso substituições parciais (ex.: 4 camadas alteradas em 32) e totais. A probabilidade de um adversário escapar da detecção em uma sessão de conversa é extremamente baixa ($< 10^{-3}$).
  • Ataques ao TEE: Mitiga tentativas de desativar a atestação ou enviar apenas partes do modelo para verificação através de timers confiáveis e monitoramento do Hypervisor.

5. Significado e Conclusão

O AttestLLM representa um avanço fundamental na segurança de IA em dispositivos de borda. Ao resolver o dilema entre a limitação de recursos de hardware (memória segura pequena) e a necessidade de proteger modelos massivos, ele permite que fabricantes de hardware e fornecedores de modelos:

1. Protejam seus investimentos em otimização de hardware e modelos.
2. Garantam que os usuários finais executem apenas software seguro e aprovado.
3. Mantenham uma experiência de usuário fluida, com impacto quase imperceptível no desempenho e na bateria.

Este trabalho estabelece um novo padrão para a implementação segura de LLMs em ecossistemas móveis e de IoT, onde a confiança na integridade do modelo é tão crítica quanto a precisão da inferência.