VerifiableFL: Verifiable Claims for Federated Learning using Exclaves

Resumo Técnico: VerifiableFL

1. O Problema

No Aprendizado Federado (FL), múltiplos provedores de dados treinam um modelo de machine learning colaborativamente sem compartilhar seus dados brutos. Embora isso preserve a privacidade dos dados, cria um desafio crítico de verificabilidade:

• Falta de Prova: Não há como verificar se os provedores de dados seguiram o protocolo de treinamento acordado (ex: se aplicaram sanitização de dados, se usaram o algoritmo correto ou se não omitiram etapas para reduzir custos).
• Limitações das Soluções Atuais (TEEs): Sistemas anteriores utilizaram Ambientes de Execução Confiáveis (TEEs), como Intel SGX ou AMD SEV-SNP, que garantem tanto confidencialidade quanto integridade. No entanto:
  1. Atestação Estática: As provas de atestação das TEEs são geradas no momento da implantação (estáticas) e não capturam o comportamento em tempo de execução (runtime). Um provedor malicioso pode iniciar o código correto e, em seguida, desviar do protocolo (ex: pular a sanitização de dados) sem que a atestação estática detecte.
  2. Vulnerabilidade à Confidencialidade: As TEEs dependem da confidencialidade da memória para proteger as chaves de atestação. Ataques de canal lateral (side-channel) podem comprometer essa confidencialidade, permitindo que um adversário roube as chaves e forje provas de integridade.

O objetivo é criar um sistema que permita afirmações verificáveis sobre o modelo treinado (ex: "o modelo foi treinado apenas com dados sanitizados") sem depender da confidencialidade do ambiente de execução.

2. Metodologia e Abordagem

Os autores propõem o VerifiableFL, um sistema que utiliza uma nova abstração chamada Exclave para gerar provas de integridade em tempo de execução.

• Exclaves (Ambientes de Execução Apenas de Integridade):

  • Diferente das TEEs, as Exclaves não garantem confidencialidade (o operador do sistema pode ver os dados), mas garantem integridade absoluta.
  • Elas são implementadas com modificações mínimas em hardware existente (como AMD SEV-SNP).
  • A chave de assinatura para atestação é mantida exclusivamente por um coprocessor de segurança (ex: PSP da AMD) e nunca é acessível pelo software, tornando-as imunes a ataques de vazamento de dados via canais laterais.
  • O código dentro da Exclave pode solicitar ao hardware a geração de um relatório de atestação que inclui dados de runtime.

• Registros de Dados de Exclave (EDRs - Exclave Data Records):

  • Para cada transformação de dados realizada durante o treinamento (ex: treinamento local, adição de ruído de privacidade diferencial, agregação), a Exclave gera um EDR.
  • Um EDR é uma prova assinada que vincula criptograficamente:
    1. O código executado (hash do código).
    2. As entradas de dados (hash das entradas).
    3. As saídas de dados (hash das saídas).

• Grafo de Fluxo de Dados de Exclave (EDG - Exclave Dataflow Graph):

  • Todos os EDRs coletados ao longo das rodadas de treinamento são usados para construir um grafo acíclico dirigido (EDG).
  • As arestas do grafo conectam as saídas de uma tarefa às entradas da próxima tarefa, verificando se os hashes correspondem.
  • Um auditor (terceiro confiável) analisa o EDG para verificar se o fluxo de dados e o código executado correspondem às afirmações feitas sobre o modelo.

3. Contribuições Principais

1. Abstração de Exclave: Introdução de um novo modelo de segurança focado apenas em integridade, eliminando a necessidade de confidencialidade para atestação, o que mitiga riscos de ataques de canal lateral.
2. Sistema VerifiableFL: Implementação de um sistema completo de FL que executa tarefas dentro de Exclaves e gera EDRs para todas as transformações de dados.
3. Mecanismo de Auditoria: Definição de um algoritmo para construir e verificar o EDG, permitindo detectar desvios como:
   • Código de treinamento alterado.
   • Dados modificados em trânsito.
   • Omissão de etapas de privacidade (DP) ou sanitização.
   • Uso de conjuntos de dados não conformes.
4. Implementação Prática: Extensão do framework NVFlare (da NVIDIA) para suportar Exclaves. Como a modificação de firmware necessária para Exclaves puras ainda não está disponível comercialmente, os autores implementaram uma variante em AMD SEV-SNP usando um vTPM (Trusted Platform Module Virtual) para emular a funcionalidade de atestação sem segredos de software, mantendo características de desempenho similares.

4. Resultados e Avaliação

Os autores avaliaram o VerifiableFL em um ambiente de nuvem (Azure) com modelos de linguagem (GPT-2, DistilGPT2), NLP (BERT, MobileBERT) e classificação de imagens (LeNet, VGG9).

• Overhead de Desempenho:
  • O VerifiableFL introduz um overhead de menos de 12% no tempo de treinamento total em comparação com um FL não protegido.
  • Para modelos maiores (GPT-2, BERT, VGG9), o overhead foi inferior a 10%.
  • O overhead é composto principalmente pela serialização/desserialização de modelos entre as Exclaves e pela geração de atestações em tempo de execução.
• Escalabilidade: O sistema escala linearmente com o aumento do número de clientes e GPUs, mantendo a eficiência.
• Custo de Auditoria: A verificação das afirmações por um auditor é extremamente leve. Para 100 clientes e 1.000 rodadas, a verificação de assinaturas e construção do grafo leva apenas 19 segundos, com um custo de armazenamento de apenas 162 MB.
• Armazenamento Seguro: O uso de discos protegidos por integridade (dm-verity) reduziu a vazão de leitura em 62% devido à verificação de hashes, mas isso é aceitável dado o ganho de segurança.

5. Significado e Impacto

O trabalho do VerifiableFL é significativo porque:

• Resolve o Dilema de Confidencialidade vs. Integridade: Demonstra que é possível obter garantias fortes de integridade para FL sem depender da confidencialidade das TEEs, contornando assim as vulnerabilidades de canais laterais que afetam os sistemas atuais.
• Atende a Requisitos Regulatórios: Facilita a conformidade com regulamentações como o AI Act da UE, que exige transparência sobre a origem dos dados, métodos de curadoria e processamento de modelos de IA.
• Viabilidade Prática: Mostra que a verificação de modelos treinados de forma federada é tecnicamente viável com um custo de desempenho baixo, permitindo que provedores de modelos e reguladores verifitem afirmações sobre a "honestidade" do treinamento sem precisar confiar cegamente nos participantes.

Em suma, o VerifiableFL transforma a confiança baseada em reputação em confiança baseada em prova criptográfica para o aprendizado federado.