SafeLM: Unified Privacy-Aware Optimization for Trustworthy Federated Large Language Models

Resumo Técnico: SafeLM

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios de alto risco, mas carecem de uma abordagem unificada para lidar com seus desafios de segurança sobrepostos. Atualmente, as soluções tratam os problemas de forma isolada, o que leva a defesas incompatíveis e interações não claras. O artigo identifica quatro pilares de ameaças interconectados:

1. Privacidade: LLMs podem memorizar dados de treinamento, permitindo extração de dados e inferência de associação. Além disso, o Federated Learning (FL) padrão é vulnerável a ataques de inversão de gradiente (reconstrução dos dados originais a partir dos gradientes transmitidos).
2. Segurança: Adversários podem injetar backdoors (portas dos fundos) durante o ajuste fino ou realizar ataques de injeção de prompts para contornar restrições de segurança.
3. Desinformação: Modelos ajustados a instruções tendem a "alucinar" com confiança, necessitando de mecanismos de fundamentação (grounding) integrados.
4. Robustez Adversarial: Perturbações de entrada podem degradar a confiabilidade do modelo, especialmente sob restrições de latência.

O objetivo é criar um framework que otimize simultaneamente esses quatro objetivos sem comprometer a utilidade do modelo ou a eficiência.

2. Metodologia: O Framework SafeLM

O SafeLM propõe um pipeline unificado de ajuste fino federado que integra quatro módulos co-projetados para abordar os desafios acima:

• A. Motor de Privacidade (Privacy Engine):

  • Smartificação de Gradientes (Gradient Smartification): Em vez de transmitir gradientes de ponto flutuante de 32 bits, o framework aplica uma binarização estatística baseada na mediana. Cada gradiente é comparado à mediana absoluta dos gradientes do cliente local. Se for maior, é codificado como +1, caso contrário, -1. Isso reduz o tamanho do payload em 32x.
  • Criptografia Homomórfica (Paillier): Os gradientes binarizados são criptografados usando o esquema Paillier antes da transmissão. Isso permite que o servidor agregue os gradientes sem nunca ver os valores individuais, garantindo confidencialidade contra o servidor (modelo "honesto, mas curioso").

• B. Módulo de Segurança (Security Module):

  • Filtragem Bizantina: Após a agregação e descriptografia, o servidor aplica um filtro de mediana coordenada. Isso mitiga atualizações envenenadas ou backdoors injetados por até $\lfloor K/5 \rfloor$ clientes maliciosos, garantindo que a atualização global não seja desviada por outliers.

• C. Guarda de Desinformação (Misinformation Guard):

  • Fundamentação Contrastiva com Decodificação Calibrada: Durante a inferência, cada afirmação gerada é avaliada contra um conjunto de evidências recuperadas de uma base de conhecimento. Um classificador de NLI (Inferência de Linguagem Natural) calcula um "Score de Fidelidade". Afirmações com baixa pontuação são rejeitadas ou regeneradas com prompts aumentados por recuperação (RAG), reduzindo alucinações.

• D. Cabeça de Robustez (Robustness Head):

  • Ajuste Fino Adversarial Federado: Durante o treinamento local, os clientes aumentam seus lotes com exemplos adversariais gerados via Descida de Gradiente Projetada (PGD) no espaço de embeddings. O modelo é treinado para minimizar a perda tanto em dados limpos quanto em dados adversariais, melhorando a estabilidade sob perturbações semânticas.

3. Principais Contribuições

1. Framework Unificado: Primeira abordagem a tratar privacidade, segurança, desinformação e robustez adversarial simultaneamente em um único pipeline de FL para LLMs.
2. Smartificação de Gradientes Adaptativa: Propõe um esquema de binarização baseado na mediana (em vez de zero) que se adapta à distribuição de cauda pesada dos gradientes de LLMs, alcançando compressão de 32x com qualidade de reconstrução limitada (PSNR $\le$ 15.1 dB).
3. Proteção de Privacidade Forte: Combina binarização e criptografia Paillier para garantir que gradientes não sejam recuperáveis, mesmo se o servidor for comprometido (garantia IND-CPA).
4. Análise Teórica e Prática: Fornece provas de convergência sob smartificação de gradiente e uma análise abrangente de trade-offs entre privacidade, utilidade e eficiência.

4. Resultados Experimentais

Os experimentos foram realizados em um LLM de 7B parâmetros com LoRA, em cenários federados com até 500 clientes.

• Privacidade:
  • Reduziu a qualidade de reconstrução de gradientes (PSNR) de 31.7 dB (FedAvg sem defesa) para 15.1 dB, tornando os dados recuperados irreconhecíveis.
  • A taxa de recuperação de rótulos caiu de 98.7% para 14.3% (próximo ao acaso aleatório para 7 classes).
• Eficiência de Comunicação:
  • Redução de 96.9% no tráfego de comunicação (de 129.15 GB para 4.05 GB para atingir 98% de precisão), mantendo a convergência quase idêntica ao FedAvg de precisão total.
• Segurança (Backdoors):
  • Com 20% de clientes maliciosos, o SafeLM limitou a taxa de sucesso do ataque backdoor (ASR) a 6.8%, comparado a 91.3% no FedAvg padrão.
• Desinformação (Alucinações):
  • Redução de 41% na taxa de alucinação no conjunto de dados TruthfulQA (de 34.7% para 20.5%), mantendo a precisão de recuperação de informações (ROUGE-L) acima de 97%.
• Robustez Adversarial:
  • No benchmark AdvGLUE, o SafeLM reduziu a degradação de precisão (de limpo para adversarial) para apenas 9.6 pontos percentuais, superando outras abordagens de treinamento adversarial.

5. Significado e Impacto

O SafeLM demonstra que é possível construir LLMs federados que são simultaneamente privados, seguros, factuais e robustos, desafiando a noção de que essas propriedades exigem compromissos severos entre si.

• Sinergia: Os componentes não são apenas aditivos, mas sinérgicos; por exemplo, a smartificação de gradientes ajuda tanto na compressão quanto na privacidade, e o treinamento adversarial reduz a taxa de alucinação ao regularizar o modelo contra mudanças de distribuição.
• Aplicabilidade Regulatória: O framework oferece uma base técnica para atender a requisitos regulatórios rigorosos (como o EU AI Act) que exigem demonstração simultânea de conformidade de privacidade e certificação de robustez.
• Viabilidade Operacional: A redução drástica na largura de banda torna a implantação de LLMs seguros em ambientes com recursos limitados (como dispositivos móveis ou borda) viável economicamente.

Em suma, o SafeLM estabelece um novo padrão para a implantação confiável de LLMs em cenários de alto risco, provando que a segurança unificada é alcançável sem sacrificar o desempenho.