Simple Yet Effective: Extracting Private Data Across Clients in Federated Fine-Tuning of Large Language Models

Título: Simples, mas Eficaz: Extração de Dados Privados entre Clientes no Ajuste Fino Federado de Grandes Modelos de Linguagem

1. O Problema

Os Grandes Modelos de Linguagem Federados (FedLLMs) permitem treinamento colaborativo entre instituições (como hospitais, bancos e tribunais) mantendo os dados locais, o que é crucial para a privacidade. No entanto, os LLMs têm a tendência de memorizar e reproduzir fragmentos de seus dados de treinamento, incluindo Informações Pessoalmente Identificáveis (PII).

O artigo investiga uma ameaça específica de extração de dados entre clientes em cenários de cross-silo (entre organizações distintas). Diferente de ataques tradicionais que assumem que o atacante tem acesso total aos dados de treinamento ou é um servidor malicioso, este trabalho considera um modelo de ameaça semi-honesto: um participante que segue o protocolo de aprendizado federado, mas utiliza seus próprios dados locais como "prefixos contextuais" para tentar inferir e recuperar PII memorizada nos dados de outros clientes (vítimas) a partir do modelo global agregado.

2. Metodologia

Os autores propõem três estratégias de extração simples, mas eficazes, que não dependem de ataques baseados em gradientes ou inferência de membros:

1. Amostragem de Prefixo Contextual de PII: O atacante constrói prompts usando sequências de palavras que precedem imediatamente as PII em seus próprios dados locais. Ao enviar esses prefixos ao modelo global, tenta-se elicitar a continuação que contém a PII da vítima.
2. Amostragem com Prioridade de Frequência (FP): Baseia-se na hipótese de que prefixos que ocorrem frequentemente antes de PII capturam associações mais fortes. O método seleciona e prioriza os prefixos mais frequentes para melhorar a eficiência da extração.
3. Ajuste Fino de Associação Latente (LAFt): O atacante realiza um ajuste fino local no modelo global utilizando pares de (prefixo frequente, PII conhecida) de seus próprios dados. Isso fortalece as associações latentes no modelo, melhorando sua capacidade de gerar PII de outras fontes quando acionado pelos prefixos corretos.

Conjunto de Dados e Avaliação:

• Foi construído um novo benchmark no domínio legal chinês, anotado com PII de granularidade fina, alinhado com padrões como CPIS (China), GDPR (UE) e CCPA (EUA).
• As métricas de avaliação são:
  • Taxa de Cobertura (Coverage Rate - CR): A proporção de PII exclusiva da vítima que foi recuperada com sucesso.
  • Eficiência (Efficiency - EF): A quantidade de PII recuperada por consulta (orçamento de consultas limitado).

3. Contribuições Principais

1. Novas Estratégias de Ataque: Proposição de três métodos de extração independentes de gradientes, focados em cenários realistas de cross-silo com atacantes semi-honestos.
2. Descoberta de Vulnerabilidades: Demonstração de que FedLLMs são vulneráveis à extração de dados de outras instituições, mesmo sem acesso direto aos dados brutos ou aos gradientes.
3. Novo Benchmark: Criação de um conjunto de dados legal chinês anotado com PII seguindo regulamentações internacionais, preenchendo uma lacuna na pesquisa de privacidade em aprendizado federado.
4. Análise de Trade-off: Identificação da relação entre cobertura e eficiência, mostrando que aumentar o orçamento de consultas traz retornos decrescentes.

4. Resultados Experimentais

Os experimentos foram realizados em vários modelos (Qwen, Baichuan, GLM, Llama) em um cenário federado com 5 clientes (1 atacante, 4 vítimas):

• Alta Taxa de Sucesso: Os métodos propostos conseguiram recuperar até 56,6% das PII exclusivas da vítima (especificamente com a estratégia de prefixos contextuais generalizados).
• Tipos Vulneráveis: Nomes, endereços e datas de nascimento foram as categorias mais vulneráveis.
• Eficácia das Estratégias:
  • A amostragem contextual básica já alcançou taxas de cobertura significativas (ex: ~23-30% dependendo do modelo).
  • O LAFt melhorou a cobertura em cerca de 5,37% no modelo Qwen1-8B e aumentou a diversidade de PII extraídas.
  • A Amostragem com Prioridade de Frequência (FP) revelou que prefixos frequentes capturam um subconjunto de PII complementar ao método contextual padrão, embora não superem a cobertura total do conjunto completo de prefixos.
• Robustez: A extração funcionou consistentemente entre diferentes pares de atacante-vítima, indicando generalização do ataque.
• Defesas Limitadas: A simples mascaramento (substituição por asteriscos) dos dados de treinamento teve efeito limitado, pois o modelo ainda recuperou PII devido à contaminação por dados de pré-treinamento (o modelo já conhecia os dados antes do ajuste fino federado) e à anotação incompleta de PII.

5. Significado e Conclusão

Este trabalho expõe uma lacuna crítica de privacidade nos FedLLMs: a colaboração federada não garante, por si só, que dados de uma instituição permaneçam invisíveis para outras. Mesmo em um cenário onde os dados nunca saem das instalações locais, o modelo global agregado pode memorizar e vazar informações sensíveis de clientes específicos quando interrogado com o contexto correto.

Os resultados sugerem que as defesas atuais (como mascaramento simples) são insuficientes contra ataques de extração baseados em contexto. O artigo estabelece a necessidade urgente de desenvolver mecanismos de privacidade mais robustos (como privacidade diferencial aprimorada ou técnicas de esquecimento de máquina) para FedLLMs, especialmente em domínios sensíveis como saúde, finanças e direito. O código e os dados estão disponíveis publicamente para fomentar pesquisas futuras sobre defesa e mitigação.