Resumo Técnico: O Alinhamento Defende LLMs de Ataques de Inferência de Propriedades

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são cada vez mais ajustados (fine-tuned) em conjuntos de dados de domínios específicos (ex: saúde, finanças) que contêm propriedades sensíveis ao nível do conjunto de dados, como demografia de pacientes ou prevalência de doenças. Trabalhos recentes demonstraram que adversários podem explorar ataques de inferência de propriedades para extrair essas estatísticas globais de um modelo implantado. Esses ataques operam consultando o modelo e analisando seus outputs gerados para estimar a distribuição subjacente dos dados de treinamento.

As defesas existentes contra a inferência de propriedades limitam-se principalmente a intervenções em tempo de treinamento, como o reamostragem do conjunto de dados para ofuscar atributos sensíveis. Embora eficazes, esses métodos exigem acesso aos dados originais de treinamento e necessitam do retreinamento do modelo. Isso os torna impraticáveis para cenários onde os dados não estão disponíveis, são proprietários ou quando o modelo já está implantado. Além disso, modificar a distribuição de treinamento pode introduzir trade-offs significativos de utilidade.

2. Metodologia

Os autores propõem uma defesa baseada em alinhamento pós-treinamento que molda a distribuição de saída do modelo em direção a uma razão de propriedade alvo prescrita, sem modificar os dados de treinamento subjacentes. Esta abordagem aproveita o pipeline de treinamento único dos LLMs, que inclui uma fase de alinhamento (ex: Aprendizado por Reforço com Feedback Humano, RLHF) ocorrendo após o ajuste fino inicial.

O artigo adapta dois frameworks de RLHF amplamente utilizados para servir como defesas:

A. Otimização de Preferência Direta (DPO)

• Mecanismo: Os autores constroem pares de preferência $(y^+, y^-)$ baseados na razão de propriedade estimada do modelo em relação a uma razão alvo ($r_t$).
• Processo: Para um determinado prompt, o modelo gera múltiplas amostras. Se a razão estimada atual estiver abaixo da razão alvo, as amostras que satisfazem a propriedade são rotuladas como preferidas ($y^+$), e aquelas que não satisfazem a propriedade são rejeitadas ($y^-$). Se a razão estiver acima, os rótulos são invertidos.
• Extensão: O framework é estendido para alinhamento multi-classe ao ponderar os pares de preferência proporcionalmente à magnitude do desvio entre a razão de atributo atual e a razão alvo.

B. Otimização de Política Relativa ao Grupo (GRPO)

• Mecanismo: O GRPO utiliza atualizações on-policy com uma função de vantagem relativa ao grupo.
• Processo: O modelo amostra um grupo de outputs. Uma função de recompensa específica é projetada para direcionar a razão de geração empírica em direção ao alvo.
  • Se a razão atual estiver abaixo do alvo, as amostras que satisfazem a propriedade recebem uma recompensa positiva.
  • Se a razão atual estiver acima do alvo, as amostras que não satisfazem a propriedade recebem uma recompensa positiva.
  • As amostras são excluídas do cálculo da recompensa se a razão já estiver dentro de uma região de tolerância.
• Extensão: Semelhante ao DPO, isso é estendido para configurações multi-classe onde as recompensas são atribuídas com base em se atributos específicos estão sub ou sobre-representados em relação aos seus alvos.

Objetivo da Defesa

O objetivo principal é impor $\hat{r}_{generation}(\tilde{f}) \approx r_t$, onde $\tilde{f}$ é o modelo defendido e $r_t$ é uma razão alvo (ex: um prior público). Os autores argumentam que, ao controlar a estimativa baseada na geração, a defesa também interrompe indiretamente ataques baseados em modelos-sombra (shadow-models) que dependem de características de frequência de palavras, pois alterar a proporção de amostras geradas com uma propriedade específica altera a frequência marginal das palavras-chave associadas.

3. Configuração Experimental

Os autores avaliaram suas defesas contra dois tipos de ataques:

1. Ataques baseados em geração: O adversário consulta o modelo com prompts desenhados e estima a razão de propriedade diretamente dos outputs.
2. Ataques baseados em modelos-sombra: O adversário treina um modelo de regressão em modelos-sombra (treinados com razões de propriedade controladas) usando características de frequência de palavras para prever a razão de propriedade do modelo alvo.

Datasets e Modelos:

• ChatDoctor: Um conjunto de dados de Q&A médica ajustado em LLaMA-1-7B. A propriedade alvo era a proporção de pacientes do sexo feminino.
• MedCalc-Bench: Um conjunto de dados de cálculos médicos ajustado em Qwen-2.5-7B. A propriedade alvo era a presença de termos de cálculo médico específicos (Equações CKD-EPI).
• Configurações: Experimentos foram conduzidos tanto em modo de Pergunta-Resposta (QA) quanto em modo de Chat-Completion (CC).

Baselines:

• Subamostragem (Subsampling): Rebalanceamento dos dados de treinamento via down-sampling (requer retreinamento).
• Escalonamento de Temperatura (Temperature Scaling): Ajuste da temperatura de decodificação (controle em tempo de inferência).
• Sem Defesa (No Defense): O modelo ajustado padrão.

4. Resultados Principais

Os experimentos demonstram que as defesas baseadas em alinhamento mitigam efetivamente os ataques de inferência de propriedades enquanto mantêm uma forte utilidade do modelo.

• Mitigação de Ataques: Tanto o DPO quanto o GRPO aumentaram significativamente o Erro Médio Absoluto (MAE) para ataques baseados em geração e modelos-sombra em comparação com a baseline "Sem Defesa". Em muitos casos, o erro do ataque aproximou-se ou excedeu a baseline de "Palpite Aleatório", indicando vazamento mínimo de informação.
• Preservação de Utilidade: Ao contrário da subamostragem, que causou uma queda relativa de utilidade (ex: acurácia) de mais de 15% no MedCalc, os métodos baseados em alinhamento (DPO e GRPO) preservaram o desempenho do modelo, mantendo a acurácia próxima ao modelo ajustado sem defesa.
• Alinhamento de Alvo: Os resultados da Tabela 2 mostram que o GRPO e o DPO alcançaram o menor MAE entre a razão gerada e a razão alvo ($r_t$). O GRPO alcançou consistentemente o melhor alinhamento, provavelmente devido às suas atualizações on-policy que permitem o ajuste iterativo baseado no comportamento de geração atual.
• Desempenho Multi-classe: Em configurações de múltiplos atributos (ex: inferir proporções de transtornos mentais vs. digestivos), as defesas ajustaram com sucesso múltiplas razões de atributos simultaneamente em direção aos seus alvos, com o grau de ajuste escalando com o desvio inicial do alvo.

5. Significância e Alegações

O artigo afirma que o alinhamento é uma abordagem eficaz de pós-treinamento para mitigar ataques de inferência de propriedades em LLMs. Sua significância reside em:

1. Independência de Dados: Não requer acesso aos dados de treinamento originais, tornando-o aplicável a modelos já implantados.
2. Trade-off Utilidade-Confidencialidade: Alcança um forte equilíbrio, escondendo efetivamente as estatísticas do nível do conjunto de dados sem degradar o desempenho da tarefa primária do modelo.
3. Praticidade: Os métodos utilizam frameworks de RLHF já existentes e amplamente adotados (DPO e GRPO), facilitando sua implementação na prática.

Os autores concluem que, enquanto as defesas existentes dependem da modificação da distribuição de treinamento, o alinhamento oferece um mecanismo distinto para controlar o comportamento do modelo no tempo de inferência, fornecendo uma defesa robusta contra ataques de sombra baseados em geração e em frequência de palavras.