💬 NLP

The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

Este artigo propõe o MIXGUARD, um novo framework baseado em mixup para aprendizado dividido (split learning) preservador de privacidade em Grandes Modelos de Linguagem que equilibra efetivamente utilidade, privacidade e eficiência ao combinar a ofuscação em nível de token e em nível de representação com perturbação de gradiente adaptativa para prevenir ataques de reconstrução de dados enquanto mantém o desempenho do modelo.

Autores originais: Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você queira ensinar um robô brilhante, mas muito caro (um Grande Modelo de Linguagem) a realizar um trabalho específico usando seu diário particular. Você não tem um supercomputador para treinar o robô por conta própria, então envia seu diário para um servidor poderoso para fazer o trabalho pesado.

O Problema:
Em uma configuração padrão, você envia seu diário para o servidor, e o servidor envia de volta "gradientes" (dicas matemáticas sobre como melhorar). O problema é que um servidor curioso (ou um hacker fingindo ser o servidor) pode olhar para essas dicas e para os fragmentos dos seus dados para reconstruir seu diário privado. É como enviar um cartão-postal com sua receita secreta; mesmo que você escreva em código, um observador astuto pode descobrir os ingredientes apenas olhando para as manchas no papel.

Os métodos existentes tentam impedir isso através de:

Adição de Ruído: Como borrar o cartão-postal de forma que o servidor não consiga ler, mas infelizmente, o robô também não consegue aprender com ele.
Criptografia Pesada: Como colocar o cartão-postal dentro de um cofre de aço. Isso é seguro, mas leva uma eternidade para abrir e fechar o cofre, tornando o processo incrivelmente lento e caro.

A Solução: MIXGUARD
Os autores propõem um novo método chamado MIXGUARD. Eles se inspiram na "Mixologia" (a arte de fazer coquetéis). Assim como um bartender mistura diferentes bebidas para esconder o sabor forte de um único ingrediente, o MIXGUARD mistura seus dados privados com outros dados "isca" para esconder seus segredos, mantendo a receita aprendível.

Veja como funciona, passo a passo:

1. O Truque do "Token Secreto" (Ofuscação ao Nível de Token)

Antes de enviar seu texto, o sistema insere secretamente palavras aleatórias e sem sentido (como "banana" ou "nuvem") em suas frases.

Analogia: Imagine que você está enviando uma carta, mas insere aleatoriamente a palavra "abacaxi" em cada frase. Para um espião lendo a carta, a mensagem parece estranha e embaralhada. Mas, como o sistema sabe exatamente onde os "abacaxis" estão, ele pode removê-los facilmente mais tarde.

2. A Mistura de "Coquetel" (Ofuscação ao Nível de Representação)

Em vez de enviar apenas seu texto, o sistema pega seu texto e o mistura matematicamente com vários outros textos aleatórios (iscas) que o servidor não conhece.

Analogia: Imagine que você tem um copo do seu suco privado. Você despeja esse suco em um liquidificador com o suco de outras cinco pessoas. Você envia o smoothie misturado para o servidor. O servidor vê um smoothie, mas não tem ideia de qual parte é o seu suco e qual parte pertence aos outros.
A Magia: O servidor processa esse smoothie e envia de volta uma dica. Seu sistema então usa um "decodificador" especial (que ele construiu previamente) para separar o seu suco do smoothie. Como o sistema conhece a receita da mistura, ele pode recuperar o "sabor" dos seus dados originais perfeitamente, embora o servidor tenha visto apenas a mistura.

3. O Treinador de "Calibragem"

Como misturar as coisas pode, às vezes, distorcer levemente o sabor, o sistema utiliza um modelo "treinador" pequeno e leve.

Analogia: Pense nisso como um provador de sabores. Antes de o robô aprender com o smoothie, o provador verifica o sabor e faz pequenos ajustes para garantir que ele tenha exatamente o gosto do seu suco original. Isso garante que o robô aprenda corretamente sem perder precisão.

4. O Escudo Adaptável (Perturbação de Gradiente)

Quando o robô aprende, ele envia de volta dicas (gradientes). Às vezes, essas dicas ainda podem vazar segredos. O MIXGUARD adiciona um pouco de "estática" a essas dicas, mas apenas quando necessário.

Analogia: Se o provador de sabores notar que o smoothie está muito diferente do seu suco original (significando que os dados são muito únicos), o sistema adiciona um pouco mais de "estática" às dicas enviadas ao servidor. Isso garante que, mesmo que o servidor tente fazer a engenharia reversa das dicas, ele receba apenas ruído, não seus segredos.

O Que Eles Descobriram?

Os autores testaram isso em quatro tipos diferentes de tarefas (como classificar emoções, responder perguntas matemáticas, escrever código e resumir conversas) usando vários tamanhos de modelos de IA.

Privacidade: É muito mais difícil para um servidor reconstruir seus dados privados em comparação com outros métodos. O "smoothie" é tão bem misturado que o servidor não consegue discernir quais eram os ingredientes originais.
Utilidade (Desempenho): Ao contrário de outros métodos que borram tanto os dados que confundem o robô, o MIXGUARD mantém o desempenho do robô quase idêntico ao de se tivesse treinado diretamente com seus dados.
Eficiência: Não exige a criptografia pesada e lenta dos cofres de aço. Ele roda rápido e não atrasa muito o processo de treinamento.

Em resumo: O MIXGUARD é como um serviço de entrega seguro e de alta velocidade que mistura seu pacote privado com pacotes de isca. O receptor (o servidor) pode processar o pacote misturado para ajudá-lo, mas nunca conseguirá descobrir qual parte era a sua. Enquanto isso, você ainda pode desempacotar o resultado perfeitamente para realizar o trabalho.

Resumo Técnico: MIXGUARD – Obfuscação baseada em Mixup para Aprendizado Dividido Preservador de Privacidade em LLMs

Declaração do Problema
Grandes Modelos de Linguagem (LLMs) exigem recursos computacionais significativos, muitas vezes excedendo a capacidade de clientes de borda (edge clients). O Aprendizado Dividido (Split Learning - SL) oferece uma solução ao particionar os modelos entre um cliente (que detém os dados privados) e um servidor (que fornece computação). No entanto, os métodos existentes de SL preservador de privacidade enfrentam um trade-off crítico entre utilidade, privacidade, eficiência e estabilidade.

Degradação da Utilidade: Métodos como a Privacidade Diferencial (DP) frequentemente introduzem ruído que distorce severamente os sinais de treinamento, levando a um desempenho ruim nas tarefas subsequentes.
Privacidade Incompleta: Muitas defesas protegem apenas entradas ou rótulos, ou fases específicas (treinamento vs. inferência), deixando-os vulneráveis a ataques avançados de Reconstrução de Dados (DRAs), tais como SIP (inversão direta), TAG/LAMP (correspondência de gradiente reversa) e BiSR (bidirecional).
Eficiência e Estabilidade: Abordagens criptográficas (ex: Criptografia Homomórfica) incorrem em um overhead proibitivo, enquanto outras defesas leves frequentemente falham em manter um desempenho estável em diversas tarefas, particularmente na geração complexa de texto.

Metodologia: MIXGUARD
O artigo propõe o MIXGUARD, um novo framework que adapta a técnica de aumento de dados mixup para a preservação de privacidade em Split Learning em formato de U (U-shaped). Em vez de adicionar ruído (o que causa desvios de distribuição), o MIXGUARD ofusca os dados combinando linearmente múltiplas representações, preservando a estrutura semântica subjacente enquanto oculta a amostra alvo. O framework opera em duas etapas:

Ofuscação ao Nível de Token:
O cliente insere tokens secretos, amostrados aleatoriamente, na sequência de entrada antes do processamento. Isso interrompe o mapeamento direto entre a entrada original e as representações intermediárias sem alterar significativamente o vocabulário de tokens.
Ofuscação ao Nível de Representação (Mixup):
O cliente codifica a amostra alvo ( $x^*$ ) juntamente com $k-1$ amostras de suporte de um conjunto de suporte secreto. Essas representações ocultas são combinadas linearmente usando vetores e matrizes secretos:
- Vetor de Sinal ( $v$ ): Um vetor secreto de valores $\{-1, +1\}$ .
- Matriz de Mistura ( $A$ ): Uma matriz de valores positivos que garante que a representação alvo seja preservada com peso unitário enquanto cancela as representações não-alvo quando agregadas.
- Matriz de Ofuscamento ( $B$ ): Uma matriz invertível aplicada para ofuscar ainda mais as mensagens misturadas antes da transmissão.
  Os "dados esmagados" (smashed data) resultantes são enviados ao servidor. O servidor processa essas ativações misturadas através do modelo de tronco (trunk model) e retorna-as. O cliente então decodifica a resposta usando o inverso da matriz de ofuscamento e o vetor de sinal para recuperar uma representação aproximada do alvo.
Modelo de Calibração:
Devido às transformações não lineares em LLMs, a representação aproximada desvia da verdade fundamental (ground truth). O MIXGUARD emprega um Modelo de Calibração (uma rede residual) treinado em dados públicos para refinar essa aproximação. Este modelo aprende a minimizar o Erro Quadrático Médio (MSE) entre a representação aproximada e a verdadeira, garantindo alta utilidade para o cálculo de perda do modelo de cauda (tail model).
Perturbação Adaptativa de Gradiente:
Durante a retropropagação (backpropagation), o cliente aplica ruído adaptativo aos gradientes antes de enviá-los ao servidor. A escala de perturbação é determinada pelo resíduo de calibração (o erro entre a representação calibrada e a verdadeira). Amostras com maiores resíduos (indicando maior retenção de informações privadas) recebem uma perturbação mais forte, mitigando o vazamento reverso.

Principais Contribuições

Primeiro SL baseado em Mixup para LLMs: O artigo introduz o primeiro framework de aprendizado dividido preservador de privacidade baseado em mixup projetado especificamente para LLMs, estendendo o conceito de aumento de dados para ofuscação de privacidade.
Mecanismos de Ofuscação Conjunta: Integra ofuscação ao nível de token, mixup ao nível de representação e perturbação adaptativa de gradiente para proteger tanto as entradas quanto os rótulos simultaneamente em um cenário de SL em formato de U.
Estratégia de Calibração: Propõe um modelo de calibração leve para corrigir erros de aproximação introduzidos pelo processo de mixup, diminuindo a lacuna entre sinais ofuscados e gradientes utilizáveis.
Avaliação Abrangente: O framework é avaliado em quatro tarefas de classificação e quatro tarefas de geração de texto, abrangendo múltiplas famílias de LLM (Qwen, Llama), tamanhos de modelo (1B a 30B) e arquiteturas (Dense, MoE), bem como ajuste fino eficiente de parâmetros (LoRA).

Resultados Experimentais

Preservação de Utilidade: O MIXGUARD alcança uma utilidade de ajuste fino (fine-tuning) comparável às linhas de base de treinamento não-dividido (non-split). Por exemplo, na tarefa CoLA com Llama 3.2-1B, ele alcançou 0,839 de acurácia em comparação com 0,845 para o treinamento não-dividido (uma diferença de <1%). Em contraste, as linhas de base SnD e Naive Mix sofreram quedas significativas de utilidade (ex: 0,309 e 0,498, respectivamente).
Proteção de Privacidade: O método supera consistentemente as defesas existentes (DP-Forward, DP-SGD, SnD) contra DRAs de estado da arte. No dataset CoLA, o MIXGUARD reduziu as pontuações de reconstrução SIP de ~0,54 (não-dividido) para ~0,02, e as pontuações de BiSR para ~0,08, enquanto outros métodos frequentemente falharam em reduzir significativamente as pontuações de reconstrução ou colapsaram o desempenho do modelo.
Robustez: O framework permanece eficaz através de diferentes escalas de modelos, arquiteturas (incluindo MoE) e estratégias de ajuste fino (Full vs. LoRA). Também demonstra resiliência contra ataques adaptativos onde o atacante conhece o mecanismo de defesa.

Significância e Alegações
O artigo afirma que o MIXGUARD aborda com sucesso o trilema "utilidade-privacidade-eficiência" no Aprendizado Dividido para LLMs. Ao alavancar a ofuscação baseada em mixup em vez de injeção de ruído ou criptografia pesada, ele mantém a estabilidade dos sinais de treinamento enquanto impede efetivamente a reconstrução de dados. Os autores posicionam o MIXGUARD como uma solução prática para usuários com recursos limitados treinarem LLMs em dados privados sem expor entradas ou rótulos sensíveis ao servidor, alcançando fortes garantias de privacidade sem a severa degradação de utilidade vista em trabalhos anteriores. O trabalho destaca que preservar a integridade estrutural das representações através de uma mistura controlada é um caminho viável para o aprendizado colaborativo seguro e em larga escala.