🤖 machine learning

Targeted Label-Flipping and Oversampling Attacks on Federated Conditional GANs

Este artigo investiga a eficácia e as propriedades teóricas de ataques de inversão de rótulos (label-flipping) e de sobreamostragem (oversampling) em GANs condicionais federadas, demonstrando que clientes maliciosos podem induzir danos semânticos significativos com escalonamento linear da força do envenenamento, permanecendo difíceis de detectar devido ao desvio quadrático mínimo em métricas de distribuição.

Autores originais: Panav Shah, Avishek Ghosh

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Panav Shah, Avishek Ghosh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde um grupo de amigos quer construir juntos um robô artista superinteligente, mas eles não podem compartilhar seus cadernos de esboços privados. Em vez disso, cada um desenha em seus próprios tablets e apenas envia as "regras" de como desenhar para um hub central. Isso é o Aprendizado Federado (Federated Learning): uma maneira de computadores aprenderem juntos sem nunca verem os dados brutos uns dos outros, mantendo tudo privado. Agora, imagine que o robô que eles estão construindo é uma Rede Adversária Generativa (GAN - Generative Adversarial Network). Pense em uma GAN como um dueto criativo entre dois robôs: um é o Gerador, um artista tentando criar imagens falsas que pareçam reais, e o outro é o Discriminador, um crítico tentando detectar as falsificações. Se você adicionar GANs Condicionais (Conditional GANs) à mistura, você dá ao artista uma instrução específica, como "Desenhe um gato" ou "Desenhe um cachorro", e o robô aprende a seguir esses comandos perfeitamente.

A grande questão que este artigo aborda é: o que acontece se um dos amigos do grupo for, na verdade, um brincalhão? Em uma sala de aula normal, se um aluno age incorretamente, o professor pode pegá-lo. Mas neste clube secreto de computadores, o hub central confia em todos. Os pesquisadores queriam saber se um computador trapaceiro poderia enganar todo o grupo para aprender a coisa errada, especificamente ao manipular os rótulos (as instruções) que ele envia. Eles descobriram que um agente malicioso pode, de fato, enganar o robô artista para desenhar as coisas erradas e, a parte assustadora é que a "pontuação de arte" geral do robô ainda pode parecer perfeita, escondendo o dano completamente.

A Grande Troca de Rótulos

Neste estudo, os pesquisadores configuraram um cenário onde alguns clientes "maliciosos" (os brincalhões) se juntam a um grupo de computadores honestos para treinar uma GAN condicional. O objetivo deles? Realizar um Ataque de Inversão de Rótulo Direcionado (Targeted Label-Flipping Attack). Imagine que você está ensinando um robô a reconhecer animais. Você mostra a ele uma foto de um gato e diz: "Isto é um gato". O brincalhão, no entanto, pega uma foto de um gato, inverte o rótulo e diz ao robô: "Isto é um cachorro". Eles fazem isso para um par específico de classes — por exemplo, transformando "gatos" em "cachorros" — enquanto deixam todo o resto intacto.

Os pesquisadores testaram duas maneiras de fazer isso. A primeira é a Inversão Simples de Rótulo (Simple Label Flipping), onde o brincalhão apenas muda a etiqueta de nome na imagem. A segunda, mais poderosa, é a Sobreamostragem (Oversampling). Aqui, o brincalhão não apenas muda o rótulo, mas também diz ao robô: "Preste atenção extra nesta imagem! Olhe para ela cinco vezes!". Isso aumenta o peso da instrução falsa, fazendo com que o robô aprenda a lição errada muito mais rápido.

O Dano Invisível

A descoberta mais fascinante do artigo é o quão difícil é pegar esses brincalhões. Os pesquisadores usaram uma ferramenta matemática chamada Divergência KL (KL Divergence) (pense nisso como um "medidor de confusão") para medir o quanto o entendimento do robô sobre "gatos" e "cachorros" foi prejudicado.

Eles descobriram uma assimetria estranha e perigosa. Quando os brincalhões invertem os rótulos, a capacidade do robô de distinguir entre o gato real e o cachorro falso (as classes "origem" e "alvo") colapsa muito rapidamente. O medidor de confusão mostra uma queda linear — o que significa que o dano ocorre de forma rápida e constante à medida que mais brincalhões se juntam.

No entanto, se você observar o desempenho geral do robô ou o quão bem ele desenha "cachorros" em comparação ao que um "cachorro verdadeiro" deveria ser, o dano cresce muito mais devagar. Ele cresce de forma quadrática. Em português claro, isso significa que o resultado do robô parece quase normal por um longo tempo, mesmo enquanto está sendo secretamente corrompido. A "confusão" entre as duas classes específicas é enorme, mas o "desvio" da forma real do cachorro é minúsculo.

O Ponto Cego do "FID Agregado"

Para provar isso, os pesquisadores realizaram simulações em três conjuntos de dados de imagens famosos: FEMNIST (letras manuscritas), MNIST (números manuscritos) e CIFAR-10 (fotos coloridas de objetos como gatos e cachorros). Eles configuraram um cenário com 50 clientes, alguns honestos e outros maliciosos.

Os resultados foram assustadoramente claros. Eles mediram a Distância de Incepção de Fréchet (FID - Fréchet Inception Distance), uma pontuação padrão usada para julgar o quão boas são as imagens de uma IA. Normalmente, uma pontuação menor é melhor. Os pesquisadores descobriram que, mesmo quando o ataque era forte o suficiente para fazer o robô desenhar "cachorros" que pareciam exatamente com "gatos", o FID Agregado (a pontuação para todas as imagens combinadas) mal se moveu. Mudou menos de 6% em alguns casos.

Por quê? Porque o ataque é muito direcionado. O robô ainda está desenhando gatos perfeitos, pássaros perfeitos e carros perfeitos. É apenas a categoria "cachorro" que está secretamente cheia de gatos. Como a pontuação padrão faz a média de tudo, o erro massivo em uma pequena categoria é abafado pela perfeição das outras. É como um restaurante onde 99% dos pratos são de 5 estrelas, mas um prato específico é, na verdade, um sapato. Se você provar apenas um pouco de cada coisa, pode pensar que o restaurante ainda é ótimo, não percebendo o fato de que o "bife" é, na verdade, um sapato.

O Impulso da Sobreamostragem

O artigo também mostrou que a variante de Sobreamostragem (onde o brincalhão diz "olhe para isto 5 vezes") foi ainda mais eficaz. Ao aumentar o peso das amostras envenenadas, os brincalhões puderam alcançar o mesmo nível de dano com menos agentes maliciosos, ou causar muito mais dano com o mesmo número de agentes maliciosos. Crucialmente, esse poder extra não tornou o ataque mais fácil de detectar. O "medidor de confusão" ainda mostrava uma queda linear na qualidade para o par específico, enquanto a "pontuação de arte" geral permanecia obstinadamente estável.

A Conclusão

Os autores concluem que ataques de inversão de rótulo direcionados são uma ameação séria para as GANs Condicionais Federadas porque são eficazes, porém furtivos. O dano à relação específica entre duas classes (como gatos e cachorros) acontece imediata e severamente, mas o sistema geral parece saudável o suficiente para enganar as ferramentas de monitoramento padrão.

O artigo sugere que, se quisermos pegar esses brincalhões, não podemos apenas olhar para a "pontuação de arte" geral ou para a qualidade média das imagens. Temos que olhar de perto para as instruções específicas. Precisamos verificar se o gerador de "cachorros" está subitamente agindo como um gerador de "gatos". Até que desenvolvamos maneiras melhores de monitorar essas relações específicas de classe para classe, um grupo de computadores treinando uma IA compartilhada pode estar desenhando sapatos como bifes, e ninguém notará até que seja tarde demais.

Resumo Técnico: Ataques de Inversão de Rótulos Direcionados e Sobreamostragem em Redes Adversárias Generativas Condicionais Federadas

Definição do Problema
No Aprendizado Federado (FL) para Redes Adversárias Generativas (GANs), especificamente GANs Condicionais (cGANs), o sistema é vulnerável a ataques de envenenamento de dados, onde clientes maliciosos manipulam os dados de treinamento locais para corromper o modelo global. Embora trabalhos anteriores tenham explorado o envenenamento em classificadores federados e geradores incondicionais, o impacto da inversão de rótulos direcionada em geradores condicionais permanece subexplorado. O problema central abordado é a capacidade de adversários de distorcer as distribuições condicionais de classe aprendidas, de modo que amostras condicionadas a um rótulo alvo $t$ sejam mapeadas para uma classe de origem $s$ , permanecendo indetectáveis por métricas de monitoramento padrão e agnósticas ao rótulo (ex: Fréchet Inception Distance agregada).

Metodologia
Os autores propõem e analisam duas variantes de ataques de inversão de rótulo direcionados dentro de uma estrutura FedAvg padrão:

Inversão de Rótulo Simples: Clientes maliciosos rerotulam uma fração $p$ de amostras de uma classe de origem $s$ para uma classe alvo $t$ durante o treinamento local, utilizando o Gradiente Descendente Estocástico (SGD) padrão não ponderado.
Inversão de Rótulo Baseada em Sobreamostragem: Clientes maliciosos realizam a mesma rerotulação, mas aumentam o peso das amostras envenenadas por um fator $r > 1$ durante o cálculo do gradiente. Isso amplifica a influência dos dados envenenados na atualização local sem alterar o tamanho do conjunto de dados visível para o servidor.

O modelo de ameaça assume um servidor honesto-mas-curioso que agrega atualizações via média ponderada pelo tamanho da amostra sem defesas robustas (ex: Krum ou mediana por coordenada). Os adversários controlam uma fração $\alpha$ dos clientes e conhecem a arquitetura global e a função de perda, mas não os dados privados dos clientes honestos.

Análise Teórica
O artigo deriva uma caracterização de modelo de mistura para a distribuição alvo envenenada $\tilde{P}_t$ . Os autores definem uma força de envenenamento efetiva $\beta$ como uma função da fração adversarial ( $\alpha$ ), probabilidade de inversão ( $p$ ), fator de sobreamostragem ( $r$ ) e prior da classe de origem ( $\Pi_s$ ).

Principais achados teóricos incluem:

Divergência Origem-Alvo: A divergência de Kullback–Leibler (KL) entre a distribuição de origem $P_s$ e a distribuição alvo contaminada $\tilde{P}_t$ diminui linearmente em relação a $\beta$ . Isso indica que o dano semântico (o colapso da distinção entre origem e alvo) ocorre imediatamente conforme a força do ataque aumenta.
Desvio da Distribuição Alvo: Inversamente, a divergência de KL entre a distribuição alvo real $P_t$ e a distribuição contaminada $\tilde{P}_t$ cresce apenas quadraticamente em relação a $\beta$ . O termo de primeira ordem na expansão desaparece porque $\tilde{P}_t$ é construída como uma combinação convexa envolvendo a própria $P_t$ .
Assimetria de Detectabilidade: Isso cria uma assimetria estrutural onde o ataque inflige danos semânticos significativos na ordem de $\beta$ , enquanto o sinal de detecção natural (desvio da meta real) só emerge na ordem de $\beta^2$ . Além disso, mostra-se que métricas agnósticas ao rótulo, como o FID agregado, são insensíveis porque o desvio por classe é diluído por um fator de $1/C$ (onde $C$ é o número de classes) quando a média é calculada entre todas as classes.

Resultados Experimentais
Os autores validam empiricamente essas previsões teóricas em três benchmarks federados: FEMNIST, MNIST e CIFAR-10, utilizando uma arquitetia de discriminador de projeção.

Tendências de Divergência KL: Experimentos confirmam que $KL(P_s \parallel \tilde{P}_t)$ diminui aproximadamente linearmente com $\beta$ , enquanto $KL(P_t \parallel \tilde{P}_t)$ aumenta quadraticamente.
Impacto da Sobreamostragem: A variante de sobreamostragem ( $r=5$ ) alcança um $\beta$ efetivo mais alto do que a inversão simples ( $r=1$ ) para o mesmo número de clientes adversários, amplificando a eficácia do ataque sem aumentar proporcionalmente a detectabilidade.
Evidência Visual e Métrica:
- Distribuições de características (HOG) mostram a classe alvo deslocando-se em direção à classe de origem conforme a participação adversarial aumenta.
- Imagens geradas condicionadas ao rótulo alvo assemelham-se visualmente à classe de origem.
- Crucialmente, o FID agregado (agnóstico ao rótulo) permanece quase constante (mudando menos de 6% mesmo em altas forças de envenenamento), enquanto o FID da classe-alvo cresce substancialmente. Isso confirma que as métricas agregadas padrão falham em detectar o ataque.

Principais Contribuições

Formulação: O artigo formula dois ataques de manipulação de rótulo direcionados (simples e baseados em sobreamostragem) especificamente para cGANs federadas, fornecendo descrições algorítmicas das atualizações dos clientes adversários.
Caracterização Analítica: Fornece uma caracterização analítica em forma fechada mostrando que o dano semântico do ataque escala linearmente com a força do envenenamento $\beta$ , enquanto o desvio da verdadeira distribuição alvo escala quadraticamente. Essa assimetria explica por que o ataque é eficaz, porém difícil de detectar.
Validação Empírica: O estudo valida essas previsões teóricas através de FEMNIST, MNIST e CIFAR-10 sob configurações federadas não-IID realistas, demonstrando concordância próxima entre teoria e experimento.

Significância e Alegações
O artigo alega ser o primeiro a fornecer uma caracterização analítica em forma fechada de como a inversão de rótulo direcionada enviesa as distribuições condicionais de classe de uma cGAN federada. A principal significância reside em demonstrar que ataques direcionados em geradores condicionais podem causar severa corrupção semântica (ex: gerar "cachorros" quando "gatos" são solicitados) enquanto permanecem invisíveis para métricas de qualidade padrão e agnósticas ao rótulo. Os autores argumentam que esse desacoplamento entre dano e detectabilidade torna tais ataques particularmente perigosos em ambientes federados, onde os servidores dependem de estatísticas agregadas para monitoramento. Eles sugerem que defesas eficazes devem operar no nível das estatísticas condicionais de classe, em vez de métricas agregadas.

A Grande Troca de Rótulos

O Dano Invisível

O Ponto Cego do "FID Agregado"

O Impulso da Sobreamostragem

A Conclusão

Mais como este