On the Fragility of Data Attribution When Learning Is Distributed

Resumo Técnico: Sobre a Fragilidade da Atribuição de Dados Quando o Aprendizado é Distribuído

Declaração do Problema
A atribuição de dados tornou-se um componente crítico para precificação, auditoria e governança em pipelines de aprendizado de máquina, particularmente em ambientes distribuídos como o Aprendizado Federado (FL). Esses sistemas dependem de métricas de atribuição (por exemplo, valores de Shapley, funções de influência) para quantificar a contribuição de proprietários individuais de dados para a utilidade global do modelo. No entanto, os métodos atuais de atribuição assumem implicitamente que essas pontuações refletem fielmente as contribuições reais dos participantes. Este trabalho desafia essa premissa, demonstrando que, em fluxos de trabalho padrão de treinamento distribuído, um único participante malicioso pode manipular estrategicamente seu valor de atribuição medido para parecer significativamente mais benéfico do que realmente é, sem degradar a utilidade do modelo global. A vulnerabilidade central reside na sensibilidade dos estimadores de utilidade marginal à cobertura de rótulos não-IID e às preferências estruturais específicas dos avaliadores de atribuição.

Metodologia: Ataque de Otimização Latente
Os autores propõem um modelo de ameaça "prioritário à atribuição" onde um cliente malicioso ($i^\star$) visa maximizar sua pontuação de atribuição $E(\hat{g}^\star_t)$ enquanto preserva estritamente a utilidade global $U(\cdot)$ dentro de uma pequena tolerância $\delta$. Diferentemente dos ataques de envenenamento tradicionais que degradam o desempenho, este ataque opera sob a restrição de que a precisão de teste permaneça estável.

O Ataque de Otimização Latente proposto procede da seguinte forma:

1. Injeção de Dados Sintéticos: O atacante utiliza um decodificador fixo e pré-treinado ($Dec(\cdot)$) para gerar um pequeno lote de amostras sintéticas $(\tilde{x}, \tilde{y})$ a partir de um vetor latente $z$.
2. Otimização do Vetor Latente: O atacante otimiza o vetor latente $z$ via descida de gradiente para satisfazer uma função de perda conjunta $L(z) = L_1(z) + L_2(z) + L_3(z)$:
   • $L_1$ (Alinhamento de Direção): Garante que o gradiente do lote sintético se alinhe a uma direção de referência benigna (por exemplo, a atualização global do modelo $w_t - w_{t-1}$) usando similaridade de cosseno.
   • $L_2$ (Consistência de Norma): Corresponda a magnitude do gradiente sintético à das atualizações benignas para evadir defesas baseadas em geometria.
   • $L_3$ (Fidelidade da Tarefa): Mantém a perda padrão de entropia cruzada no lote sintético para garantir que os dados sejam discriminativos por classe e úteis para o treinamento.
3. Cobertura Estratégica: O atacante visa especificamente classes que estão sub-representadas ou ausentes em seu conjunto de dados local real ($D^{(i^\star)}_r$). Ao injetar amostras sintéticas para esses rótulos "faltantes", o atacante explora a sensibilidade do avaliador a lacunas de cobertura.
4. Atualização Híbrida: O atacante mistura o lote sintético otimizado com seus dados reais para realizar o treinamento local, gerando uma atualização reportada $\hat{g}^\star_t$ que é estatisticamente indistinguível de atualizações benignas, mas produz utilidade marginal desproporcionalmente alta aos olhos do avaliador no lado do servidor.

Principais Contribuições

• Modelo de Ameaça Prioritário à Atribuição: O trabalho formaliza um novo objetivo de ataque no FL onde a meta é inflar as pontuações de atribuição de dados sob restrições explícitas de utilidade e plausibilidade, distinto dos objetivos tradicionais de envenenamento de modelos.
• Ataque Prático de Otimização Latente: Os autores introduzem um mecanismo de ataque concreto que utiliza dados sintéticos gerados por decodificador para construir atualizações locais conscientes da atribuição. Este método permanece preservador de utilidade e estatisticamente plausível, evadindo verificações de sanidade padrão.
• Validação Teórica e Empírica: O trabalho fornece insights teóricos sobre por que tais atualizações aumentam a atribuição marginal sem degradar a precisão (devido ao alinhamento com direções de descida global e ganhos de utilidade impulsionados pela cobertura). Empiricamente, o ataque é validado em três conjuntos de dados (CIFAR-10, FashionMNIST, SVHN), três arquiteturas de modelo (ResNet-18, WRN-28-10, VGG16 BN) e múltiplos avaliadores (Valor Shapley Federado e Leave-One-Out).

Resultados Experimentais

• Inflação de Atribuição: Sob o ataque de Otimização Latente, um cliente malicioso que inicialmente ocupava o último lugar (recebendo atribuição próxima de zero) consistentemente moveu-se para a metade superior do ranking, frequentemente alcançando valores de atribuição comparáveis ou superiores aos de contribuidores benignos de alto desempenho. Por exemplo, no CIFAR-10 com ResNet-18, o valor de atribuição do cliente malicioso aumentou de 0,0547 para 0,1682, deslocando seu ranking da 10ª para a 2ª posição.
• Preservação de Utilidade: Diferentemente de ataques de base (Flipping de Rótulos, Ruído Aleatório) que degradaram significativamente a precisão de teste, o ataque de Otimização Latente manteve a precisão global dentro de uma margem estreita da base sem ataque (por exemplo, 77,59% vs. 76,75% em CIFAR-10/ResNet-18).
• Reconfiguração da Estrutura de Atribuição: O ataque não apenas aumentou a pontuação do atacante; redistribuiu as cotas de atribuição entre clientes benignos, alterando a atribuição de crédito relativa dentro do sistema.
• Evasão de Defesas: Defesas padrão de poda baseadas em geometria, que filtram atualizações com base no desvio do conjunto principal de atualizações de clientes, falharam em detectar o ataque (Precisão e Recall próximos de 0,00). As atualizações híbridas permaneceram alinhadas com a direção de descida global e estatisticamente embutidas dentro da distribuição benigna.
• Robustez: O ataque permaneceu eficaz através de diferentes números de clientes, diferentes rankings iniciais de clientes e diferentes avaliadores de atribuição (FedSV e LOO).

Significado e Alegações
O trabalho alega que a própria atribuição constitui uma nova superfície de ataque no aprendizado distribuído. As descobertas demonstram que manter apenas a precisão do modelo é insuficiente para um aprendizado colaborativo confiável; a integridade da atribuição é igualmente crítica. Os autores argumentam que os mecanismos de incentivo e estruturas de governança atuais são vulneráveis porque dependem de avaliadores que podem ser manipulados sem prejudicar o desempenho global. Este trabalho motiva o desenvolvimento de avaliadores robustos à atribuição e mecanismos de pontuação compatíveis com incentivos, destacando que a vulnerabilidade decorre das propriedades de incentivo da avaliação de utilidade marginal e não de regras de pontuação específicas. O trabalho conclui que, sem abordar essas vulnerabilidades, os sistemas correm o risco de recompensar os contribuidores errados, identificar erroneamente atores prejudiciais e tirar conclusões enganosas sobre a qualidade dos dados.