Resumo Técnico: Roubo de Modelo sob a Ótica da Multiplicidade de Modelos

Declaração do Problema

Ataques de roubo de modelo, nos quais adversários consultam um modelo alvo para treinar um substituto de alta fidelidade, são tradicionalmente avaliados com base na fidelidade — o grau de concordância de rótulos entre o substituto e o alvo em um conjunto de dados de referência. Uma alta fidelidade é frequentemente interpretada como evidência de um roubo bem-sucedido de propriedade intelectual, implicando que o substituto é um clone funcional do alvo.

Este artigo desafia essa suposição ao introduzir o conceito de multiplicidade de modelos. Ele postula que a extração baseada em consultas fornece apenas uma supervisão parcial, deixando o modelo substituto subdeterminado. Consequentemente, o processo de extração não gera um modelo único, mas sim um Conjunto Rashomon induzido pela extração: uma família de modelos substitutos quase ótimos que alcançam fidelidade comparável à do alvo, mas que podem divergir significamente em suas previsões individuais, equidade (fairness) e robustez. A questão central é se a extração de alta fidelidade garante verdadeiramente a equivalência comportamental em cenários de implantação.

Metodologia

Os autores propõem um framework para avaliar o roubo de modelos não como um problema de fidelidade de um único modelo, mas como um problema de multiplicidade. A metodologia envolve:

1. Indução de Extração: Dois ataques de extração de caixa-preta são empregados em três domínios (tabular, imagens médicas e NLP):
   • Knockoff Nets: Rouba a funcionalidade via interações de caixa-preta usando amostragem de consulta adaptativa.
   • Roubo de API de Predição: Treina um substituto com base em pares de consulta-resposta (saídas posteriores) do alvo.
2. Aproximação do Conjunto Rashomon: Em vez de enumerar o conjunto completo de modelos quase equivalentes (computacionalmente inviável para classes complexas), os autores utilizam o Dropout no tempo de inferência no substituto extraído. Ao variar as taxas de dropout (0,01 a 0,10) e amostrar milhares de modelos estocásticos, eles aproximam o Conjunto Rashomon local em torno do modelo roubado.
3. Métricas de Avaliação: A diversidade do Conjunto Rashomon induzido é quantificada usando:
   • Métricas de Multiplicidade:
     • Ambiguidade: A média do desacordo ponto a ponto entre o modelo de referência e o conjunto.
     • Discrepância: A taxa de desacordo de pior caso dentro do conjunto.
     • Capacidade de Rashomon: A dispersão das probabilidades preditivas (scores) através do conjunto.
   • Métricas de Equidade (Fairness): Paridade estatística, igualdade preditiva, oportunidade igual e igualdade de chances, avaliadas entre grupos demográficos definidos por atributos sensíveis.

Principais Contribuições

• Mudança Metodológica: Introduz um método para gerar Conjuntos Rashomon baseados em dropout em torno de substitutos extraídos, reestruturando o roubo de modelos como um problema de multiplicidade, em vez de um problema de fidelidade de modelo único.
• Avaliação Cross-Domain: Avalia sistematicamente a multiplicidade induzida pela extração através de dados tabulares, imagens médicas (ResNet-50) e NLP (BERT), demonstrando a generalidade do fenômeno.
• Caracterização da Diversidade: Caracteriza a diversidade dos conjuntos extraídos usando ambiguidade, discrepância, Capacidade de Rashomon e métricas de equidade de grupo.
• Evidência Empírica: Demonstra que os substitutos podem exibir alta fidelidade enquanto exibem variações significativas em previsões ao nível de amostra, multiplicidade dependente do ataque e valores de equidade.

Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados do mundo real, incluindo Folktables (tabular), MedMNIST (imagens médicas) e FST (sentimento em NLP).

• Alta Fidelidade vs. Alta Multiplicidade: Em todos os domínios, os substitutos extraídos mantiveram alta fidelidade (frequentemente >0,90) através de várias taxas de dropout. No entanto, os Conjuntos Rashomon circundantes exibiram multiplicidade substancial.
  • Dados Tabulares: A ambiguidade variou de 20% a 100% entre os datasets. Por exemplo, no regime de baixo dropout (alta fidelidade), a ambiguidade para o ACSEmploy variou de 0,28 a 0,65. Valores de discrepância indicaram que, mesmo entre substitutos de alta fidelidade, modelos concorrentes poderiam atribuir previsões conflitantes a até 10% dos indivíduos.
  • Imagens Médicas: No caso da tarefa PneumoniaMNIST, a fidelidade permaneceu próxima de 0,96, embora a ambiguidade tenha subido para mais de 0,72. Em OCTMNIST, a alta fidelidade coexistiu com alta ambiguidade (0,72–0,78) e substancial Capacidade de Rashomon, indicando variação significativa nos scores preditivos.
  • NLP: Os modelos BERT extraídos mostraram fidelidade consistente e alta (0,93–0,94). No entanto, a ambiguidade cresceu rapidamente mesmo com mudanças leves na fidelidade, atingindo até 0,86 em regimes de maior dropout.
• Implicações de Equidade: A multiplicidade preditiva traduziu-se em variabilidade de equidade. Substitutos com fidelidade agregada semelhante induziram diferentes resultados ao nível de grupo (por exemplo, mudanças na oportunidade igual e paridade estatística), particularmente em tarefas tabulares como ACSIncome.
• Dependência de Ataque: Diferentes pipelines de extração (Knockoff Nets vs. API de Predição) induziram diferentes vizinhanças locais ao redor do substituto, levando a perfis de multiplicidade distintos mesmo para o mesmo alvo.

Significância e Alegações

O artigo argumenta que a fidelidade é um proxy incompleto para equivalência funcional. A principal significância deste trabalho reside em demonstrar que o roubo de modelo "bem-sucedido", julgado apenas pela fidelidade, pode falhar em replicar o comportamento subsequente, redistribuir erros entre populações ou alterar o recurso individual.

• Reavaliação da Perda de PI: Alegações de perda de propriedade intelectual baseadas apenas na fidelidade podem ser incompletas. Um modelo roubado pode corresponder ao desempenho agregado do alvo, enquanto discorda em instâncias específicas ou grupos demográficos.
• Padrões de Avaliação: Os autores afirmam que avaliar ataques de roubo de modelos exige métricas além de acurácia e fidelidade, especificamente incluindo ambiguidade, discrepância, Capacidade de Rashom e métricas de equidade.
• Riscos de Implantação: Em domínios de alto risco, a existência de um Conjunto Rashomon considerável implica que um atacante pode recuperar um modelo que corresponde à fidelidade do alvo, mas produz resultados substancialmente diferentes para indivíduos ou subpopulações.
• Estimativa Conservadora: Os autores observam que seus achados provavelmente representam uma estimativa conservadora da multiplicidade induzida pela extração, pois sua aproximação baseada em dropout captura uma vizinhança local e assume que a arquitetura do substituto se alinha com a da vítima. Relaxar essas suposições provavelmente aumentaria a multiplicidade observada.

Em conclusão, o artigo postula que o roubo de modelos deve ser visto como um problema de identificação sob multiplicidade. As consequências práticas de tais ataques dependem não apenas do acordo médio, mas da estrutura do Conjunto Rashomon induzido pela extração, necessitando de frameworks de avaliação mais abrangentes para a segurança de MLaaS.