Resumo Técnico: Inferência de Uso de Conjunto de Dados Negativo Não Rotulado (NU-DUI)

Declaração do Problema

A Inferência de Uso de Conjunto de Dados (DUI) visa estimar a fração de um conjunto de dados específico que foi utilizada para treinar um modelo de aprendizado de máquina. Enquanto métodos existentes como a Inferência de Conjunto de Dados (DI) podem determinar se um conjunto de dados foi usado (classificação binária), eles falham em quantificar quanto dele foi utilizado. Essa quantificação é crítica para estruturas legais (por exemplo, análise de uso aceitável sob a Lei de Direitos Autorais dos EUA) e disputas reais de propriedade de dados.

As abordagens de estado da arte atuais, como o DUCI (Tong et al., [46]), enfrentam duas barreiras práticas significativas:

1. Requisito de Modelo Sombra (Shadow Model): Elas exigem o treinamento de "modelos sombra" caros que mimetizam a arquitetura e o comportamento do modelo alvo. Para modelos generativos de larga escala (ex: 1,5B de parâmetros), treinar um único modelo sombra pode levar mais de 1.500 horas de A100, tornando isso computacionalmente proibitivo.
2. Suposição de Dados Retidos (Held-Out Data): Elas assumem o acesso a um conjunto de dados "retido" confiável e dentro da distribuição, confirmado como ausente do treinamento do modelo alvo. Em cenários de auditoria reais, tais dados não membros (non-member) confiáveis e retidos são raramente disponíveis.

Além disso, os Ataques de Inferência de Membro (MIAs) padrão frequentemente degradam para um desempenho próximo ao aleatório em modelos modernos de grande escala devido aos sinais fracos por amostra e à sensibilidade às mudanças de distribuição entre dados membros e não membros.

Metodologia: NU-DUI

Os autores propõem o Negative Unlabeled Dataset Usage Inference (NU-DUI), um framework que elimina a necessidade de modelos sombra e de dados retidos confiáveis. O método reformula a DUI como um problema de Estimativa de Proporção de Mistura (MPE).

O pipeline consiste em três estágios principais:

1. Construção de Conjuntos de Suspeitos Autoencodados e de Não Membros Sintéticos

Para abordar a falta de um conjunto retido confiável, o NU-DUI constrói dados de referência diretamente a partir do conjunto suspeito ($X_{real}$):

• Não Membros Sintéticos ($X_{img2img}^{nonmember}$): As imagens suspeitas são parafraseadas usando um gerador imagem-para-imagem ($G$) de uma família generativa diferente da do modelo alvo auditado (ex: usando Stable Diffusion para parafrasear imagens para um alvo autorregressivo, ou vice-versa).
  • Racional: Usar uma família diferente evita que as amostras sintéticas residam próximas a um "ponto fixo" da função de perda do modelo alvo. Se a mesma família fosse usada, as imagens parafraseadas poderiam exibir uma perda artificialmente baixa (parecendo membros) devido à dinâmica específica do processo reverso do modelo alvo, confundindo a inferência.
• Conjunto Suspeito Autoencodado ($X_{AE}$): O conjunto suspeito original é codificado e decodificado usando o mesmo autoencoder usado para o parafraseamento.
  • Racional: Modelos generativos introduzem artefatos de alta frequência específicos. Ao autoencodar o conjunto suspeito, o método injeta esses mesmos artefatos no lado "não rotulado" da comparação. Isso garante que a mudança de distribuição entre a mistura não rotulada ($U$) e os negativos sintéticos ($N$) seja dominada pelo status de membro em vez de artefatos específicos do gerador.

2. Extração de Características de MIA

O framework consulta o modelo alvo tanto no conjunto suspeito autoencodado ($U$) quanto no conjunto de não membros sintéticos ($N$). Ele extrai um vetor de características de inferência de membro ($\Phi_{MIA}$) adaptado à família do modelo alvo:

• Para modelos Autoregressivos de Imagem (IAR), utiliza suítes de características baseadas em perdas por nível de token e pontuações de confiança.
• Para modelos de Difusão, utiliza erros de predição de ruído e discrepâncias de verossimilhança condicional.
• Múltiplos sinais são combinados em um único vetor de características para melhorar a separação entre as distribuições de membros e não membros, já que sinais únicos costumam ser fracos ou ruidosos.

3. Estimativa de Proporção de Mistura (MPE)

O problema é formulado como a estimativa da proporção $\pi$ de membros no conjunto não rotulado $U$, dado que $U$ é uma mistura de membros (do conjunto suspeito) e não membros (sintéticos).

• O conjunto sintético $N$ serve como a referência de não membro rotulada.
• O conjunto autoencodado $U$ serve como a mistura não rotulada.
• Estimadores padrão de MPE (ex: variantes de TIcE, AlphaMax, PUL) são aplicados aos vetores de características para recuperar a proporção de membros estimada $\hat{p}$.

Principais Contribuições

1. Reformulação como MPE: Os autores recasaram a Inferência de Uso de Conjunto de Dados como um problema de Estimativa de Proporção de Mistura, removendo a dependência de modelos sombra caros.
2. Geração de Referência Sintética: Eles propõem um método para gerar não membros sintéticos realistas via parafraseamento imagem-para-imagem entre famílias distintas e alinhar o conjunto suspeito via autoencoding. Isso elimina a dependência de conjuntos de não membros retidos e confiáveis, que tipicamente não estão disponíveis na prática.
3. Validação Empírica: O método é demonstrado como capaz de produzir estimativas precisas de razão de membros em cinco modelos generativos de imagem de larga escala (tanto autorregressivos quanto de difusão) com custos computacionais ordens de magnitude menores do que as abordagens baseadas em modelos sombra.

Resultados Experimentais

Os autores avaliaram o NU-DUI em modelos de larga escala incluindo VAR-24/30, RAR-XL/XXL e DiT-RF-XL/2-8E2A, treinados no ImageNet-1k.

• Acurácia: Através de várias razões de membros reais ($p$), o NU-DUI (usando o pipeline "Synth + AE") segue de perto a linha de identidade.
  • No RAR-XXL com um conjunto suspeito de 1.000 imagens, o Erro Absoluto Médio (MAE) foi de 0,058 (usando MPE baseado em PUL), aproximando-se significativamente da configuração "Oracle" (que assume o acesso a reais não membros retidos).
  • Sem o autoencoding ("Synthetic" apenas), o método superestima sistematicamente a razão de membros em $p$ baixos devido a incompatibilidades de artefatos. O autoencoding corrige esse viés.
• Necessidade de Cross-Family: Estudos de ablação mostraram que usar um parafraseador da mesma família generativa do modelo alvo degradou significativamente a qualidade da estimativa, confirmando que a geração entre famílias diferentes é essencial para evitar pontos fixos da função de perda.
• Eficiência Computacional:
  • DUCI (1 modelo sombra): ~1.500 horas de A100 para um alvo de 1,5B de parâmetros.
  • NU-DUI: ~42,5 minutos de A100 para o mesmo alvo.
  • Isso representa um aceleração de >2.000x, tornando o método viável para modelos modernos de grande escala onde o treinamento de sombra é impossível.
• Escalabilidade: A precisão da estimativa melhora rapidamente conforme o tamanho do conjunto suspeito aumenta de 100 para 1.000 imagens, ponto após o qual os ganhos saturam. O método permanece prático mesmo com pequenos conjuntos suspeitos (ex: 100 imagens).

Significância e Limitações

Significância:
O artigo apresenta o NU-DUI como uma ferramenta prática para proprietários de dados e auditores obterem evidência quantitativa do uso de dados de treinamento em modelos generativos modernos. Ao remover a necessidade de modelos sombra e de dados retidos confiáveis, torna a auditoria de conjuntos de dados viável para modelos proprietários de larga escala, onde métodos anteriores eram computacional ou tecnicamente proibitivos.

Limitações:
Os autores observam duas restrições primárias:

1. Força do Sinal de MIA: A precisão do NU-DUI é limitada pela força dos sinais de inferência de membro disponíveis. Se um modelo alvo vaza pouca informação de membro, as estimativas serão menos estáveis.
2. Disponibilidade de Gerador Cross-Family: O método requer um modelo generativo suficientemente forte de uma família diferente para produzir não membros sintéticos. Em domínios onde não existe um gerador alternativo equivalente, o método não pode ser aplicado diretamente.

O artigo conclui que o NU-DUI desbloqueia a inferência de uso de conjuntos de dados para modelos generativos modernos ao alavancar a geração de dados sintéticos e a estimativa de proporção de mistura, oferecendo uma alternativa escalável à auditoria baseada em modelos sombra.