Resumo Técnico: SurrogateSHAP

Definição do Problema

À medida que os modelos de difusão de Texto-para-Imagem (T2I) se tornam integrantes dos fluxos de trabalho criativos, surge uma necessidade urgente de um framework principiado para valorar os contribuidores de dados para compensação justa e mercados de dados sustentáveis. Embora o valor de Shapley ofereça um método teoricamente sólido para atribuição, quantificando contribuições marginais em todos os subconjuntos possíveis de contribuidores, sua aplicação aos modelos T2I modernos enfrenta um duplo gargalo computacional:

1. Custo de Treinamento: O cálculo exato de Shapley exige o retreinamento do modelo para cada subconjunto de contribuidores, o que é proibitivamente caro para modelos de difusão em larga escala.
2. Complexidade de Amostragem: As funções de utilidade na valoração de datasets são frequentemente altamente não lineares e envolvem interações complexas, exigindo um número combinatório de consultas de subconjuntos para obter estimativas estáveis e de baixa variância.

Alternativas existentes, como a agregação de atribuições de dados individuais (ex: D-TRAK, DAS), muitas vezes falham em capturar não linearidades de nível de grupo e propriedades subsequentes, como estética. Outras abordagens baseadas em Shapley dependem de fine-tuning esparso ou retreinamento exato, que permanecem computacionalmente intensivos.

Metodologia: SurrogateSHAP

Os autores propõem o SurrogateSHAP, um framework livre de treinamento que aproxima o custoso "jogo de treinamento" através da inferência de um modelo pré-treinado e emprega um substituto de árvore de boosting de gradiente (GBT) para melhorar a eficiência da estimativa. O método consiste em dois componentes principais:

1. Jogo de Proxy Livre de Treinamento

Em vez de retreinar um modelo $\theta^*_S$ para um subconjunto específico de contribuidores $S$, o SurrogateSHAP reinterpreta o modelo alvo $\theta$ (treinado no dataset completo) como uma mistura de geradores condicionais.

• Mecanismo: A distribuição de saída para uma coalizão $S$ é aproximada como uma mistura das distribuições condicionais do modelo completo $\theta$, $p_\theta(x|\psi(y))$, ponderadas pela frequência empírica de prompts na coalizão.
• Justificativa Teórica: Os autores fornecem um limite teórico (Proposição 4.2) mostrando que, se as distribuições condicionais de classe do modelo treinado pela coalizão e do modelo completo forem estáveis em um espaço de características alinhado à utilidade (Premissa 4.1), a utilidade proxy $\hat{v}_\theta(S)$ acompanha de perto a verdadeira utilidade de treinamento $v(S)$. Isso elimina a necessidade de treinamento específico por subconjunto, reduzindo a avaliação de subconjuntos a um problema de amostragem de mistura.

2. Substitutos Baseados em Árvore para Estimativa de Shapley

Para lidar com a alta variância e a ineficiência de amostragem da estimativa de valores de Shapley para funções de utilidade complexas e não lineares, o framework aprende um modelo substituto.

• Procedimento: O método amostra $M$ coalizões, avalia a utilidade proxy para cada uma e treina um substituto de Árvore de Boosting de Gradiente (GBT) $\hat{f}_\omega$ para aproximar a função de utilidade sobre o hipercubo booleano de contribuidores.
• Computação Analítica: Os valores de Shapley são derivados analiticamente do conjunto de árvores treinado usando TreeSHAP. Esta abordagem captura priors de interação hierárquica sem impor restrições explícitas de esparsidade, oferecendo maior eficiência de amostragem do que estimadores baseados em Monte Carlo como o KernelSHAP.

Principais Contribuições

1. Proxy Livre de Treinamento: Uma formulação inovadora que contorna o retreinamento ao aproveitar as capacidades de geração condicional de um único modelo pré-treinado, validada por limites de erro teóricos e fidelidade empírica.
2. Estimativa Eficiente: A integração de substitutos GBT e TreeSHAP para computar analiticamente valores de Shapley, reduzindo significativamente o número de consultas necessárias para uma estimativa estável em comparação com estimadores de Shapley existentes.
3. Avaliação Abrangente: O framework é avaliado em três tarefas de atribuição diversas:
   • Qualidade de Imagem: DDPM-CFG no CIFAR-20 (métricas: FID, Inception Score).
   • Estética: Stable Diffusion em obras de arte Pós-Impressionistas (métrica: Aesthetic Score).
   • Diversidade de Produtos: FLUX.1 em dados de Produtos de Moda (métricas: LPIPS, Diversidade).
4. Estudo de Caso de Auditoria Clínica: Aplicação do framework para auditar um modelo de dermatologia treinado em dados clínicos de múltiplos centros (dataset ISIC), localizando com sucesso correlações espúrias entre sexo do paciente e diagnóstico de melanoma em fontes de dados hospitalares específicas.

Resultados Experimentais

• Fidelidade do Proxy: A utilidade proxy do SurrogateSHAP demonstra alto alinhamento com a utilidade real de treinamento, alcançando menor drift de representação (RMS LPIPS) e erro de utilidade mais estreito (NRMSE) comparado às baselines de fine-tuning esparso (sFT).
• Eficiência Computacional: O método é significativamente mais rápido que as baselines de retreinamento ou fine-tuning (ex: 23.4$\times$ mais rápido no CIFAR-20, 12.8$\times$ no ArtBench).
• Precisão de Atribuição:
  • Pontuação de Modelo de Dados Linear (LDS): O SurrogateSHAP supera consistentemente as baselines anteriores (incluindo TRAK, Funções de Influência e Shapley baseado em sFT) na predição de comportamentos de modelos mantidos fora (held-out) em todos os datasets e métricas. Por exemplo, no CIFAR-20 (FID), alcançou um LDS de 51.21% comparado ao desempenho negativo do sFT.
  • Avaliação Contrafactual: A remoção de contribuidores de baixo ranking identificados pelo SurrogateSHAP levou a ganhos de performance ou degradação mínima, enquanto a remoção de contribuidores de alto ranking causou as quedas de qualidade mais significativas, confirmando a capacidade do método em identificar dados influentes.
• Eficiência de Amostragem: Em jogos sintéticos com interações não lineares, o SurrogateSHAP alcançou um erro $\ell_2$ significativamente menor em relação ao valor de Shapley órfão (oracle) com o mesmo orçamento de consultas comparado ao KernelSHAP e ProxySPEX.

Significância e Alegações

O artigo afirma que o SurrogateSHAP fornece um caminho escalável e principiado para a valoração de contribuidores para modelos generativos de larga escala. Ao desacoplar a atribuição do custo computacional do retreinamento, ele permite:

• Compensação Justa: Quantificação precisa de contribuições de nível de grupo para mercados de dados.
• Auditoria de Modelos: A capacidade de identificar e localizar correlações espúrias e fontes de dados enviesadas (como demonstrado no estudo de caso clínico) sem exigir acesso aos pipelines de retreinamento.
• Democratização da Auditoria: O framework permite que pesquisadores com recursos computacionais limitados realizem auditorias de transparência em modelos de larga escala, facilitando a atribuição de crédito justa e a curadoria de datasets principiada.

Os autores enfatizam que, embora o método aumente a transparência, ele deve ser usado como uma ferramenta de diagnóstico dentro de um pipeline de governança mais amplo, observando que a otimização específica de métricas poderia inadvertidamente suprimir dados minoritários se não for gerenciada cuidadosamente.