Resumen Técnico: SurrogateSHAP

Planteamiento del Problema

A medida que los modelos de difusión de Texto-a-Imagen (T2I) se vuelven integrales en los flujos de trabajo creativos, surge la necesidad urgente de un marco de trabajo principista para valorar a los contribuyentes de datos con el fin de lograr una compensación justa y mercados de datos sostenibles. Si bien el valor de Shapley ofrece un método teóricamente sólido para la atribución al cuantificar las contribuciones marginales en todos los subconjuntos posibles de contribuyentes, su aplicación a los modelos T2I modernos enfrenta un doble cuello de botella computacional:

1. Costo de Entrenamiento: El cálculo exacto de Shapley requiere el reentrenamiento del modelo para cada subconjunto de contribuyentes, lo cual es prohibitivamente costoso para los modelos de difusión a gran escala.
2. Complejidad de Muestreo: Las funciones de utilidad en la valoración de conjuntos de datos son a menudo altamente no lineales e involucran interacciones complejas, lo que requiere un número combinatorio de consultas de subconjuntos para obtener estimaciones estables y de baja varianza.

Las alternativas existentes, como la agregación de atribuciones de datos individuales (por ejemplo, D-TRAK, DAS), a menudo no logran capturar las no linealidades a nivel de grupo y las propiedades descendentes como la estética. Otros enfoques basados en Shapley dependen del ajuste fino (fine-tuning) disperso o del reentrenamiento exacto, los cuales siguen siendo computacionalmente intensivos.

Metodología: SurrogateSHAP

Los autores proponen SurrogateSHAP, un marco de trabajo libre de entrenamiento que aproxima el costoso "juego de entrenamiento" mediante la inferencia de un modelo preentrenado y emplea un árbol potenciado por gradiente (GBT) como sustituto para mejorar la eficiencia de la estimación. El método consta de dos componentes principales:

1. Juego Proxy Libre de Entrenamiento

En lugar de reentrenar un modelo $\theta^*_S$ para un subconjunto específico de contribuyentes $S$, SurrogateSHAP reinterpreta el modelo objetivo $\theta$ (entrenado en el conjunto de datos completo) como una mezcla de generadores condicionales.

• Mecanismo: La distribución de salida para una coalición $S$ se aproxima como una mezcla de las distribuciones condicionales del modelo completo $p_\theta(x|\psi(y))$, ponderadas por la frecuencia empírica de los prompts en la coalición.
• Justificación Teórica: Los autores proporcionan un límite teórico (Proposición 4.2) que muestra que si las distribuciones condicionales de clase del modelo entrenado con la coalición y el modelo completo son estables en un espacio de características alineado con la utilidad (Suposición 4.1), la utilidad proxy $\hat{v}_\theta(S)$ sigue de cerca la verdadera utilidad de entrenamiento $v(S)$. Esto elimina la necesidad de un entrenamiento específico para cada subconjunto, reduciendo la evaluación de subconjuntos a un problema de muestreo de mezclas.

2. Sustituto Basado en Árboles para la Estimación de Shapley

Para abordar la alta varianza y la ineficiencia de muestreo de la estimación de los valores de Shapley para funciones de utilidad complejas y no lineales, el marco de trabajo aprende un modelo sustituto.

• Procedimiento: El método toma muestras de $M$ coaliciones, evalúa la utilidad proxy para cada una y entrena un árbol potenciado por gradiente (GBT) sustituto $\hat{f}_\omega$ para aproximar la función de utilidad sobre el hipercubo booleano de los contribuyentes.
• Cálculo Analítico: Los valores de Shapley se derivan analíticamente del conjunto de árboles entrenado utilizando TreeSHAP. Este enfoque captura los sesgos de interacción jerárquica sin imponer restricciones explícitas de dispersión, ofreciya una mayor eficiencia de muestreo que los estimadores basados en Monte Carlo como KernelSHAP.

Contribuciones Clave

1. Proxy Libre de Entrenamiento: Una formulación novedosa que evita el reentrenamiento aprovechando las capacidades de generación condicional de un único modelo preentrenado, validada mediante límites de error teóricos y fidelidad empírica.
2. Estimación Eficiente: La integración de sustitutos GBT y TreeSHAP para calcular analíticamente los valores de Shapley, reduciendo significativamente el número de consultas requeridas para una estimación estable en comparación con los estimadores de Shapley existentes.
3. Evaluación Exhaustiva: El marco de trabajo se evalúa en tres tareas de atribución diversas:
   • Calidad de Imagen: DDPM-CFG en CIFAR-20 (métricas: FID, Inception Score).
   • Estética: Stable Diffusion en obras de arte postimpresionistas (métrica: Aesthetic Score).
   • Diversidad de Productos: FLUX.1 en datos de productos de moda (métricas: LPIPS, Diversidad).
4. Estudio de Caso de Auditoría Clínica: Aplicación del marco de trabajo para auditar un modelo de dermatología entrenado con datos clínicos de múltiples centros (conjunto de datos ISIC), localizando con éxito correlaciones espurias entre el sexo del paciente y el diagnóstico de melanoma en fuentes de datos hospitalarias específicas.

Resultados Experimentales

• Fidelidad del Proxy: La utilidad proxy de SurrogateSHAP demuestra una alta alineación con la verdadera utilidad de entrenamiento, logrando una menor deriva de representación (RMS LPISE) y un error de utilidad más ajustado (NRMSE) en comparación con las líneas base de ajuste fino disperso (sFT).
• Eficiencia Computacional: El método es significativamente más rápido que las líneas base de reentrenamiento o ajuste fino (por ejemplo, 23.4$\times$ más rápido en CIFAR-20, 12.8$\times$ en ArtBench).
• Precisión de Atribución:
  • Puntuación de Modelo de Datos Lineal (LDS): SurrogateSHAP supera consistentemente a las líneas base previas (incluyendo TRAK, Funciones de Influencia y Shapley basado en sFT) en la predicción de comportamientos de modelos no vistos en todos los conjuntos de datos y métricas. Por ejemplo, en CIFAR-20 (FID), alcanzó un LDS del 51.21% frente al rendimiento negativo de sFT.
  • Evaluación Contrafactual: La eliminación de los contribuyentes con menor rango identificados por SurrogateSHAP condujo a mejoras en el rendimiento o degradaciones mínimas, mientras que la eliminación de los contribuyentes con mayor rango causó las caídas de calidad más significativas, confirmando la capacidad del método para identificar datos influyentes.
• Eficiencia de Muestreo: En juegos sintéticos con interacciones no lineales, SurrogateSHAP logró un error $\ell_2$ significativamente menor respecto al valor de Shapley oráculo con el mismo presupuesto de consultas en comparación con KernelSHAP y ProxySPEX.

Significado y Reivindicaciones

El artículo afirma que SurrogateSHAP proporciona un camino escalable y principista hacia la valoración de contribuyentes para modelos generativos a gran escala. Al desacoplar la atribución del costo computacional del reentrenamiento, permite:

• Compensación Justa: Cuantificación precisa de las contribuciones a nivel de grupo para los mercados de datos.
• Auditoría de Modelos: La capacidad de identificar y localizar correlaciones espurias y fuentes de datos sesgadas (como se demostró en el caso clínico) sin requerir acceso a los procesos de reentrenamiento.
• Democratización de la Auditoría: El marco permite a los investigadores con recursos computacionales limitados realizar auditorías de transparencia en modelos a gran escala, facilitando la asignación de crédito justa y la curación de conjuntos de datos con principios claros.

Los autores enfatizan que, si bien el método mejora la transparencia, debe utilizarse como una herramienta de diagnóstico dentro de un proceso de gobernanza más amplio, señalando que la optimización específica de métricas podría suprimir inadvertidamente los datos de minorías si no se gestiona cuidadosamente.