Resumen Técnico: Inferencia de Uso de Datasets con Etiquetas Negativas (NU-DUI)

Planteamiento del Problema

La Inferencia de Uso de Datasets (DUI) tiene como objetivo estimar la fracción de un dataset específico que fue utilizada para entrenar un modelo de aprendizaje automático. Mientras que los métodos existentes como la Inferencia de Dataset (DI) pueden determinar si un dataset fue utilizado (clasificación binaria), fallan al intentar cuantificar cuánto de él se utilizó. Esta cuantificación es crítica para los marcos legales (por ejemplo, el análisis de uso legítimo bajo la Ley de Derechos de Autor de EE. UU.) y las disputas de propiedad de datos en el mundo real.

Los enfoques actuales del estado del arte, como DUCI (Tong et al., [46]), enfrentan dos barreras prácticas significativas:

1. Requisito de Modelo Sombra (Shadow Model): Requieren el entrenamiento de costosos "modelos sombra" que imiten la arquitectura y el comportamiento del modelo objetivo. Para modelos generativos a gran escala (por ejemplo, de 1.5B de parámetros), entrenar un solo modelo sombra puede tomar más de 1,500 horas de A100, lo que resulta computacionalmente prohibitivo.
2. Suposición de Datos Retenidos (Held-Out Data): Asumen el acceso a un conjunto de datos "retenidos" de confianza y dentro de la distribución, confirmado como ausente del entrenamiento del modelo objetivo. En escenarios de auditoría reales, tales datos no miembros de confianza rara vez están disponibles.

Además, los Ataques de Inferencia de Membrecía (MIAs) estándar a menudo degradan su rendimiento a niveles cercanos al azar en modelos modernos de gran tamaño debido a señales débiles por muestra y a la sensibilidad ante los cambios de distribución entre los datos miembros y no miembros.

Metodología: NU-DUI

Los autores proponen Inferencia de Uso de Datasets con Etiquetas Negativas (NU-DUI), un marco que elimina la necesidad de modelos sombra y de datos retenidos de confianza. El método replantea la DUI como un problema de Estimación de Proporción de Mezcla (MPE).

El proceso consta de tres etapas principales:

1. Construcción de Conjuntos de Sospechosos Autocodificados y No Miembros Sintéticos

Para abordar la falta de un conjunto retenido de confianza, NU-DUI construye datos de referencia directamente desde el conjunto sospechoso ($X_{real}$):

• No Miembros Sintéticos ($X_{img2img}^{nonmember}$): Las imágenes sospechosas son parafraseadas utilizando un generador de imagen-a-imagen ($G$) de una familia generativa diferente a la del modelo objetivo auditado (por ejemplo, usando Stable Diffusion para parafrasear imágenes para un modelo autorregresivo, o viceversa).
  • Razón: El uso de una familia diferente evita que las muestras sintéticas se ubiquen cerca de un "punto fijo" de la función de pérdida del modelo objetivo. Si se utilizara la misma familia, las imágenes parafraseadas podrían exhibir una pérdida artificialmente baja (pareciendo miembros) debido a la dinámica específica del proceso inverso del modelo objetivo, lo que confundiría la inferencia.
• Conjunto de Sospechosos Autocodificados ($X_{AE}$): El conjunto sospechoso original es codificado y decodificado utilizando el mismo autoencoder usado para el parafraseo.
  • Razón: Los modelos generativos introducen artefactos de alta frecuencia específicos. Al autocodificar el conjunto sospechoso, el método inyecta estos mismos artefactos en el lado "no etiquetado" de la comparación. Esto asegura que el cambio de distribución entre la mezcla no etiquetada ($U$) y los negativos sintéticos ($N$) esté dominado por el estado de membresía en lugar de por los artefactos específicos del generador.

2. Extracción de Características de MIA

El marco consulta al modelo objetivo tanto en el conjunto sospechoso autocodificado ($U$) como en el conjunto de no miembros sintéticos ($N$). Extrae un vector de características de inferencia de membresía ($\Phi_{MIA}$) adaptado a la familia del modelo objetivo:

• Para modelos Autoregresivos de Imagen (IAR), utiliza suites de características basadas en pérdidas a nivel de token y puntuaciones de confianza.
• Para modelos de Difusión, utiliza errores de predicción de ruido y discrepancias de verosimilitud condicional.
• Se combinan múltiples señales en un único vector de características para mejorar la separación entre las distribuciones de miembros y no miembros, ya que las señales individuales suelen ser débiles o ruidosas.

3. Estimación de Proporción de Mezcla (MPE)

El problema se plantea como la estimación de la proporción $\pi$ de miembros en el conjunto no etiquetado $U$, dado que $U$ es una mezcla de miembros (del conjunto sospechoso) y no miembros (sintéticos).

• El conjunto sintético $N$ sirve como la referencia de no miembros etiquetada.
• El conjunto autocodificado $U$ sirve como la mezcla no etiquetada.
• Se aplican estimadores de MPE estándar (por ejemplo, variantes de TIcE, AlphaMax, PUL) a los vectores de características para recuperar la proporción de miembros estimada $\hat{p}$.

Contribuciones Clave

1. Replanteamiento como MPE: Los autores reformularon la Inferencia de Uso de Datasets como un problema de Estimación de Proporción de Mezcla, eliminando la dependencia de costosos modelos sombra.
2. Generación de Referencia Sintética: Proponen un método para generar no miembros sintéticos realistas mediante el parafraseo de imagen-a-imagen entre familias generativas y alinean el conjunto sospechoso mediante autocodificación. Esto elimina la dependencia de conjuntos de no miembros retenidos de confianza, que típicamente no están disponibles en la práctica.
3. Validación Empírica: Se demuestra que el método produce estimaciones precisas de la proporción de miembros en cinco modelos generativos de imagen a gran escala (tanto autorregresivos como de difusión) con un costo computacional órdenes de magnitud menor que los enfoques basados en modelos sombra.

Resultados Experimentales

Los autores evaluaron NU-DUI en modelos de gran escala incluyendo VAR-24/30, RAR-XL/XXL y DiT-RF-XL/2-8E2A, entrenados en ImageNet-1k.

• Precisión: A través de varios ratios de miembros reales ($p$), NU-DUI (usando el pipeline "Synth + AE") sigue de cerca la línea de identidad.
  • En RAR-XXL con un conjunto sospechoso de 1,000 imágenes, el Error Absoluto Medio (MAE) fue de 0.058 (usando MPE basado en PUL), cerrando significativamente la brecha con la configuración "Oracle" (que asume el acceso a reales no miembros retenidos).
  • Sin la autocodificación ("Synthetic" solamente), el método sobreestima sistemáticamente el ratio de miembros en valores bajos de $p$ debido a desajustes de artefactos. La autocodificación corrige este sesgo.
• Necesidad de Diferencia de Familia: Los estudios de ablación mostraron que usar un parafraseador de la misma familia generativa que el modelo objetivo degradaba significativamente la calidad de la estimación, confirmando que la generación entre familias es esencial para evitar puntos fijos de la función de pérdida.
• Eficiencia Computacional:
  • DUCI (1 modelo sombra): ~1,500 horas de A100 para un target de 1.5B de parámetros.
  • NU-DUI: ~42.5 minutos de A100 para el mismo target.
  • Esto representa una aceleración de >2,000x, haciendo que el método sea factible para modelos grandes modernos donde el entrenamiento de sombras es imposible.
• Escalabilidad: La precisión de la estimación mejora rápidamente a medida que el tamaño del conjunto sospechoso aumenta de 100 a 1,000 imágenes, tras lo cual las ganancias se saturan. El método sigue siendo práctico incluso con conjuntos sospechosos pequeños (ej. 100 imágenes).

Significado y Limitaciones

Significancia:
El artículo presenta a NU-DUI como una herramienta práctica para propietarios de datos y auditores para obtener evidencia cuantitativa del uso de datos de entrenamiento en modelos generativos modernos. Al eliminar la necesidad de modelos sombra y de datos retenidos de confianza, hace que la auditoría de datasets sea factible para modelos propietarios de gran escala donde los métodos anteriores eran computacional o datos-prohibitivos.

Limitaciones:
Los autores señalan dos restricciones principales:

1. Fuerza de la Señal de MIA: La precisión de NU-DUI está limitada por la fuerza de las señales de inferencia de membresía disponibles. Si un modelo objetivo filtra poca información de membresía, las estimaciones serán menos estables.
2. Disponibilidad de Generadores de Diferentes Familias: El método requiere un modelo generativo suficientemente fuerte de una familia distinta para producir no miembros sintéticos. En dominios donde no existe un generador alternativo de este tipo, el método no puede aplicarse directamente.

El artículo concluye que NU-DUI desbloquea la inferencia de uso de datasets para modelos generativos modernos mediante el aprovechamiento de la generación de datos sintéticos y la estimación de proporciones de mezcla, ofreciendo una alternativa escalable a la auditoría basada en modelos sombra.