A Marketplace for AI-Generated Adult Content and Deepfakes

Resumen Técnico: Un mercado para contenido de adultos y deepfakes generado por IA

Planteamiento del problema
La IA generativa ha democratizado la creación de medios sintéticos realistas, lo que ha dado lugar a la aparición de plataformas impulsadas por la comunidad que combinan la interacción social con la generación de contenido. Mientras que plataformas como Civitai facilitan el intercambio de modelos y resultados, también albergan una función de "Recompensas" (Bounties) monetizada donde los usuarios encargan contenido específico generado por IA a cambio de un pago. Esto crea un mercado estructurado que coordina la demanda, la labor y la recompensa. Sin embargo, la dinámica de este mercado permanece en gran medida inexplorada, particularmente en lo que respecta a los tipos de contenido incentivados, la prevalencia de material "No apto para el trabajo" (NSFW, por sus siglas en inglés) y el uso del sistema para generar deepfakes no consensuados (medios que representan a individuos reales identificables). La investigación existente se ha centrado en imágenes y modelos generados, pero no ha analizado sistemáticamente las señales de la demanda y las estructuras de incentivos de tales sistemas de recompensas.

Metodología
Los autores realizaron un análisis longitudinal de todas las solicitudes de recompensas disponibles públicamente en Civitai durante un periodo de 14 meses (15 de octubre de 2023 – 30 de enero de 2025), lo que resultó en un conjunto de datos de 4.847 recompensas.

• Recopilación de datos: Un pipeline personalizado utilizando sesiones de navegación automatizadas con Python Selenium para capturar metadatos de las recompensas (títulos, descripciones, métricas de interacción) e imágenes de ejemplo. La recopilación de datos se realizó en dos fases: una fase "difuminada" para capturar las clasificaciones de explicidad proporcionadas por la plataforma (PG, PG-13, R, X, XXX) y una fase "no difuminada" para capturar las URL de las imágenes.
• Estrategia de clasificación:
  • Etiquetado SFW/NSFW: Las recompensas se clasificaron como NSFW si alguna imagen de ejemplo presentaba una clasificación "R", "X" o "XXX". Para validar esto, los autores compararon las etiquetas de Civitai con la API de moderación de contenido de OpenAI, encontrando que Civitai adopta un enfoque de clasificación más conservador.
  • Análisis temático: Para las recompensas SFW (seguras para el trabajo), los autores emplearon un pipeline de clasificación temática automatizado. Tras una anotación manual de una muestra de 150 recompensas para establecer una taxonomía (que incluyó categorías como "Deepfake humano", "Personajes ficticios" y "NSFW"), se seleccionó GPT-4.1 para la clasificación a gran escala debido a una mayor fiabilidad inter-evaluador (Krippendorff's $\alpha$ = 0.8) en comparación con GPT-4o.
  • Identificación de deepfakes: Un proceso de dos pasos identificó las solicitudes de deepfakes: (1) GPT-4.1 analizó las recompensas SFW en busca de temas de "Deepfake humano", y (2) los títulos y descripciones de las recompensas NSFW fueron analizados para detectar posible contenido de deepfake. Todos los casos identificados por la IA pasaron por una revisión manual por parte de un único anotador humano para verificar si se dirigían a personas reales, lo que resultó en un conjunto confirmado de 323 recompensas de deepfake.
• Análisis de concentración: Los autores cuantificaron la concentración de la participación de los usuarios mediante curvas de Lorenz y coeficientes de Gini en las categorías SFW, NSFW y de deepfakes.
• Evaluación de la intervención: El estudio midió la efectividad del aviso informativo de Civitai (una advertencia sobre la apariencia de personas reales) calculando la proporción de recompensas de deepfake que mostraban este marcador.

Contribuciones clave y resultados
El estudio proporciona la primera caracterización sistemática de un mercado de IA generativa monetizado y de base comunitaria, revelando lo siguiente:

1. Composición del mercado: El sistema de recompensas está dominado por solicitudes de LoRAs (Adaptaciones de Bajo Rango) e imágenes, que juntas constituyen el 92% de todas las recompensas. Los LoRAs son significativos ya que permiten a los usuarios orientar los modelos hacia comportamientos para los cuales no fueron entrenados originalmente, eludiendo eficazmente las salvaguardas.
2. Prevalencia y crecimiento del contenido NSFW: Las solicitudes NSFW son generalizadas y están en aumento. Hacia el final del periodo de estudio, las recompensas NSFW constituían la mayoría de las solicitudes semanales (superando el 50% en septiembre de 2024). Específicamente, el 48% de todas las recompensas eran NSFW, siendo las recompensas de video las que mostraban la mayor proporción (69%).
3. Segmentación de deepfakes: Las solicitudes de deepfakes constituyen una parte no despreciable del mercado. Existe una marcada asimetría de género: el 95.8% de los objetivos de deepfake son mujeres, siendo las actrices y actrices las profesiones más frecuentemente señaladas.
4. Concentración de usuarios: La participación es desigual. Aproximadamente el 20% de los solicitantes representan cerca de la mitad de todas las solicitudes. Esta concentración es más pronunciada en la categoría de deepfakes (coeficiente de Gini = 0.45), lo que sugiere que un pequeño grupo de usuarios muy activos impulsa la actividad relacionada con deepfakes.
5. Brechas de cumplimiento: El mecanismo de intervención de Civitai (una alerta informativa sobre deepfakes) se aplica de manera inconsistente. Mientras que el 85.6% de las recompensas de deepfake SFW mostraban la alerta, solo el 58.3% de las recompensas de deepfake NSFW lo hacían, dejando una fracción sustancial de solicitudes de alto riesgo sin marcar. Además, a pesar de una actualización formal de la política en agosto de 2024 que prohíbe las representaciones de personas reales, dichas solicitudes persistieron en la plataforma.

Significancia y afirmaciones
El artículo afirma ofrecer una lente empírica novedosa sobre cómo las plataformas de IA generativa monetizadas y de base comunitaria estructuran la participación y aplican las salvaguardas. Los autores argumentan que sus hallazgos demuestran cómo tales mercados pueden producir daños de género, específicamente a través de la segmentación desproporcionada de mujeres en las solicitudes de deepfake.

El estudio destaca que la función de "Recompensas" crea un incentivo económico directo para generar contenido que puede violar las políticas de la plataforma o las normas éticas, incluyendo la imagen íntima no consensuada. Los autores concluyen que el modelo de gobernanza actual, que depende en gran medida del autoinforme de los usuarios y de la detección automatizada inconsistente, es insuficiente. Sugieren que una gobernanza efectiva requiere combinar reglas basadas en el contenido con señales de comportamiento (como la concentración de la actividad de los usuarios) y un monitoreo proactivo. El documento no propone nuevas soluciones técnicas, sino que hace un llamado a un escrutinio más cercano de los incentivos de las plataformas y a la necesidad de que reguladores y moderadores aborden las brechas entre la política y la ejecución.