Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes

Resumen Técnico: Más allá de Ver es Creer: Sobre la Detección Colaborativa de Deepfakes Audiovisuales

Planteamiento del Problema
A medida que la tecnología de deepfake se vuelve cada vez más accesible y realista, la fiabilidad del juicio humano para distinguir entre medios audiovisuales auténticos y manipulados es una preocupación crítica para la mitigación de la desinformación. Si bien existen detectores automatizados, a menudo sufren de desplazamientos de dominio y una robustez limitada ante técnicas de manipulación no vistas. Por el contrario, la percepción humana suele ser poco fiable, con una precisión que frecuentemente se mantiene cerca de los niveles del azar en condiciones en línea. Este artículo investiga el papel del crowdsourcing como un mecanismo escalable para evaluar la autenticidad audiovisual. Específicamente, examina si los trabajadores no expertos pueden distinguir consistentemente videos auténticos de manipulados, acordar en sus juicios e identificar con precisión el tipo específico de manipulación (solo audio, solo video o audio-video conjunto) y su ubicación temporal.

Metodología
Los autores realizaron dos estudios de crowdsourcing emparejados utilizando la plataforma Prolific, empleando un único protocolo experimental en dos conjuntos de datos distintos: AV-Deepfake1M y el conjunto de datos Trusted Media Challenge (TMC).

• Muestreo de Datos: De cada conjunto de datos, los investigadores aplicaron un muestreo aleatorio estratificado para seleccionar 48 videos (12 auténticos, 12 manipulados solo en audio, 12 manipulados solo en video y 12 manipulados en audio-video conjunto), resultando en un total de 96 videos.
• Diseño de la Tarea: Se asignaron unidades de trabajo a los trabajadores que contenían cuatro videos. Para cada video, primero juzgaron la autenticidad (Real vs. Manipulado). Si se seleccionaba "Manipulado", identificaban el tipo (Audio, Video o Ambos) y marcaban un timestamp aproximado.
• Estrategias de Agregación: Para derivar etiquetas a nivel de video, el estudio empleó dos métodos de agregación:
  1. Votación Mayoritaria: Seleccionar la etiqueta con el mayor número de votos (resolviendo los empates a favor de "Auténtico" para minimizar los falsos positivos).
  2. Teoría de Dempster-Shafer (DS): Un enfoque basado en funciones de creencia que pondera la evidencia según la fiabilidad del trabajador (calculada mediante validación leave-one-out) para manejar la incertidumbre y combinar juicios imperfectos.
• Métricas de Evaluación: El estudio midió el rendimiento de clasificación (Precisión, Recall, F1, Tasas de Falsos Positivos/Negativos), el acuerdo interanotador (α de Krippendorff, acuerdo mayoritario, acuerdo por pares) y la consistencia de los timestamps (mediana, IQR y puntuaciones de acuerdo dentro de una ventana de ±5%). La significancia estadística se evaluó utilizando pruebas no paramétricas (U de Mann-Whitney, McNemar, Kruskal-Wallis) con las correcciones apropiadas para comparaciones múltiples.

Contribuciones Clave

1. Liberación de Conjunto de Datos y Protocolo: Los autores liberaron dos estudios de crowdsourcing emparejados sobre AV-Deepfake1M y TMC, proporcionando un conjunto de datos completo de 960 juicios (10 por video) que incluye autenticidad, tipo de manipulación y anotaciones de timestamp, junto con la configuración completa de la tarea.
2. Análisis Comparativo: El estudio proporciona un análisis sistemático de la precisión, el acuerdo y los perfiles de error en dos conjuntos de datos diferentes y tres tipos de manipulación bajo un protocolo unificado, evaluando la consistencia interna de los timestamps reportados.
3. Compensaciones de Agregación: El artículo compara la votación mayoritaria y la agregación de Dempster-Shafer, cuantificando la compensación entre manipulaciones pasadas por alto (Falsos Negativos) y falsas alarmas (Falsos Positivos) al utilizar juicios de la multitud como señal de filtrado.

Resultados

• Detección de Autenticidad (RQ1): Los trabajadores de la multitud rara vez clasifican incorrectamente videos auténticos como manipulados (baja tasa de falsos positivos), pero a menudo pasan por alto manipulaciones reales (alta tasa de falsos negativos). El rendimiento varió significativamente según el conjunto de datos: TMC arrojó mayor precisión y recall que AV-Deepfake1M. La agregación (tanto votación mayoritaria como DS) estabilizó la señal de autenticidad, pero no pudo recuperar manipulaciones que la mayoría de los trabajadores pasaron por alto consistentemente. La agregación DS aumentó la sensibilidad a las manipulaciones (mayor recall), pero a costa de un aumento de falsos positivos.
• Acuerdo (RQ2): La consistencia interna entre los trabajadores fue limitada en general, pero significativamente mayor para TMC que para AV-Deepfake1M. El α de Krippendorff fue de 0.113 para AV-Deepfake1M y 0.353 para TMC, lo que indica que la estabilidad de la señal de la multitud depende en gran medida de las características del conjunto de datos.
• Identificación del Tipo de Manipulación (RQ3): Identificar el tipo específico de manipulación fue sustancialmente más ruidoso que detectar la autenticidad. Incluso cuando los trabajadores marcaron correctamente un video como manipulado, tuvieron dificultades para atribuir la anomalía a la modalidad correcta. Las manipulaciones de audio-video conjunto fueron particularmente difíciles de reconocer, a menudo reduciéndose a una sola modalidad (generalmente solo audio). Sin embargo, cuando los trabajadores sí detectaron una manipulación, sus informes de timestamp mostraron una convergencia razonable en el segmento manipulado, especialmente en el conjunto de datos TMC.

Significancia y Afirmaciones
El artículo concluye que el crowdsourcing puede servir como una señal de filtrado escalable para la autenticidad audiovisual, particularmente para filtrar contenido claramente auténtico, pero no es una solución independiente para la detección fiable o la atribución de modalidad. Los autores enfatizan que:

• Dependencia del Conjunto de Datos: La efectividad de los juicios de la multitud no es uniforme; varía significativamente según las características del conjunto de datos subyacente (por ejemplo, duración del video, calidad de la manipulación).
• La Atribución de Modalidad es un Desafío Abierto: Si bien detectar que un video es falso es factible con agregación, determinar cómo fue falsificado (audio vs. video vs. ambos) sigue siendo poco fiable, especialmente para manipulaciones conjuntas complejas.
• Flujo de Trabajo Práctico: Los hallazgos apoyan un flujo de trabajo de dos etapas donde el crowdsourcing se utiliza para un filtrado inicial y escalable para priorizar contenido para una revisión posterior, mientras que la atribución de modalidad y la verificación final se posponen para una revisión experta o interfaces asistidas por modelos. El estudio no afirma que el crowdsourcing pueda reemplazar a los detectores automatizados o a los verificadores de hechos expertos, sino que sugiere su utilidad como un componente en un sistema humano-en-el-bucle para la gestión de la desinformación.