Résumé Technique : SpecSem-Net

Énoncé du Problème

Les progrès rapides des modèles commerciaux de génération vidéo par IA (par exemple, Sora, Kling, Veo) ont produit du contenu synthétique doté d'une haute fidélité visuelle et d'une cohérence spatio-temporelle. Bien que bénéfique pour les industries créatives, cette capacité pose des risques significatifs en matière de désinformation et d'utilisation malveillante. Les méthodes de détection existantes échouent souvent face à ces générateurs haute fidélité car elles reposent fortement sur des caractéristiques sémantiques (par exemple, les incohérences logiques, la permanence des objets). À mesure que les modèles génératifs s'améliorent, ces artefacts sémantiques deviennent de plus en plus subtils ou inexistants. De plus, bien que les artefacts spectraux (fréquentiels) soient des empreintes digitales inhérentes au rendu neuronal, l'analyse spectrale pure peine à distinguer les traces génératives du bruit environnemental haute fréquence bénin (par exemple, les cheveux, la végétation, les étincelles éclaboussées) inhérent à la dynamique vidéo naturelle.

Méthodologie : SpecSem-Net

Les auteurs proposent SpecSem-Net, un cadre à double flux conçu pour intégrer les caractéristiques spectrales et sémantiques. L'innovation centrale est un Mécanisme de Débruitage Spectral Guidé par la Sémantique qui utilise le contexte sémantique pour filtrer le bruit bénin des caractéristiques spectrales, permettant au modèle de se concentrer sur les artefacts génératifs authentiques.

1. Architecture à Double Flux

Le cadre traite les images vidéo à travers deux branches parallèles :

• Branche Sémantique : Prend les images vidéo brutes en entrée et extrait des représentations sémantiques couche par couche en utilisant un Encodeur CLIP préentraîné.
• Branche Spectrale :
  • Construction de l'entrée : Applique une Transformée de Fourier Rapide (FFT) 2D pour convertir les images dans le domaine fréquentiel.
  • Filtrage Passe-Haut : Utilise un masque binaire pour supprimer le contenu sémantique basse fréquence (contours d'objets, couleurs) et conserver les résidus haute fréquence où résident généralement les artefacts génératifs (par exemple, motifs de grille, anomalies de texture).
  • Reconstruction : Applique une Transformée de Fourier Inverse (iFFT) pour reconstruire la carte de résidu spectral, qui est ensuite alimentée dans un Encodeur CLIP entraînable pour l'extraction de caractéristiques.

2. Mécanisme de Fusion Portée

Pour relever le défi de la distinction entre les « textures haute fréquence naturelles » et les « artefacts générés », le modèle emploie un Mécanisme de Fusion Portée à chaque couche de l'encodeur :

• Calcul de la Porte : Les caractéristiques sémantiques encodées ($\hat{F}_{sem}$) et les caractéristiques spectrales ($\hat{F}_{spec}$) sont concaténées et passées à travers un Perceptron Multicouche (MLP) léger avec une activation Sigmoid pour générer un vecteur de poids de porte $g$.
• Modulation Adaptative : Les caractéristiques spectrales sont modulées par $(1 + g)$. Cela permet à la branche sémantique de supprimer adaptativement les canaux spectraux correspondant au bruit environnemental bénin tout en préservant et en renforçant les canaux contenant des traces génératives.
• Évolution des Caractéristiques : La branche sémantique se met à jour directement, tandis que la branche spectrale est affinée via cette guidance unidirectionnelle, assurant que le modèle se concentre sur les traces fréquentielles de haut niveau sans être distrait par les textures naturelles.

3. Agrégation Temporelle

Après avoir obtenu des caractéristiques affinées au niveau des images, un Transformateur Temporel agrège la séquence de caractéristiques dans le temps. Ce module utilise une Attention Self-Head Multi-têtes pour capturer l'évolution et la continuité des artefacts le long de l'axe temporel, produisant la prédiction finale au niveau de la vidéo.

Contributions Clés

1. Cadre SpecSem-Net : Le premier cadre à introduire un mécanisme de débruitage spectral guidé par la sémantique spécifiquement pour la détection de vidéos générées par IA haute fidélité. Il combine efficacement les caractéristiques spectrales pour la capture d'artefacts avec les caractéristiques sémantiques pour la réduction du bruit.
2. Benchmarks Complets : Les auteurs ont construit un nouveau benchmark comprenant 5 000 vidéos générées par cinq modèles commerciaux de pointe (Sora, Kling, Hailuo, Veo, Wan) et 1 000 vidéos authentiques. Cet ensemble de données est conçu pour tester rigoureusement la généralisation face à des générateurs de premier plan non vus, comblant ainsi le vide des benchmarks existants qui reposent sur des modèles plus anciens ou open-source.
3. Performance Supérieure : Des expériences extensives démontrent que SpecSem-Net surpasse les détecteurs existants de l'état de l'art (y compris DeMamba, D3, VideoMAE et Qwen-2.5-VL) à la fois sur le nouveau benchmark et sur les ensembles de données publics.

Résultats Expérimentaux

• Performance sur le Nouveau Benchmark : Sur le benchmark proposé mettant en scène des générateurs commerciaux non vus, SpecSem-Net a atteint une précision moyenne de 87,25 % et un score F1 de 86,96 %. Cela représente une amélioration significative par rapport à la deuxième meilleure méthode (ResNet50), qui a atteint une précision d'environ 79,45 %. Il est à noter que les modèles reposant uniquement sur des caractéristiques sémantiques (comme DeMamba) sont tombés à des niveaux de devinette aléatoire (~52-69 %) sur des modèles comme Sora et Veo.
• Généralisation sur les Benchmarks Publics : Sur l'ensemble de données public GenVideo, SpecSem-Net a atteint une précision moyenne de 95,59 %, se classant premier sur 6 sous-ensembles sur 7.
• Robustesse : Le modèle a démontré une stabilité supérieure face aux dégradations du monde réel, y compris la compression H.264/H.265 et le flou gaussien, maintenant une Précision Moyenne (AP) plus élevée que les bases de référence même sous un flou sévère.
• Études d'Ablation :
  • Sémantique Uniquement : A atteint une précision de seulement 55,68 %, confirmant que les caractéristiques sémantiques seules sont insuffisantes pour la détection haute fidélité.
  • Spectrale Uniquement : S'est amélioré à 70,34 %, montrant la valeur de l'analyse fréquentielle.
  • Fusion Portée : L'introduction du mécanisme de porte a fourni le gain le plus significatif, augmentant la précision de 74,54 % (concaténation simple) à 87,25 %, validant ainsi son rôle dans le filtrage du bruit spectral.

Importance et Revendications

L'article revendique que SpecSem-Net adresse la limitation critique des détecteurs actuels : leur sur-reliance sur les caractéristiques sémantiques qui échouent à mesure que les modèles génératifs s'améliorent. En exploitant la nature inhérente et résiliente des artefacts spectraux et en utilisant le contexte sémantique pour les débruiter, la méthode atteint une détection robuste même face aux générateurs commerciaux les plus avancés.

Les auteurs positionnent ce travail comme une étape nécessaire vers des mécanismes de détection automatisés et robustes capables de s'adapter à des générateurs futurs divers et puissants. Ils notent explicitement des limitations, telles que l'absence actuelle de localisation au niveau du pixel et la sensibilité au flou extrême, mais soulignent l'efficacité du modèle dans la classification au niveau de la vidéo pour la recherche et la mitigation de la désinformation. Le code et le benchmark construit sont promis pour une publication publique afin de faciliter les recherches futures.