💻 computer science

PE-Mamba: Bidirectional Selective Layer Aggregation for AI-Generated Image Detection

PE-Mamba est un cadre léger, adapté par LoRA, qui améliore la détection d'images générées par IA en introduisant un agrégateur sélectif bidirectionnel et un agrégateur pondéré par softmax pour fusionner efficacement les caractéristiques hiérarchiques, des textures superficielles aux sémantiques profondes, atteignant une généralisation de pointe à travers divers modèles génératifs avec un minimum de mises à jour de paramètres.

Auteurs originaux : Kutub Uddin, Nusrat Tasnim, Khalid Malik

Publié 2026-08-11

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kutub Uddin, Nusrat Tasnim, Khalid Malik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous déambulez dans une immense bibliothèque de haute technologie où chaque livre est une image. Pendant des années, les bibliothécaires pouvaient facilement repérer les faux livres car ils étaient imprimés sur du papier bon marché avec des taches évidentes. Mais récemment, une nouvelle sorte d'imprimante est arrivée, capable de rendre les faux livres si parfaits, avec un papier si lisse et une encre si nette, que même les experts ne peuvent plus les distinguer des vrais. C'est le monde des images générées par l'IA. Les scientifiques font la course pour construire des « détecteurs de mensonges numériques » afin de repérer ces faux avant qu'ils ne propagent la désinformation ou ne causent des fraudes. La partie délicate est que ces détecteurs reposaient auparavant sur la recherche de minuscules taches spécifiques laissées par les anciennes imprimantes. Mais quand les nouvelles imprimantes ont changé leurs méthodes, les anciens détecteurs se sont retrouvés confus. Pour résoudre cela, les chercheurs essaient maintenant de comprendre comment le « cerveau » d'un ordinateur voit une image, couche par couche, du premier regard sur une texture jusqu'à la compréhension finale de ce qu'est réellement l'objet.

Le papier que vous allez lire présente un nouveau détective nommé PE-Mamba. Au lieu de simplement chercher des taches, ce détective est conçu pour comprendre l'histoire de la construction d'une image. Considérez un Vision Transformer (le cerveau informatique utilisé par le papier) comme une équipe de détectives travaillant en ligne. Le premier détective ne voit que les contours rugueux et les couleurs ; le dernier comprend toute la scène. Les méthodes précédentes traitaient cette équipe comme un groupe d'amis criant leurs opinions en même temps et prenant une simple moyenne. Mais PE-Mamba réalise que l'ordre compte : les indices bruts du début aident à expliquer la vue d'ensemble à la fin, et la vue d'ensemble aide à donner du sens aux indices bruts du début.

PE-Mamba utilise un tour de passe-passe ingénieux appelé « balayage sélectif bidirectionnel ». Imaginez un détective marchant le long de la ligne de l'équipe, du début à la fin, recueillant des indices au fur et à mesure (balayage vers l'avant). Ensuite, il fait demi-tour et revient de la fin vers le début, réexaminant ces premiers indices avec la sagesse de la conclusion finale (balayage vers l'arrière). Cette marche dans les deux sens permet au modèle de relier les points entre les détails infimes et la signification globale d'une manière qu'une simple moyenne ne pourrait jamais faire. Le papier suggère qu'en traitant les couches du cerveau de l'ordinateur comme une séquence ordonnée plutôt que comme un tas désordonné, PE-Mamba peut repérer les faux bien mieux, même lorsque les faux sont fabriqués par de nouveaux outils d'IA qu'il n'a jamais vus.

La nouvelle stratégie du détective

Les chercheurs derrière PE-Mamba ont construit leur système sur un cerveau informatique géant pré-entraîné appelé PE-Core. Ce cerveau est déjà incroyablement intelligent pour reconnaître des objets, des visages et des scènes, mais il n'a pas été conçu à l'origine pour attraper des faux. Pour l'enseigner sans briser ses connaissances existantes, l'équipe a utilisé une technique légère appelée LoRA. Vous pouvez considérer LoRA comme l'ajout d'un petit ensemble de « roues de entrenamiento » détachables au cerveau. Au lieu de recâbler tout le moteur massif (ce qui serait coûteux et lent), ils n'ont ajusté qu'une infime fraction des connexions — seulement 1,3 % du total des paramètres, et seulement 0,13 % si l'on ne compte que la partie LoRA. Cela a permis au modèle d'apprendre les « empreintes digitales » spécifiques des images truquées tout en gardant son savoir général intact.

L'innovation centrale est la façon dont PE-Mamba combine les indices provenant des différentes couches du cerveau. Le papier soutient que les méthodes précédentes ont commis une erreur en traitant les couches comme un ensemble non ordonné, comme un seau de pièces de puzzle mélangées. PE-Mamba, cependant, respecte le flux naturel de l'information : des couches peu profondes (texture et contours) vers les couches profondes (sémantique et sens).

Pour ce faire, PE-Mamba utilise trois composants principaux :

L'Agrégateur Sélectif Bidirectionnel (BSA) : C'est le détective qui marche dans les deux sens. Il balaie les indices vers l'avant (du superficiel vers le profond) pour accumuler des preuves, puis vers l'arrière (du profond vers le superficiel) pour affiner ces premiers indices avec le contexte de l'image entière. C'est comme lire un roman policier du début à la fin, puis le relire à l'envers pour voir comment la fin explique le début.
L'Agrégateur Pondéré par Softmax (SWA) : Il agit comme un détective de « résumé global ». Il regarde tous les indices à la fois et choisit les plus importants en fonction d'un score appris, offrant une perspective différente du balayage dans les deux sens.
Le Mélange à Porte Sigmoïde (SGA) : C'est le capitaine de l'équipe. Il décide à quel point faire confiance au balayage bidirectionnel par rapport au résumé global. Il utilise une « porte » qui apprend à équilibrer les deux, garantissant que la décision finale utilise le meilleur des deux mondes.

Ce que disent les chiffres

L'équipe a testé PE-Mamba sur deux défis majeurs : le benchmark UniversalFakeDetect et le benchmark AIGCDetect. Dans ces tests, le modèle a été entraîné uniquement sur des images fabriquées par une IA spécifique (ProGAN) puis a été chargé de repérer des faux fabriqués par 19 autres modèles d'IA qu'il n'avait jamais vus, y compris des modèles de diffusion modernes comme DALL-E et Midjourney.

Les résultats sont impressionnants. Sur le benchmark UniversalFakeDetect, PE-Mamba a atteint un taux de précision de 96,6 % (mACC) et un taux de précision de 99,5 % (mAP). Cela signifie qu'il a correctement identifié les faux plus souvent que les 18 autres détecteurs avec lesquels il a été comparé. Plus frappant encore, sur le benchmark AIGCDetect — qui présente des générateurs très modernes et de haute qualité — PE-Mamba a obtenu 95,3 % de précision et 98,1 % de précision.

Le papier suggère que ce succès provient de la capacité du modèle à trouver des « incohérences structurelles transférables ». Alors que d'autres détecteurs pourraient échouer lorsque le générateur d'images truquées change de style, le balayage bidirectionnel de PE-Mamba semble trouver des motifs plus profonds qui restent cohérents à travers différents types de faux. Par exemple, alors que certains anciens détecteurs tombaient autour de 50-60 % de précision sur certains nouveaux générateurs, PE-Mamba restait fort, dépassant souvent les 95 %.

Robustesse et preuve visuelle

Les chercheurs ont également vérifié si PE-Mamba pouvait gérer le désordre du monde réel. Ils l'ont testé sur des images qui avaient été compressées (comme des JPEG), floutées ou auxquelles du bruit avait été ajouté. Même dans ces conditions difficiles, le modèle a bien tenu, conservant 88,4 % de précision même lorsque les trois distorsions étaient appliquées simultanément. Cela suggère que le modèle ne se contente pas de mémoriser des motifs de pixels spécifiques, mais apprend une compréhension plus robuste de ce qui rend une image fausse.

Pour voir comment le modèle réfléchissait, l'équipe a utilisé un outil de visualisation appelé Grad-CAM. Lorsqu'ils ont examiné les « cartes thermiques » de l'attention du modèle, ils ont vu quelque chose de fascinant. Le cerveau original, non entraîné, regardait les sujets principaux de la photo (comme un visage ou une voiture) qu'elle soit réelle ou fausse. Mais PE-Mamba a appris à ignorer les parties évidentes des photos réelles et à se concentrer intensément sur les endroits étranges et non naturels des photos fausses — comme les bords d'un objet généré par un GAN, la texture de la peau dans un deepfake, ou les motifs globaux dans une image de diffusion. Cela confirme que le modèle a réussi à repérer les « fantômes » dans la machine.

L'essentiel

Le papier conclut que traiter les couches d'un vision transformer comme une séquence ordonnée, plutôt que comme un sac de caractéristiques aléatoires, est un moyen puissant de détecter les images générées par l'IA. En utilisant un balayage bidirectionnel pour relier les détails infimes et la vue d'ensemble, PE-Mamba suggère une nouvelle voie pour la détection forensique. Il atteint des performances de premier plan tout en utilisant très peu de ressources informatiques supplémentaires, ce qui en fait un outil prometteur pour l'avenir. Cependant, les auteurs notent que certains générateurs, comme Midjourney, restent des défis, et que les travaux futurs devront explorer des méthodes d'entraînement encore plus larges pour attraper toutes les sortes de falsifications numériques.

Résumé technique : PE-Mamba pour la détection d'images générées par IA

Énoncé du problème

L'avancement rapide de l'IA générative, incluant les GAN et les modèles de diffusion, a réduit l'écart entre les images synthétiques et authentiques, rendant la détection de plus en plus difficile. Bien que les premières méthodes forensiques reposaient sur des artefacts spécifiques au domaine (par exemple, des empreintes de fréquence ou des motifs de suréchantillonnage), elles ne parviennent pas à se généraliser aux architectures génératives inédites. Les approches récentes utilisant les Vision Transformers (ViT) ont montré des résultats prometteurs en exploitant les représentations des couches intermédiaires. Cependant, les détecteurs basés sur les ViT existants agrègent généralement ces caractéristiques multi-couches à l'aide de stratégies de somme pondérée statiques. Ces méthodes traitent la séquence des couches du transformer comme un ensemble non ordonné, négligeant ainsi la progression sémantique intrinsèquement ordonnée allant des indices de texture superficiels aux représentations sémantiques profondes, ce qui est pourtant crucial pour l'analyse forensique.

Méthodologie

Le document propose PE-Mamba, un nouveau cadre conçu pour modéliser les dépendances inter-couches comme une séquence ordonnée à l'aide de Modèles d'Espace d'État Sélectifs (SSM) bidirectionnels. L'architecture se compose de cinq modules principaux :

Backbone avec adaptation LoRA : Le cadre utilise un vision transformer pré-entraîné et gelé, le PE-Core-G14-448. Pour permettre un ajustement spécifique à la tâche sans un réglage fin complet, une adaptation de bas rang (LoRA) est appliquée exclusivement aux matrices de projection Query-Key-Value (QKV). Cela limite les paramètres entraînables à environ 0,13 % du backbone, la partie totale entraînable (incluant les têtes d'agrégation) ne représentant que 1,3 % du modèle.
Extraction du jeton CLS par couche : Des hooks de type "forward" extraient le jeton de classification (CLS) de chaque couche du transformer. Ces jetons forment une séquence $g \in \mathbb{R}^{L \times D}$ , où les couches peu profondes capturent des artefacts forensiques de bas niveau (texture, fréquence) et les couches profondes encodent une sémantique de haut niveau. Ces jetons sont projetés vers une dimension unifiée $D'$ via un module de projection partagé.
Agrégateur SSM sélectif bidirectionnel (BSA) : Il s'agit de l'innovation centrale. Au lieu d'une moyenne pondérée, le BSA traite la séquence de jetons projetés à travers deux blocs SSM sélectifs indépendants :
- Scan vers l'avant (Forward Scan) : Accumule les preuves des couches superficielles vers les couches profondes (de la texture vers la sémantique).
- Scan vers l'arrière (Backward Scan) : Effectue un raffinement contextuel de la profondeur vers la surface, réinterprétant les indices de bas niveau à l'aide du contexte sémantique de haut niveau.
- Les sorties des deux scans sont moyennées (mean-pooled) et concaténées pour former une représentation directionnelle $z_m$ .
Agrégateur à pondération Softmax (SWA) : Une branche parallèle calcule un résumé global $z_\alpha$ de tous les jetons de couche en utilisant des poids softmax apprenables, servant de voie d'agrégation complémentaire qui ne dépend pas de l'ordonnancement séquentiel.
Mélange par porte Sigmoïde (SGA) : Une porte scalaire apprenable fusionne de manière adaptative la sortie directionnelle du BSA ( $z_m$ ) et la sortie globale du SWA ( $z_\alpha$ ). Cela permet au modèle de équilibrer dynamiquement les preuves séquentielles directionnelles par rapport à l'agrégation globale par couche, en fonction du signal d'entraînement.

Contributions clés

Nouveau paradigme d'agrégation : PE-Mamba remplace l'agrégation classique par moyenne pondérée inter-couches par un agrégateur SSM sélectif bidirectionnel (BSA), modélisant explicitement la progression sémantique ordonnée des représentations de couches ViT.
Mécanisme de fusion complémentaire : L'introduction d'un agrégateur à pondération Softmax (SWA) et d'un mélange par porte Sigmoïde (SGA) permet la fusion adaptative des preuves séquentielles directionnelles avec les résumés globaux, capturant des indices forensiques complémentaires à travers la hiérarchie des couches.
Efficacité des paramètres : Le cadre atteint des performances de pointe tout en n'entraînant que 1,3 % des paramètres totaux (0,13 % pour LoRA seul), préservant ainsi les représentations visuelles générales du backbone gelé.

Résultats expérimentaux

PE-Mamba a été évalué sur deux benchmarks majeurs : UniversalFakeDetect et AIGCDetect. Dans les deux cas, les modèles ont été entraînés uniquement sur ProGAN et évalués en zero-shot sur 19 générateurs inédits couvrant les GAN, d'autres modèles génératifs et les modèles de diffusion.

UniversalFakeDetect : PE-Mamba a atteint 96,6 % de mACC et 99,5 % de mAP, surpassant 18 détecteurs de pointe. Il a démontré une stabilité supérieure à travers les familles de GAN, de diffusion et d'autres générateurs, particulièrement sur des modèles complexes comme SAN et SITD où les méthodes antérieures (par exemple, RINE) montraient une dégradation significative.
AIGCDetect : Sur ce benchmark entièrement hors distribution couvrant les générateurs de diffusion modernes (ex: Midjourney, SD-XL, DALL-E 2), PE-Mamba a atteint 95,3 % de mACC et 98,1 % de mAP. Cela représente un gain substantiel par rapport au concurrent le plus proche, IAPL (91,5 % mACC), et RINE (74,8 % mACC).
Robustesse : Le modèle a maintenu des performances élevées sous diverses perturbations d'image, notamment la compression JPEG, le flou gaussien et le bruit additif, conservant 88,4 % de mACC sous une triple combinaison de distorsions.
Études d'ablation : Les expériences ont confirmé qu'une seule couche SSM est optimale, que $d_{state}=16$ et $d_{expand}=2$ offrent les meilleurs compromis, et que la combinaison de BSA, SWA et SGA est essentielle pour atteindre les performances maximales.

Signification et affirmations

L'article affirme que PE-Mamba valide l'hypothèse selon laquelle traiter les caractéristiques inter-couches des ViT comme une séquence ordonnée et exploiter leur structure directionnelle via la modélisation d'espace d'état sélectif constitue une stratégie d'agrégation forensique plus puissante et plus généralisable que les moyennes pondérées traditionnelles. En capturant des incohérences structurelles transférables au-delà des artefacts spécifiques aux générateurs, la méthode atteint une généralisation cross-modèle supérieure.

Les auteurs soulignent que la capacité du cadre à maintenir une précision élevée avec un minimum de paramètres entraînables en fait une solution pratique et efficace pour détecter les images générées par IA à travers des paysages génératifs diversifiés et évolutifs. Bien que la méthode montre une forte généralisation, les auteurs notent avec modestie que les générateurs dotés de pipelines de raffinement propriétaires (ex: Midjourney) et de synthèse guidée par classificateur (ex: ADM) restent des défis, suggérant des travaux futurs dans l'entraînement multi-sources et l'extension temporelle pour les deepfakes vidéo.