Frozen DINO Localizes Image Edits Without a Localizer

Dans le monde moderne, les photographies ne sont plus de simples enregistrements de la réalité ; elles sont des données malléables qui peuvent être altérées d'un simple clic. L'intelligence artificielle générative a rendu possible l'insertion de nouveaux objets, la suppression de personnes ou le changement d'arrière-plans de manière si fluide que l'œil humain ne peut souvent pas faire la différence. Cette capacité crée un besoin pressant d'outils forensiques qui font plus que simplement signaler une image comme étant « fausse ». Pour être véritablement utile, un détecteur doit agir comme un cartographe, localisant précisément quels pixels ont été altérés et lesquels restent authentiques. Sans cette précision spatiale, nous ne pouvons pas faire confiance aux parties non éditées d'une photo, ni comprendre la nature spécifique de la tromperie.

Pendant des années, des chercheurs ont tenté de résoudre ce problème en entraînant des modèles informatiques complexes sur des milliers d'exemples d'images réelles et fausses, leur apprenant à reconnaître les subtiles cicatrices numériques laissées par les logiciels de retouche. Cependant, une nouvelle approche est apparue qui court-circuite l'entraînement. Au lieu d'apprendre à partir d'exemples, cette méthode repose sur la sensibilité intrinsèque d'un système de vision puissant et préexistant. Elle repose sur un principe simple : si vous perturbez légèrement une image, les parties qui ont été éditées réagiront différemment des parties qui sont authentiques. La question que les chercheurs se sont posée était de savoir si cette réaction pouvait être cartographiée en détail sans avoir besoin d'un détecteur spécialisé, simplement en observant comment un système de vision standard traite l'image avant et après une légère poussée contrôlée.

Une équipe de chercheurs, comprenant Zane Kumar, Vishal Jain et Bernhard Kainz, s'est donné pour mission de tester cette idée en utilisant un système de vision sophistiqué appelé DINO. Ce système est un « cerveau » informatique à usage général, pré-entraîné sur de vastes quantités de données pour comprendre les images, mais il n'est pas spécifiquement entraîné pour repérer les faux. Les chercheurs ont pris une photographie et ont créé une seconde version de celle-ci, légèrement altérée à l'aide d'une technique mathématique appelée perturbation de Haar. Ce processus est comparable à un léger secouement de l'image pour voir comment sa structure interne ondule, sans réellement changer le contenu d'une manière perceptible par l'humain. Ils ont ensuite injecté l'original et la version légèrement secouée dans le système DINO figé. Comme le système est « figé », ses paramètres internes ne peuvent pas changer ; il se contente de traiter les deux images et produit une grille de réponses, une pour chaque petite zone de l'image.

La découverte fondamentale de l'étude est que la différence entre la façon dont le système répond à l'image originale et à l'image perturbée crée une carte des modifications. Lorsqu'une zone de la photo a été artificiellement générée ou collée, la réaction interne du système à la secousse est notablement différente de la réaction de l'arrière-plan authentique. En mesurant cette « dérive » dans la réponse du système à travers toute l'image, les chercheurs ont pu générer une carte thermique qui met en évidence les régions éditées. Ils ont nommé cette méthode TRAIL. Remarquablement, cela a été accompli sans entraîner un seul nouveau paramètre ni enseigner au système ce qu'est un faux. La capacité de localiser l'édition était déjà cachée à l'intérieur du système de vision standard, attendant d'être révélée par le bon type de perturbation.

Lorsque l'équipe a testé cette méthode sur un ensemble de données de 80 images contenant des retouches réalistes, les résultats ont été frappants. La méthode TRAIL a réussi à identifier l'emplacement des modifications avec un haut degré de précision, obtenant un score presque aussi élevé qu'un système supervisé de pointe qui avait été explicitement entraîné sur des milliers d'exemples de masques faux. Bien que le système entraîné ait été légèrement plus performant dans certains indicateurs spécifiques, la différence était si faible qu'elle entrait dans la marge d'incertitude statistique. Plus important encore, les chercheurs ont constaté que ce signal ne dépendait pas du type spécifique d'intelligence artificielle utilisé pour créer l'image fausse. Lorsqu'ils ont testé la méthode sur des images éditées avec des techniques classiques, non génératives comme l'interpolation de Poisson — une méthode qui mélange les pixels mathématiquement sans utiliser de modèle génératif — le système fonctionnait presque aussi bien. Cela prouve que le signal n'est pas seulement un sous-produit des erreurs d'un générateur spécifique, mais une propriété fondamentale de la manière dont ces systèmes de vision traitent les contextes d'images altérées par rapport aux images naturelles.

L'étude a également exploré l'endroit où ce signal est le plus fort dans le système de vision. En examinant les différentes couches de l'architecture DINO, les chercheurs ont découvert que la capacité à localiser les éditions apparaît systématiquement dans les couches les plus profondes du réseau, spécifiquement dans les 10 à 20 derniers pour cent de ses étapes de traitement. Cela suggère que le système ne développe cette sensibilité qu'après avoir pleinement traité l'image et compris son contexte global. De plus, la taille du modèle importait, mais pas de la manière que l'on pourrait attendre. Bien que les modèles plus grands ne produisent pas toujours un score brut plus élevé pour détecter les faux, ils sont bien meilleurs pour distinguer la dérive spécifique causée par une édition des variations normales trouvées dans une image réelle. Cela signifie que les modèles plus grands et plus puissants sont plus aptes à isoler l'« empreinte digitale » de la manipulation du bruit de la scène.

La découverte la plus critique concerne la manière dont l'image est présentée au système. Les chercheurs ont découvert que la méthode repose fortement sur le fait que l'image soit traitée dans sa globalité. Lorsqu'ils ont tenté de modifier l'image en perturbant uniquement de petites zones isolées et en les injectant séparément dans le système, la capacité à localiser l'édition a chuté de manière significative. Le système a besoin de voir l'image entière, la région éditée entourée de son contexte d'origine, pour générer une carte précise. Cela indique que la « dérive » détectée par le système n'est pas seulement un artefact local, mais une rupture dans la relation entre la partie éditée et le reste de la scène. La méthode fonctionne mieux lorsque le contexte global est préservé, permettant au système de percevoir la subtile dissonance entre le patch faux et ses environs authentiques.

En fin de compte, cette recherche démontre que les outils pour détecter et localiser les falsifications d'images existent déjà au sein des systèmes de vision à usage général que nous utilisons quotidiennement. Nous n'avons pas nécessairement besoin de construire de nouveaux détecteurs spécialisés pour chaque nouveau type de retouche. Au lieu de cela, en observant simplement comment ces systèmes existants réagissent à une perturbation douce et contrôlée, nous pouvons dévoiler une carte cachée de l'endroit où la vérité s'arrête et où la fabrication commence. L'étude confirme que l'information spatiale nécessaire pour localiser une édition est présente dans la réponse brute d'un encodeur de vision figé, attendant d'être lue si nous savons comment regarder. Cela ouvre une nouvelle voie pour l'analyse forensique, plus rapide, ne nécessitant aucun entraînement et reposant sur les mécanismes fondamentaux de la perception du monde par les machines.