Do CNNs Internally Represent Real and Fake Images Differently? A Hidden-Layer Analysis

Dans le monde numérique moderne, les ordinateurs sont devenus remarquablement doués pour regarder des images et comprendre ce qu'ils voient. Ils peuvent identifier un chat, une voiture ou un type spécifique de paysage avec un niveau de précision qui rivalise avec la vision humaine. Cette capacité repose sur des systèmes complexes appelés réseaux de neurones, qui sont conçus pour imiter la façon dont le cerveau humain traite l'information. Ces systèmes ne se contentent pas de stocker une image ; ils la décomposent en couches de signaux internes, activant des voies spécifiques pour reconnaître des motifs et attribuer un sens. Pendant des années, les scientifiques ont supposé que si une image semble réelle pour nous, l'ordinateur la voit de la même manière, qu'elle ait été capturée par un appareil photo ou créée par une machine.

Cependant, une nouvelle vague d'outils d'intelligence artificielle peut désormais générer des images visuellement indiscernables de véritables photographies. Ces images synthétiques sont créées par des modèles qui apprennent à partir de vastes bibliothèques de photos existantes, puis construisent de nouvelles scènes à partir de rien. À mesure que ces fausses images deviennent plus courantes dans les actualités, les réseaux sociaux et même les données scientifiques, une question critique se pose : l'ordinateur croit-il vraiment que l'image fausse est réelle ? Si la machinerie interne de l'ordinateur traite une image fausse différemment d'une image réelle, même lorsqu'elles présentent exactement la même scène, cela pourrait révéler une faille cachée dans la façon dont ces machines perçoivent le monde. Cette distinction est vitale pour maintenir la confiance dans les médias numériques et garantir que les systèmes automatisés ne soient pas trompés par des imperfections subtiles que l'œil humain ne peut voir.

Une équipe de chercheurs de l'Université d'État du Kansas s'est lancée dans l'investigation de cette question précise. Ils voulaient savoir si les « pensées » internes d'un système de vision par ordinateur changent lorsqu'il regarde une image fausse par rapport à une image réelle, même lorsque le contenu de l'image reste identique. Pour ce faire, ils se sont concentrés sur un type spécifique de modèle informatique connu sous le nom de réseau de neurones convolutifs, largement utilisé pour la reconnaissance de scènes et d'objets. Les chercheurs ne se sont pas contentés de demander à l'ordinateur de deviner si une image est réelle ou fausse. Au lieu de cela, ils ont regardé à l'intérieur du cerveau de la machine pour voir comment les neurones — les unités de traitement de base — s'activent lorsqu'ils sont présentés à différents types d'images.

L'équipe a commencé par entraîner un modèle informatique à reconnaître diverses scènes du monde réel, telles qu'un salon, une montagne enneigée ou une rue animée. Une fois le modèle entraîné, ils ont utilisé un puissant outil de génération d'images pour créer des versions fausses de ces mêmes scènes. Ils ont utilisé deux méthodes différentes pour créer ces faux. Dans la première méthode, ils ont donné au générateur une description textuelle de la scène, lui demandant de créer une photo réaliste basée uniquement sur des mots. Dans la seconde méthode, ils ont fourni au générateur la photo réelle originale ainsi qu'une description textuelle, lui demandant de recréer la scène tout en conservant la structure et la disposition originales. Cela a permis de garantir que pour chaque image réelle, il existe une image fausse correspondante avec le même contenu sémantique, permettant une comparaison directe.

Avec ces paires d'images réelles et fausses prêtes, les chercheurs les ont injectées dans le modèle informatique entraîné. À mesure que les images passaient à travers le système, l'équipe enregistrait l'activité de la dernière couche de neurones, là où le modèle prend ses décisions finales sur ce qu'il voit. Ils ont ensuite comparé les schémas d'activation des images réelles par rapport à leurs homologues fausses. Le but était de voir si les neurones s'activaient avec la même intensité et dans les mêmes combinaisons, ou si les images fausses provoquaient une réaction différente à l'intérieur de la machine.

Les résultats étaient clairs et cohérents. Les chercheurs ont découvert que les images fausses ne déclenchaient pas les neurones de la même manière que les images réelles. Même lorsque les images fausses paraissaient parfaites pour l'œil humain, les signaux internes de l'ordinateur étaient plus faibles et moins organisés. Plus précisément, les images fausses ont fait s'activer moins de neurones, et ceux qui s'activaient présentaient souvent des niveaux d'activité plus bas. Cet effet a été observé à travers différents types de scènes et était constant, que les images fausses aient été générées à partir de texte seul ou d'une combinaison de texte et d'une image originale. L'étude suggère que l'ordinateur détecte des incohérences structurelles subtiles ou des détails manquants dans les images fausses qui ne sont pas évidents pour nous, rendant sa représentation interne de la scène moins robuste.

Pour s'assurer que ces différences n'étaient pas simplement causées par le fait que les images fausses étaient de moindre qualité ou floues, les chercheurs ont testé leur théorie plus avant. Ils ont pris des images réelles et les ont délibérément dégradées en appliquant une compression JPEG et un flou, simulant le genre de dommages qui pourraient survenir lors de la transmission ou du stockage. Bien que ces images dégradées aient causé certains changements dans l'activité des neurones, le schéma de changement n'était pas le même que celui observé avec les images fausses. Les images fausses produisaient une signature distincte de réduction d'activité qui ne pouvait être pleinement expliquée par une simple dégradation de l'image. Cela indique que la différence ne réside pas seulement dans le fait que l'image soit de mauvaise qualité, mais plutôt dans la façon dont l'ordinateur traite fondamentalement les données synthétiques par rapport aux données réelles.

Les chercheurs ont également testé leurs conclusions en utilisant différents modèles informatiques et différents ensembles d'images pour voir si le résultat tenait la route sous diverses conditions. Ils ont répété l'expérience avec un autre type de réseau neuronal et un autre outil de génération d'images. Dans chaque cas, le schéma est resté le même : les images fausses provoquaient une réponse différente, et généralement plus faible, des couches cachées de l'ordinateur. Cette cohérence à travers différents montages renforce la conclusion selon laquelle le phénomène est une caractéristique réelle de la façon dont ces systèmes traitent les données synthétiques.

L'étude ne prétend pas avoir résolu le problème de la détection des images fausses, ni suggère qu'elle est prête à être utilisée seule comme un détecteur universel. Au contraire, elle apporte un éclairage fondamental sur la nature de l'intelligence artificielle. Elle révèle que même lorsqu'un ordinateur est trompé par l'apparence visuelle d'une image fausse, sa machinerie interne sait que quelque chose est différent. Les neurones ne s'illuminent pas avec la même confiance ou la même clarté que lorsqu'ils font face à une photographie réelle. Cette découverte ouvre une nouvelle porte à la recherche future. En comprenant exactement comment ces signaux internes diffèrent, les scientifiques pourraient être capables de développer de meilleurs outils pour identifier les médias synthétiques, non pas seulement en regardant les pixels à la surface, mais en écoutant les signaux internes et discrets de la machine elle-même. Le travail suggère que la voie vers une IA plus fiable passe par la compréhension de ces couches de traitement cachées, où la vérité de l'image est révélée non pas par ce que nous voyons, mais par la façon dont l'ordinateur pense.