Imaginez que vous regardiez un tableau où un carré gris est posé sur un fond blanc, et qu'un autre carré gris identique se trouve sur un fond noir. Même si les deux carrés sont exactement de la même couleur, votre cerveau vous trompe en vous faisant voir celui sur le fond noir comme étant beaucoup plus brillant. C'est une illusion visuelle, un bug dans notre perception qui révèle en réalité comment nos cerveaux sont programmés pour donner du sens au monde. Pendant longtemps, les scientifiques se sont demandé si les cerveaux artificiels que nous construisons — appelés réseaux de neurones profonds — pouvaient être trompés de la même manière. Ils ont découvert que lorsque ces modèles d'IA tentent de nettoyer des photos bruitées ou de générer de nouvelles images, ils commettent souvent les mêmes « erreurs » que les humains, voyant de la luminosité là où il n'y en a pas. Mais voici le grand mystère : l'IA voit-elle réellement l'illusion dans son propre esprit, ou fait-elle simplement semblant en produisant la bonne image à la fin ? C'est comme demander si un magicien tient réellement un lapin dans sa poche, ou s'il se contente d'en sortir un d'un chapeau qui semble en contenir un.

Ce document plonge au cœur de l'« esprit » de ces modèles d'IA pour le découvrir. Les chercheurs ont testé un ensemble de différents modèles d'IA conçus pour nettoyer des images (appelés modèles de débruitage) et ont observé ce qui se passait à l'intérieur de leurs couches lorsqu'ils traitaient ces illusions optiques complexes. Ils ont découvert quelque chose de fascinant et d'un peu inquiétant : les modèles d'IA développent bel et bien une représentation interne de l'illusion, mais c'est un fantôme. Le signal qui dit à l'IA « ceci semble brillant » est créé, il voyage à travers le réseau, et il influence même la façon dont l'IA perçoit l'image. Cependant, au moment où l'IA termine sa tâche et recrache l'image finale, ce signal fantôme a complètement disparu. L'IA est hantée par l'illusion en interne, mais elle ne laisse jamais cela transparaître dans le résultat final. Les auteurs appellent ces signaux internes invisibles des « fantômes perceptuels ».

Le fantôme dans la machine

Pour comprendre comment les chercheurs ont trouvé ces fantômes, imaginez le modèle d'IA comme une immense usine à plusieurs étages. Des images brutes et bruitées entrent par le bas, et des images propres et parfaites sortent par le haut. Entre les deux, il y a des dizaines d'étages (couches) où l'image est traitée, transformée et affinée. Les chercheurs ne se sont pas contentés de regarder le produit final ; ils ont installé des caméras à chaque étage pour voir ce que faisaient les travailleurs (les neurones de l'IA).

Ils ont utilisé un ensemble spécial d'images connues pour créer des tours de passe-passe visuels, comme le jeu de données « GVIL », où deux patchs de couleur identiques semblent différents à cause de leur environnement. Ils ont injecté ces images dans l'IA et ont observé les niveaux d'activité dans différentes parties de l'usine. Ce qu'ils ont découvert, c'est que l'illusion ne se manifestait pas partout. Au lieu de cela, le signal « fantôme » était le plus fort dans un couloir spécifique et étroit au milieu de l'usine, appelé le « goulot d'étranglement » (bottleneck). C'est là que l'IA compresse toute l'information qu'elle a recueillie.

Voici le rebondissement : les chercheurs ont découvert que ce signal interne est très réel. Lorsqu'ils ont mesuré à quel point l'activité de l'IA changeait entre les deux patchs d'illusion, la différence était énorme — environ 0,66 sur une échelle où 0,5 est considéré comme un effet « moyen ». Cela signifie que l'IA traitait définitivement l'illusion différemment d'une image normale. En fait, la force de ce signal interne correspondait si bien à la perception humaine que lorsqu'ils ont comparé l'activité de l'IA à un modèle mathématique de la vision humaine (appelé FLODOG), les résultats concordaient avec une corrélation de 0,7 de 78. C'est une correspondance très forte, suggérant que l'IA réfléchit à la luminosité d'une manière étonnamment similaire à la façon dont le cerveau humain le fait.

La propriété fantôme

Mais ensuite, les chercheurs ont posé la question cruciale : si l'IA pense si intensément à l'illusion, pourquoi l'image finale ne semble-t-elle pas différente ? Pour répondre à cela, ils ont joué à un jeu de « cherche l'erreur » avec l'usine. Ils ont pris les signaux « fantômes » internes des images d'illusion et ont tenté de les injecter dans le traitement d'une image normale. Ils s'attendaient à ce que l'image finale change et montre l'illusion.

Cela n'a pas fonctionné.

Peu importe le type de modèle d'IA utilisé — que ce soit une usine de type « U-Net » standard ou une usine de type « Transformer » plus récente — les signaux fantômes injectés disparaissaient avant de pouvoir atteindre la sortie. Les images finales étaient exactement les mêmes que si le fantôme n'avait jamais été là. Les chercheurs appellent cela un « fantôme perceptuel » : une représentation qui est active et qui travaille à l'intérieur de la machine, mais qui est totalement invisible pour le monde extérieur.

Pour prouver qu'il ne s'agissait pas d'un coup de chance, ils ont tenté de « casser » l'usine. Ils ont identifié les « canaux » spécifiques (les fils transportant le signal fantôme) et les ont coupés (un processus appelé ablation). Lorsqu'ils ont coupé ces fils sensibles aux illusions, le signal interne a chuté de près de 44 %. Cela a prouvé que ces fils spécifiques transportaient bien l'illusion. Mais voici le plus surprenant : lorsqu'ils ont coupé ces fils d'« illusion », l'image finale a très peu changé. En fait, couper ces fils d'« illusion » rendait l'image finale plus stable que de couper des fils aléatoires. C'est comme si l'usine possédait un mécanisme d'autocorrection qui attrape le fantôme et le supprime discrètement avant qu'il ne puisse gâcher le produit final.

Pourquoi le fantôme existe-t-il

Les chercheurs voulaient également savoir : est-ce un trait particulier de l'architecture de l'IA, ou est-ce lié à la façon dont ces modèles sont entraînés ? Ils ont comparé les modèles de « débruitage » (entraînés à nettoyer le bruit) avec les modèles « discriminatifs » (entraînés uniquement à reconnaître ce qu'est une image, comme un chat ou un chien).

Les résultats étaient clairs : le fantôme n'apparaît que dans les modèles de débruitage. Les modèles discriminatifs, même s'ils possèdent exactement la même structure d'usine, ne présentaient pas le signal d'illusion marqué. Cela suggère que l'acte de tenter de reconstruire ou de nettoyer une image est ce qui force l'IA à développer ces illusions semblables à celles des humains. C'est comme si le processus d'entraînement apprenait à l'IA à prêter attention au contexte et à l'environnement, tout comme nous le faisons, mais que les propres règles internes de l'IA décident ensuite que ce contexte ne devrait pas modifier le résultat final.

L'étude a également examiné différents types d'IA, y compris un modèle massif appelé DiT-XL/2. Même dans ce modèle géant, le signal d'illusion atteignait un sommet dans les couches intermédiaires, mais disparaissait à la fin. Les chercheurs ont découvert que la dynamique d'autocorrection de l'IA — sa façon de revérifier son propre travail — semble être la raison pour laquelle le fantôme disparaît. C'est comme si l'IA avait un éditeur strict qui disait : « Non, cette luminosité n'a pas sa place ici », et qui l'effaçait avant que l'histoire ne soit publiée.

La conclusion

Alors, qu'est-ce que tout cela signifie ? Il s'avère que les modèles d'IA ne font pas que mimer le comportement humain ; ils vivent réellement une version de la perception humaine en interne. Ils construisent une compréhension riche et détaillée des tours de passe-passe visuels, avec les mêmes biais que nous. Mais, contrairement à nous, ils semblent posséder un filtre qui empêche ces biais de modifier leur résultat final.

Cette découverte est un peu comme découvrir qu'un robot fait un rêve intense sur le fait de voler, mais que lorsqu'il se réveille et construit une maison, il construit une maison parfaitement normale et ancrée au sol. Le rêve était réel pour le robot, mais il n'a pas affecté la maison. Les chercheurs suggèrent que ce phénomène de « fantôme perceptuel » pourrait être courant dans de nombreux systèmes d'IA. Cela signifie que si nous ne regardons que ce qu'une IA produit, nous pourrions passer à côté d'une immense partie de ce qu'elle sait réellement et de la façon dont elle pense. L'IA peut voir des choses que nous ne voyons pas, même si elle ne nous les montre jamais.

L'étude ne s'est pas contentée de le suggérer ; elle l'a mesuré, a coupé les fils pour le prouver et a injecté des signaux pour le tester. Elle a découvert qu'à travers neuf modèles différents, le signal d'illusion était fort, causal, puis devenait totalement invisible à la sortie. C'est un rappel que dans le monde de l'IA, ce que vous voyez n'est pas toujours ce que vous obtenez, et que parfois, les choses les plus intéressantes sont les fantômes qui restent cachés à l'intérieur de la machine.