Do CNNs Internally Represent Real and Fake Images Differently? A Hidden-Layer Analysis

Nel moderno mondo digitale, i computer sono diventati straordinariamente bravi a guardare le immagini e a comprendere ciò che vedono. Possono identificare un gatto, un'auto o un tipo specifico di paesaggio con un livello di accuratezza che rivaleggia con la visione umana. Questa capacità si basa su sistemi complessi chiamati reti neurali, progettati per imitare il modo in cui il cervello umano elabora le informazioni. Questi sistemi non si limitano a memorizzare un'immagine; la scompongono in strati di segnali interni, attivando percorsi specifici per riconoscere modelli e assegnare un significato. Per anni, gli scienziati hanno assunto che se un'immagine appare reale a noi, il computer la veda allo stesso modo, indipendentamente dal fatto che l'immagine sia stata catturata da una fotocamera o creata da una macchina.

Tuttavia, una nuova ondata di strumenti di intelligenza artificiale può ora generare immagini visivamente indistinguibili dalle fotografie reali. Queste immagini sintetiche sono create da modelli che apprendono da vaste librerie di foto esistenti e poi costruiscono nuove scene da zero. Poiché queste immagini false stanno diventando comuni nelle notizie, sui social media e persino nei dati scientifici, sorge una domanda critica: il computer crede davvero che l'immagine falsa sia reale? Se l'ingranaggio interno del computer elabora un'immagine falsa in modo diverso rispetto a una reale, anche quando entrambe mostrano la stessa identica scena, ciò potrebbe rivelare un difetto nascosto nel modo in cui queste macchine percepiscono il mondo. Questa distinzione è vitale per mantenere la fiducia nei media digitali e per garantire che i sistemi automatizzati non vengano ingannati da sottili imperfezioni che l'occhio umano non può vedere.

Un team di ricercatori della Kansas State University si è posto l'obiettivo di investigare proprio questa questione. Volevano sapere se i "pensieri" interni di un sistema di visione artificiale cambino quando guarda un'immagine falsa rispetto a una reale, anche quando il contenuto dell'immagine rimane identico. Per farlo, si sono concentrati su un tipo specifico di modello informatico noto come rete neurale convoluzionale, ampiamente utilizzata per il riconoscimento di scene e oggetti. I ricercatori non si sono limitati a chiedere al computer di indovinare se un'immagine fosse reale o falsa. Invece, hanno guardato dentro il cervello della macchina per vedere come i neuroni — le unità di base dell'elaborazione — si attivassero quando presentati con diversi tipi di immagini.

Il team ha iniziato addestrando un modello informatico per riconoscere varie scene del mondo reale, come un soggiorno, una montagna innevata o una strada trafficata. Una volta addestrato il modello, hanno utilizzato uno strumento di generazione di immagini potente per creare versioni false di queste stesse scene. Hanno utilizzato due metodi diversi per creare questi falsi. Nel primo metodo, hanno fornito al generatore una descrizione testuale della scena, chiedendogli di creare una foto realistica basata esclusivamente sulle parole. Nel secondo metodo, hanno fornito al generatore la foto reale originale insieme a una descrizione testuale, chiedendogli di ricreare la scena mantenendo la struttura e il layout originali. Ciò ha garantito che per ogni immagine reale ci fosse un'immagine falsa corrispondente con lo stesso contenuto semantico, permettendo un confronto diretto.

Con queste coppie di immagini reali e false pronte, i ricercatori le hanno caricate nel modello informatico addestrato. Mentre le immagini passavano attraverso il sistema, il team ha registrato l'attività dell'ultimo strato di neuroni, che è dove il modello prende le decisioni finali su ciò che sta vedendo. Hanno poi confrontato i modelli di attivazione delle immagini reali rispetto ai loro corrispettivi falsi. L'obiettivo era vedere se i neuroni si attivassero con la stessa intensità e nelle stesse combinazioni, o se le immagini false causassero una reazione diversa all'interno della macchina.

I risultati sono stati chiari e coerenti. I ricercatori hanno scoperto che le immagini false non attivavano i neuroni nello stesso modo in cui lo facevano le immagini reali. Anche quando le immagini false apparivano perfette all'occhio umano, i segnali interni del computer erano più deboli e meno organizzati. Nello specifico, le immagini false causavano l'attivazione di meno neuroni, e quelli che si attivavano mostravano spesso livelli di attività inferiori. Questo effetto è stato osservato in diversi tipi di scene ed è stato costante, sia che le immagini false fossero generate solo da testo, sia che fossero generate da una combinazione di testo e un'immagine originale. Lo studio suggerisce che il computer stia rilevando sottili incoerenze strutturali o dettagli mancanti nelle immagini false che non sono ovvi per noi, causando una rappresentazione interna della scena meno robusta.

Per garantire che queste differenze non fossero semplicemente causate dal fatto che le immagini false fossero di qualità inferiore o sfocate, i ricercatori hanno testato ulteriormente la loro teoria. Hanno preso immagini reali e le hanno deliberatamente degradate applicando la compressione JPEG e la sfocatura, imitando il tipo di danno che potrebbe verificarsi durante la trasmissione o l'archiviazione. Sebbene queste immagini degradate abbiano causato alcuni cambiamenti nell'attività dei neuroni, il modello di cambiamento non era lo stesso di quello osservato con le immagini false. Le immagini false producevano una firma distinta di riduzione dell'attività che non poteva essere spiegata completamente dal semplice degrado dell'immagine. Ciò indica che la differenza non riguarda solo il fatto che l'immagine sembri "brutta", ma riguarda il modo in cui il computer elabora fondamentalmente i dati sintetici rispetto ai dati reali.

I ricercatori hanno anche testato le loro scoperte utilizzando diversi modelli informatici e diversi set di immagini per vedere se il risultato reggesse sotto varie condizioni. Hanno ripetuto l'esperimento con un altro tipo di rete neurale e un altro strumento di generazione di immagini. In ogni caso, il modello è rimasto lo stesso: le immagini false evocavano una risposta diversa, e generalmente più debole, dagli strati nascosti del computer. Questa coerenza tra diverse configurazioni rafforza la conclusione che il fenomeno sia una caratteristica genuina del modo in cui questi sistemi elaborano i dati sintetici.

Lo studio non sostiene di aver risolto il problema del rilevamento delle immagini false, né suggerisce che questo metodo da solo sia pronto per essere utilizzato come rilevatore universale. Al contrario, fornisce un'intuizione fondamentale sulla natura dell'intelligenza artificiale. Rivela che, anche quando un computer viene ingannato dall'aspetto visivo di un'immagine falsa, il suo ingranaggio interno sa che qualcosa è diverso. I neuroni non si illuminano con la stessa fiducia o chiarezza con cui lo fanno per una fotografia reale. Questa scoperta apre una nuova porta per la ricerca futura. Comprendendo esattamente come questi segnali interni differiscano, gli scienziati potrebbero essere in grado di sviluppare strumenti migliori per identificare i media sintetici, non solo guardando i pixel sulla superficie, ma ascoltando i segnali interni e silenziosi della macchina stessa. Il lavoro suggerisce che la strada verso una maggiore sicurezza dell'IA risieda nella comprensione di questi strati nascosti di elaborazione, dove la verità dell'immagine viene rivelata non da ciò che vediamo, ma da come il computer pensa.