Do CNNs Internally Represent Real and Fake Images Differently? A Hidden-Layer Analysis

En el mundo digital moderno, las computadoras se han vuelto notablemente buenas para observar imágenes y comprender lo que ven. Pueden identificar un gato, un coche o un tipo específico de paisaje con un nivel de precisión que rivaliza con la visión humana. Esta capacidad se basa en sistemas complejos llamados redes neuronales, que están diseñados para imitar la forma en que el cerebro humano procesa la información. Estos sistemas no solo almacenan una imagen; la descomponen en capas de señales internas, activando vías específicas para reconocer patrones y asignar significado. Durante años, los científicos han asumido que si una imagen nos parece real, la computadora la ve de la misma manera, independientemente de si la imagen fue capturada por una cámara o creada por una máquina.

Sin embargo, una nueva ola de herramientas de inteligencia artificial puede ahora generar imágenes que son visualmente indistinguibles de las fotografías reales. Estas imágenes sintéticas son creadas por modelos que aprenden de vastas bibliotecas de fotos existentes y luego construyen nuevas escenas desde cero. A medida que estas imágenes falsas se vuelven más comunes en las noticias, las redes sociales e incluso en los datos científicos, surge una pregunta crítica: ¿cree la computadora verdaderamente que la imagen falsa es real? Si la maquinaria interna de la computadora procesa una imagen falsa de manera diferente a una real, incluso cuando ambas muestran exactamente la misma escena, esto podría revelar un fallo oculto en cómo estas máquinas percieren el mundo. Esta distinción es vital para mantener la confianza en los medios digitales y asegurar que los sistemas automatizados no sean engañados por sutiles imperfecciones que el ojo humano no puede ver.

Un equipo de investigadores de la Universidad Estatal de Kansas se propuso investigar precisamente esta cuestión. Querían saber si los "pensamientos" internos de un sistema de visión computacional cambian cuando mira una imagen falsa en comparación con una real, incluso cuando el contenido de la imagen es idéntico. Para ello, se centraron en un tipo específico de modelo computacional conocido como red neuronal convolucional, que es ampliamente utilizado para reconocer escenas y objetos. Los investigadores no se limitaron a pedirle a la computadora que adivinara si una imagen era real o falsa. En su lugar, miraron dentro del cerebro de la máquina para ver cómo se disparaban las neuronas —las unidades básicas de procesamiento— al presentar diferentes tipos de imágenes.

El equipo comenzó entrenando un modelo computacional para reconocer diversas escenas del mundo real, como una sala de estar, una montaña nevada o una calle concurrida. Una vez entrenado el modelo, utilizaron una poderosa herramienta de generación de imágenes para crear versiones falsas de estas mismas escenas. Utilizaron dos métodos diferentes para crear estos falsos. En el primer método, le dieron al generador una descripción textual de la escena, pidiéndole que creara una foto realista basada únicamente en palabras. En el segundo método, proporcionaron al generador la foto real original junto con una descripción de texto, pidiéndole que recreara la escena manteniendo la disposición y estructura originales. Esto aseguró que para cada imagen real, existiera una imagen falsa correspondiente con el mismo contenido semántico, permitiendo una comparación directa.

Con estos pares de imágenes reales y falsas listos, los investigadores los introdujeron en el modelo computacional entrenado. A medida que las imágenes pasaban por el sistema, el equipo registró la actividad de la última capa de neuronas, que es donde el modelo toma sus decisiones finales sobre lo que está viendo. Luego compararon los patrones de activación de las imágenes reales contra sus contrapartes falsas. El objetivo era ver si las neuronas se activaban con la misma intensidad y en las mismas combinaciones, o si las imágenes falsas causaban una reacción diferente dentro de la máquina.

Los resultados fueron claros y consistentes. Los investigadores descubrieron que las imágenes falsas no activaban las neuronas de la misma manera que las imágenes reales. Incluso cuando las imágenes falsas parecían perfectas para el ojo humano, las señales internas de la computadora eran más débiles y menos organizadas. Específicamente, las imágenes falsas causaban que se activaran menos neuronas, y aquellas que se activaban a menudo mostraban niveles de actividad más bajos. Este efecto se observó en diferentes tipos de escenas y fue constante, ya fuera que las imágenes falsas se generaran a partir de texto solo o mediante una combinación de texto y una imagen original. El estudio sugiere que la computadora está detectando inconsistencias estructurales sutiles o detalles faltantes en las imágenes falsas que no son obvios para nosotros, lo que provoca que la representación interna de la escena sea menos robusta.

Para asegurar que estas diferencias no fueran simplemente causadas por el hecho de que las imágenes falsas fueran de menor calidad o borrosas, los investigadores probaron su teoría más a fondo. Tomaron imágenes reales y las degradaron deliberadamente aplicando compresión JPEG y desenfoque, imitando el tipo de daño que podría ocurrir durante la transmisión o el almacenamiento. Si bien estas imágenes degradadas causaron algunos cambios en la actividad de las neuronas, el patrón de cambio no fue el mismo que vieron con las imágenes falsas. Las imágenes falsas produjeron una firma distintiva de reducción de actividad que no podía explicarse completamente mediante la simple degradación de la imagen. Esto indica que la diferencia no es solo que la imagen se vea "mal", sino sobre cómo la computadora procesa fundamentalmente los datos sintéticos frente a los datos reales.

Los investigadores también probaron sus hallazgos utilizando diferentes modelos computacionales y diferentes conjuntos de imágenes para ver si el resultado se mantenía bajo diversas condiciones. Repitieron el experimento con un tipo diferente de red neuronal y una herramienta de generación de imágenes distinta. En cada caso, el patrón permaneció igual: las imágenes falsas evocaban una respuesta diferente y, por lo general, más débil de las capas ocultas de la computadora. Esta consistencia a través de diferentes configuraciones refuerza la conclusión de que el fenómeno es una característica genuina de cómo estos sistemas procesan los datos sintéticos.

El estudio no pretende haber resuelto el problema de la detección de imágenes falsas, ni sugiere que este método por sí solo esté listo para ser utilizado como un detector universal. En cambio, proporciona una visión fundamental de la naturaleza de la inteligencia artificial. Revela que, incluso cuando una computadora es engañada por la apariencia visual de una imagen falsa, su maquinaria interna sabe que algo es diferente. Las neuronas no se iluminan con la misma confianza o claridad con la que lo hacen para una fotografía real. Este descubrimiento abre una nueva puerta para la investigación futura. Al comprender exactamente cómo difieren estas señales internas, los científicos podrían ser capaces de desarrollar mejores herramientas para identificar medios sintéticos, no solo mirando los píxeles en la superficie, sino escuchando las señales internas y silenciosas de la máquina misma. El trabajo sugiere que el camino hacia una IA más fiable reside en comprender estas capas ocultas de procesamiento, donde la verdad de la imagen se revela no por lo que vemos, sino por cómo piensa la computadora.