Fréchet inception distance under finite sampling between real image sets

En el mundo de la inteligencia artificial, que evoluciona rápidamente, las computadoras están aprendiendo a crear imágenes que parecen sorprendentemente reales. Desde la generación de retratos de personas que nunca existieron hasta el diseño de nuevos paisajes arquitectónicos, estos sistemas se están convirtiendo en herramientas poderosas tanto para artistas como para científicos. Sin embargo, este progreso plantea una pregunta crítica: ¿cómo sabemos si la computadora está haciendo un buen trabajo? Para responder a esto, los investigadores confían en una vara de medir estándar llamada distancia de Fréchet de la Inception. Piense en esta métrica como una regla sofisticada que compara dos grupos de imágenes. Funciona traduciendo cada imagen en una compleja lista de números que describen sus características visuales, tales como formas, texturas y colores. El sistema luego calcula la distancia entre el promedio de las listas de números para un conjunto de fotos reales y el promedio de la lista para un conjunto de fotos generadas por computadora. Si los dos grupos son muy similares, la distancia es pequeña; si son diferentes, la distancia es grande. Durante años, este método ha sido el estándar de oro para juzgar si una inteligencia artificial está imitando con éxito la realidad.

Un equipo de investigadores del Laboratorio Nacional de Física del Reino Unido y del Centro de Expertos Holandés para el Tamizaje decidió probar la fiabilidad de esta regla. Su objetivo no era comparar imágenes reales y falsas, sino ver qué sucede cuando la regla mide dos grupos de imágenes reales entre sí. Lógicamente, si tomas dos puñados diferentes de fotografías reales del mismo mundo, la distancia entre ellos debería ser cero, o al menos tan pequeña como para ser insignificante. Si la regla muestra una gran brecha entre dos conjuntos de fotos genuinas, sugiere que la herramienta en sí misma podría estar defectuosa. Para investigar esto, los investigadores reunieron una colección diversa de imágenes, que iban desde dígitos escritos a mano y objetos comunes hasta complejos escaneos médicos como lesiones cutáneas y mamografías. Dividieron estas grandes colecciones en grupos más pequeños y equilibrados y midieron la distancia entre ellos, rastreando cuidadosamente cómo cambiaban los resultados a medida que añadían más o menos imágenes a cada grupo.

Los resultados revelaron un patrón sorprendente y persistente. Incluso al comparar dos conjuntos de imágenes reales extraídos de la misma fuente, la herramienta de medición reportaba consistentemente una distancia distinta de cero. Esta brecha no desaparecía simplemente añadiendo más imágenes. De hecho, los investigadores encontraron que la distancia reportada disminuía solo muy lentamente a medida que el número de imágenes crecía. Cuando utilizaron métodos matemáticos para predecir qué sucedería si tuvieran un número casi infinito de imágenes —miles de millones o incluso billones—, la herramienta aún predecía una distancia notable entre los dos conjuntos de fotos reales. Este hallazgo sugiere que la herramienta no está perfectamente calibrada para reconocer que dos grupos de imágenes reales son, en esencia, lo mismo. Los investigadores observaron que este comportamiento variaba dependiendo del tipo de imagen. Para conjuntos de datos más simples y conocidos, la distancia descendía de manera predecible, pero para imágenes del mundo real más complejas, como los escaneos médicos, la caída era mucho más lenta y menos consistente.

Un descubrimiento particularmente preocupante fue que la herramienta a menudo daba puntuaciones más bajas para imágenes que eran bastante diferentes de aquello para lo que había sido entrenada. El sistema fue entrenado originalmente con una base de datos masiva de fotografías naturales, como gatos, coches y paisajes. Cuando los investigadores la probaron con imágenes médicas, que se ven muy diferentes de esas fotos naturales, la herramienta reportó que los dos grupos de escaneos médicos eran más similares entre sí de lo que la herramienta reportó para grupos de fotos naturales. Los investigadores sospechan que esto se debe a que la "visión" interna de la herramienta no está optimizada para datos médicos, lo que hace que la herramienta difumine los detalles únicos de esas imágenes en una visión genérica y homogeneizada. Esto crea un riesgo donde una imagen artificial de mala calidad podría recibir una buena puntuación simplemente porque comparte la misma falta de detalle que las imágenes médicas reales, engañando a los desarrolladores haciéndoles creer que su sistema está funcionando bien cuando no es así.

El estudio también examinó la estabilidad matemática del cálculo, específicamente observando qué sucede cuando el número de imágenes es menor que el número de características que el sistema analiza. Existe un punto teórico donde el cálculo se vuelve inestable, pero los investigadores encontraron que la salida de la herramienta no mostraba un cambio dramático o una señal de advertencia al cruzar este umbral. Los valores de la distancia y su variabilidad se mantuvieron consistentes independientemente de si el cálculo era matemáticamente "subdeterminado" o totalmente estable. Esta falta de una señal de advertencia clara significa que los usuarios podrían no darse cuenta de que sus resultados se basan en un terreno matemático inestable cuando trabajan con conjuntos de datos más pequeños.

En última instancia, la investigación cuestiona la suposición de que esta herramienta de medición proporciona una visión perfecta e imparcial de la calidad de la imagen. El hecho de que registre una diferencia significativa entre dos conjuntos de imágenes reales implica que puede no ser lo suficientemente sensible para distinguir entre una imagen artificial verdaderamente de alta calidad y una mediocre, especialmente en campos especializados como la medicina. Los autores concluyen que, si bien la herramienta sigue siendo un referente útil, sus puntuaciones deben interpretarse con cautela. La distancia que mide no es solo un reflección de qué tan bien una inteligencia artificial está copiando la realidad, sino también una reflexión de las propias limitaciones de la herramienta y de la naturaleza específica de las imágenes que se prueban. Para los científicos y desarrolladores, esto significa que una puntuación baja no garantiza la perfección, y una puntuación alta no siempre significa un fracaso, particularmente cuando las imágenes que se generan caen fuera del reino del mundo natural que la herramienta fue diseñada para comprender.