A Heritage-Aware Evaluation Framework for Synthetic Training Images of Kizil Grotto Murals
Este artículo presenta un marco de evaluación consciente del patrimonio que utiliza diez indicadores ponderados a través de la semántica, la composición, el color y la línea para evaluar y filtrar imágenes sintéticas de murales de las Grutas de Kizil generadas por diversos modelos de IA, identificando finalmente a Midjourney como el mejor desempeño para la creación de conjuntos de datos de entrenamiento de alta calidad.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En lo profundo del paisaje árido del oeste de China se encuentran las Grutas de Kizil, una vasta red de cuevas que alguna vez sirvieron como una parada vital en la antigua Ruta de la Seda. En el interior de estas cuevas, los artistas pintaron hace miles de años, creando murales que cuentan historias de la vida budista utilizando un lenguaje visual distintivo. Estas pinturas no son solo hermosas; son registros históricos de creencias religiosas, intercambio artístico y las técnicas específicas utilizadas por los antiguos artesanos. Sin embargo, el tiempo y el entorno han pasado una factura pesada. Los pigmentos se han desvanecido, el yeso se ha agrietado y muchas secciones de las paredes se han desmoronado, dejando huecos en la narrativa visual. Para los investigadores que desean estudiar estas obras de arte o utilizar computadoras para ayudar a restaurarlas, este daño crea un problema serio: simplemente no hay suficientes imágenes claras y completas para enseñar a una computadora cómo reconocer los patrones, los colores y las historias del estilo de Kizil.
Para solucionar esta escasez, los científicos han recurrido a la inteligencia artificial, específicamente a un tipo de tecnología conocida como modelos generativos. Estos son programas informáticos capaces de crear nuevas imágenes desde cero basadas en descripciones de texto o ejemplos. En teoría, estas herramientas podrían generar miles de nuevas imágenes que parezcan murales de Kizil, proporcionando la enorme cantidad de datos necesarios para entrenar el software de restauración. Pero hay un inconveniente. El hecho de que una computadora pueda crear una imagen que parezca una pintura no significa que sea una buena pintura. Una imagen artificial podría acertar con los colores, pero distorsionar la historia, o podría capturar la forma general de una figura pero perder los símbolos culturales específicos que dotan de significado al arte. Si los investigadores alimentan sus programas de entrenamiento con estas imágenes defectuosas, la computadora podría aprender las lecciones equivocadas, arruinando potencialmente los futuros esfuerzos de restauración. El desafío, entonces, no es solo crear más imágenes, sino determinar cuáles son fieles al patrimonio y cuáles son solo ruido digital.
Un equipo de investigadores de la Universidad de Postes y Telecomunicaciones de Beijing y el Instituto de Investigación de las Cuevas de Kizil se propuso construir un sistema para resolver este problema exacto. Desarrollaron una nueva forma de evaluar imágenes sintéticas específicamente para los murales de las Grutas de Kizil, creando un marco que actúa como un riguroso control de calidad. En lugar de pedirle a una computadora que simplemente adivine si una imagen parece "buena", desglosaron las características únicas del arte de Kizil en cuatro áreas específicas: la historia que se cuenta, la disposición de la imagen, los colores utilizados y las líneas que definen las formas. Luego asignaron una importancia específica a cada una de estas áreas, decidiendo que lograr la historia y el significado cultural correctos era el factor más crítico, seguido de cómo se componía la imagen, la precisión de los colores y, finalmente, la suavidad de las líneas.
Para probar su sistema, los investigadores comenzaron con un conjunto de imágenes reales cuidadosamente preparado. Tomaron 1,479 fotografías de la Cueva 38, una cámara específica de las grutas conocida por sus murales ricos y relativamente completos. A partir de estas fotos, restauraron manualmente 94 imágenes para eliminar el ruido visual de las grietas y el desvanecimiento, y luego seleccionaron las 24 mejores para servir como el "estándar de oro" para el experimento. Estas 24 imágenes presentaban sujetos no humanos como animales, plantas y objetos decorativos, elegidos para evitar las dificultades complejas de generar rostros humanos. Utilizando estas 24 imágenes de referencia, pidieron a cuatro sistemas de inteligencia artificial populares —Stable Diffusion, Midjourney, DALL·E 3 y Kandinsky— que generaran nuevas imágenes. Le dieron a cada sistema las mismas instrucciones, pidiéndoles que crearan imágenes al estilo de los murales de Kizil con motivos y colores específicos. En total, los sistemas produjeron más de 10,000 imágenes candidatas para que el equipo las evaluara.
Los resultados de este proceso masivo de selección revelaron que no toda la inteligencia artificial es igual cuando se trata de patrimonio cultural. Los investigadores descubrieron que un sistema, Midjourney, produjo la mayor calidad general, obteniendo la mejor puntuación en la escala combinada de historia, composición, color y línea. Sin embargo, el estudio mostró que ningún sistema era perfecto en todo. Mientras que Midjourney sobresalía al capturar las historias correctas y mantener los sujetos principales centrados, otro sistema, DALL·E 3, era mejor manteniendo la textura y los detalles superficiales de las pinturas originales. Un tercer sistema, Stable Diffusion, era particularmente bueno igualando los tonos específicos de rojo y azul que se encuentran en los murales antiguos, mientras que el cuarto, Kandinsky, fue el que más problemas tuvo con la precisión cultural general. El equipo descubrió que una puntuación alta en un área podía a veces ocultar un fallo en otra; por ejemplo, una imagen podía ser visualmente impactante pero fallar en contar la historia correcta, lo que la hacía inútil para entrenar un modelo de restauración.
Los investigadores concluyeron que su nuevo marco logra separar el trigo de la paja, identificando qué imágenes sintéticas son seguras para entrenar a las computadoras y cuáles deben descartarse. Descubrieron que el factor más importante para estos murales antiguos era la consistencia semántica: asegurar que la imagen generada representara realmente los símbolos culturales y los elementos de la historia correctos. Sin esto, incluso una imagen hermosa es engañosa. El estudio no pretende haber resuelto el problema del patrimonio digital para siempre, ni declara a una herramienta de inteligencia artificial como la ganadora definitiva para todas las tareas futuras. En cambio, proporciona un método práctico y estructurado para que los curadores y científicos filtren miles de imágenes generadas, asegurando que las herramientas digitales utilizadas para proteger estos tesoros antiguos se entrenen con datos que respeten la integridad del arte original. Al filtrar las distorsiones y desviaciones que la inteligencia artificial suele introducir, este marco ayuda a garantizar que el futuro digital de las Grutas de Kizil sea fiel a su pasado.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.