A Heritage-Aware Evaluation Framework for Synthetic Training Images of Kizil Grotto Murals
Este artigo apresenta uma estrutura de avaliação consciente do patrimônio que utiliza dez indicadores ponderados em semântica, composição, cor e linha para avaliar e triar imagens sintéticas de murais das Grutas de Kizil geradas por vários modelos de IA, identificando finalmente o Midjourney como o melhor desempenho para a criação de conjuntos de dados de treinamento de alta qualidade.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Nas profundezas da paisagem árida do oeste da China encontram-se as Grutas de Kizil, uma vasta rede de cavernas que outrora serviu como uma parada vital na antiga Rota da Seda. Dentro destas cavernas, artistas pintaram há milhares de anos, criando murais que narram histórias da vida budista usando uma linguagem visual distinta. Estas pinturas não são apenas belas; são registos históricos de crença religiosa, intercâmbio artístico e das técnicas específicas utilizadas pelos antigos artesãos. No entanto, o tempo e o ambiente cobraram um preço pesado. Os pigmentos desbotaram, o estuque rachou e muitas secções das paredes desmoronaram-se, deixando lacunas na narrativa visual. Para investigadores que desejam estudar estas obras de arte ou usar computadores para ajudar a restaurá-las, este dano cria um problema sério: simplesmente não existem imagens claras e completas suficientes para ensinar um computador a reconhecer os padrões, cores e histórias do estilo Kizil.
Para resolver esta escassez, cientistas recorreram à inteligência artificial, especificamente a um tipo de tecnologia conhecida como modelos generativos. Estes são programas de computador capazes de criar novas imagens do zero com base em descrições de texto ou exemplos. Em teoria, estas ferramentas poderiam gerar milhares de novas imagens que pareçam murais de Kizil, fornecendo a enorme quantidade de dados necessária para treinar software de restauração. Mas há um porém. O facto de um computador conseguir fazer uma imagem que se pareça com uma pintura não significa que seja uma boa pintura. Uma imagem artificial pode acertar nas cores, mas distorcer a história, ou pode capturar a forma geral de uma figura, mas perder os símbolos culturais específicos que conferem significado à arte. Se os investigadores alimentarem estes programas de treino com estas imagens falhadas, o computador poderá aprender as lições erradas, potencialmente arruinando futuros esforços de restauração. O desafio, então, não é apenas criar mais imagens, mas sim descobrir quais são fiéis ao património e quais são apenas ruído digital.
Uma equipa de investigadores da Universidade de Postos e Telecomunicações de Pequim e do Instituto de Investigação das Grutas de Kizil estabeleceu-se para construir um sistema para resolver exatamente este problema. Eles desenvolveram uma nova forma de avaliar imagens sintéticas especificamente para os murais das Grutas de Kizil, criando uma estrutura que atua como um rigoroso controlo de qualidade. Em vez de pedirem a um computador para simplesmente adivinhar se uma imagem parece "boa", eles decomporam as características únicas da arte de Kizil em quatro áreas específicas: a história que está a ser contada, o arranjo da imagem, as cores utilizadas e as linhas que definem as formas. Eles atribuíram então uma importância específica a cada uma destas áreas, decidindo que acertar na história e no significado cultural era o fator mais crítico, seguido pela composição da imagem, pela precisão das cores e, finalmente, pela suavidade das linhas.
Para testar o seu sistema, os investigadores começaram com um conjunto de imagens reais cuidadosamente preparado. Eles utilizaram 1.479 fotografias da Caverna 38, uma câmara específica nas grutas conhecida pelos seus murais ricos e relativamente completos. Destas fotos, restauraram manualmente 94 imagens para remover o ruído visual de rachas e desbotamento, e selecionaram as 24 melhores para servirem como o "padrão ouro" para o experimento. Estas 24 imagens apresentavam temas não humanos, como animais, plantas e objetos decorativos, escolhidos para evitar as dificuldades complexas de gerar rostos humanos. Usando estas 24 imagens de referência, pediram a quatro sistemas de inteligência artificial populares — Stable Diffusion, Midjourney, DALL·E 3 e Kandinsky — para gerarem novas imagens. Deram a cada sistema as mesmas instruções, pedindo que criassem imagens no estilo dos murais de Kizil com motivos e cores específicos. No total, os sistemas produziram mais de 10.000 imagens candidatas para a equipa avaliar.
Os resultados deste processo massivo de triagem revelaram que nem toda a inteligência artificial é criada igual quando se trata de património cultural. Os investigadores descobriram que um sistema, o Midjourney, produziu a qualidade geral mais elevada, pontuando melhor na escala combinada de história, composição, cor e linha. No entanto, o estudo mostrou que nenhum sistema era perfeito em tudo. Enquanto o Midjourney se destacava em capturar as histórias corretas e manter os temas principais centralizados, outro sistema, o DALL·E 3, era melhor em manter a textura e os detalhes de superfície das pinturas originais. Um terceiro sistema, o Stable Diffusion, era particularmente bom em combinar os tons específicos de vermelho e azul encontrados nos murais antigos, enquanto o quarto, o Kandinsky, era o que mais tinha dificuldade com a precisão cultural global. A equipa descobriu que uma pontuação alta numa área podia por vezes esconder uma falha noutra; por exemplo, uma imagem podia ser visualmente impressionante, mas falhar em contar a história correta, tornando-se inútil para treinar um modelo de restauração.
Os investigadores concluíram que a sua nova estrutura consegue separar o trigo do joio, identificando quais as imagens sintéticas que são seguras para treinar computadores e quais devem ser descartadas. Eles descobriram que o fator mais importante para estes murais antigos era a consistência semântica — garantir que a imagem gerada de facto representasse os símbolos culturais e os elementos da história corretos. Sem isso, mesmo uma imagem bela é enganadora. O estudo não afirma ter resolvido o problema do património digital para sempre, nem declara uma ferramenta de inteligência artificial como a vencedora definitiva para todas as tarefas futuras. Em vez disso, fornece um método prático e estruturado para curadores e cientistas filtrarem milhares de imagens geradas, garantindo que as ferramentas digitais usadas para proteger estes tesouros antigos sejam treinadas com dados que respeitem a integridade da arte original. Ao filtrar as distorções e derivações que a inteligência artificial frequentemente introduz, esta estrutura ajuda a garantir que o futuro digital das Grutas de Kizil permaneça fiel ao seu passado.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.