MDTD-ArtIR: Benchmarking Image Editing and Restoration Models for Art Image Restoration under Texture-Overlay Degradations

Imagine que você é um restaurador de arte, mas, em vez de um pincel empoeirado e uma paleta de tintas, você tem um programa de computador super inteligente. Seu trabalho é consertar pinturas antigas e danificadas — talvez uma que esteja rachada como um leito de rio seco, outra manchada com pontos amarelos misteriosos, ou uma terceira onde um pedaço da tela simplesmente desapareceu. Este é o mundo da restauração de arte impulsionada por IA, um campo onde computadores tentam adivinhar como uma obra-prima era antes que o tempo e os acidentes a arruinassem. Mas aqui está a parte complicada: o computador não precisa apenas preencher os espaços vazios; ele precisa fazer isso sem inventar detalhes selvagens e falsos que nunca existiram. É como tentar terminar a história de um amigo quando ele para de falar no meio; você quer adivinhar o final que se encaixa no estilo dele, não inventar um dragão se ele estava escrevendo um mistério.

Para testar se esses programas de computador são realmente bons nisso, os cientistas geralmente lhes dam problemas de prática. Mas a maioria desses problemas de prática é fácil demais ou falsa demais. Eles podem pedir ao computador para consertar uma foto borrada ou remover algumas gotas de chuva, o que é como praticar em uma janela levemente suja antes de tentar consertar um vitral estilhaçado. O verdadeiro dano à arte é bagunçado, estranho e muitas vezes esconde partes da imagem sob camadas de sujeira ou rachaduras. A grande questão que os pesquisadores estão fazendo é: Nossas melhores ferramentas de IA conseguem lidar com esse dano real e bagunçado sem perder a alma da obra de arte?

---

O Grande Roubo de Arte: Quando a IA Tenta Consertar uma Pintura

Conheça a equipe MDTD-Art, um grupo de pesquisadores da Universidade de Durham que decidiu construir um novo campo de treinamento super desafiador para restauradores de arte por IA. Eles perceberam que os antigos testes de prática eram como jogar "O Mestre Mandou" com um disco riscado — as instruções eram simples demais e o dano era previsível demais. Então, eles inventaram um novo jogo chamado MDTD-ArtIR.

Pense no novo conjunto de dados deles como um "simulador de danos". Em vez de apenas borrar uma imagem, eles pegaram pinturas lindas e limpas e sobrepuseram 47 tipos diferentes de texturas estranhas — como lama rachada, tinta respingada ou esponjas porosas. Mas eles não apenas jogaram essas texturas por cima; eles brincaram com um "botão de transparência". Eles podiam tornar o dano fraco (baixa opacidade), como uma leve camada de farinha, ou espesso e pesado (alta opacidade), como despejar um balde de lama sobre a pintura. Isso criou um espectro de dificuldade, do "fácil demais" ao "boa sorte, você vai precisar de um milagre".

O Concurso: Mecânicos Especializados vs. Contadores de Histórias Criativos

Os pesquisadores organizaram um confronto entre dois tipos de modelos de IA:

1. Os Mecânicos Especializados (Modelos de restauração universal de imagens): Estes são os robôs de "conserto". Eles são treinados especificamente para remover arranhões, ruídos ou borrões. São como um mestre relojoeiro que sabe exatamente como consertar uma engrenagem quebrada.
2. Os Contadores de Histórias Criativos (Modelos de edição de imagem): Estes são os robôs de "inventar". Eles são geralmente usados para mudar uma foto (como transformar um cachorro em um gato ou adicionar um chapéu). São como um escritor criativo que consegue improvisar uma cena inteira baseada em algumas pistas.

A equipe queria ver quem conseguiria restaurar melhor as pinturas quando o dano era pesado e as pistas eram escassas. Eles testaram esses modelos usando dois "manuais de instrução" (prompts) diferentes:

• O Prompt Simples: Apenas dizia: "Conserte isto".
• O Prompt de Especialista: Dizia: "Você é um restaurador especialista. A máscara é o dano, não a arte. Remova-a e reconstrua a cena original".

A Grande Surpresa: Os Contadores de Histórias Ganharam (Em Grande Parte)

Aqui está a reviravolta que o artigo descobriu: Os Contadores de Histórias Criativos (Modelos de Edição de Imagem) geralmente superaram os Mecânicos Especializados.

Quando o dano era leve (baixa opacidade), todos se saíam bem. Mas conforme a "lama" ficava mais espessa (alta opacidade), os Mecânicos Especializados começavam a ter dificuldades. Eles frequentemente deixavam o dano lá ou tentavam consertá-lo de uma forma que parecia rígida e artificial. Eles estavam focados demais nas "regras" de conserto e não tinham imaginação suficiente para adivinhar o que estava por baixo.

Os Contadores de Histórias Criativos, no entanto, foram muito melhores em adivinhar as partes que faltavam. Quando os pesquisadores deram a eles o Prompt de Especialista (aquele que explicava claramente a tarefa), esses modelos ficaram ainda melhores. Por exemplo, o modelo Nano Banana (NB) Pro saltou de uma pontuação de 9,63 dB para 11,87 dB em qualidade de imagem quando recebeu as instruções de especialista em alta opacidade. O modelo Flux 2 teve um salto semelhante, indo de 8,57 dB para 11,01 dB. É como se o contador de histórias de repente tivesse entendido a tarefa: "Ah, eu não devo pintar sobre a lama; eu devo imaginar o que estava por baixo dela!"

A Armadilha: Quando a Imaginação Vai Longe Demais

Mas há uma armadilha. Como esses modelos de "Contadores de Histórias" são tão bons em inventar coisas, às vezes eles ficam criativos demais.

O artigo mostra alguns exemplos engraçados (mas tristes) onde a IA olhou para um rosto rachado e decidiu: "Eu acho que esta pessoa deveria ter um nariz diferente", ou olhou para uma paisagem e decidiu adicionar uma montanha que não estava lá. Isso é chamado de "alucinação". O modelo FireRed, que é treinado principalmente em rostos, ficou tão confuso com as rachaduras em formato de rosto que "sequestrou" a imagem e transformou toda a pintura em um rosto estranho e borrado. Os modelos GPT Image 1.5 e NB Pro foram os melhores em manter a identidade original, mas mesmo eles às vezes mudavam as cores ou a forma da imagem ligeiramente.

O Veredito: Clareza é a Chave

A principal conclusão deste artigo é que, para consertar arte realmente danificada, a forma como você faz a pergunta importa mais do que a ferramenta que você usa.

• Ferramentas especializadas (como o AutoDIR) são ótimas para manter a imagem original segura, mas muitas vezes falham em remover texturas pesadas e estranhas.
• Ferramentas criativas (como NB Pro e Flux) são incríveis em adivinhar as partes que faltam, mas precisam de instruções claras para evitar que inventem detalhes falsos.
• O "Prompt de Especialista" é o ingrediente secreto. Quando a IA é instruída claramente: "Isso é dano, não é arte", ela performa muito melhor, especialmente quando o dano é pesado.

Os autores sugerem que, embora esses modelos criativos sejam poderosos, eles ainda não são perfeitos. Eles ainda podem se confundir e mudar a identidade da obra de arte. Mas, ao usar as instruções certas e entender que esses modelos são melhores em "adivinhar a história" do que em "consertar as engrenagens", podemos chegar muito mais perto de restaurar nossa arte preciosa sem perder sua alma. É um lembrete de que, no mundo da IA, às vezes a melhor maneira de consertar uma imagem quebrada é pedir ao computador para imaginar como ela deveria ser, em vez de apenas dizer a ele como remendar os buracos.