MDTD-ArtIR: Benchmarking Image Editing and Restoration Models for Art Image Restoration under Texture-Overlay Degradations

Imagina que eres un restaurador de arte, pero en lugar de un pincel polvoriento y una paleta de pinturas, tienes un programa informático superinteligente. Tu trabajo es arreglar pinturas antiguas y dañadas—tal vez una que está agrietada como un lecho de río seco, otra manchada con misteriosas manchas amarillas, o una tercera donde un trozo del lienzo simplemente ha desaparecido. Este es el mundo de la restauración de arte impulsada por IA, un campo donde las computadoras intentan adivinar cómo se veía una obra maestra antes de que el tiempo y los accidentes la arruinaran. Pero aquí está la parte difícil: la computadora no solo necesita rellenar los espacios vacíos; necesita hacerlo sin inventar detalles salvajes y falsos que nunca existieron. Es como intentar terminar la historia de un amigo cuando deja de hablar a la mitad; quieres adivinar el final que encaje con su estilo, no inventar un dragón si él estaba escribiendo un misterio.

Para probar si estos programas informáticos son realmente buenos en esto, los científicos suelen darles problemas de práctica. Pero la mayoría de estos problemas de práctica son demasiado fáciles o demasiado falsos. Podrían pedirle a la computadora que arregle una foto borrosa o que elimine algunas gotas de lluvia, lo cual es como practicar frente a una ventana ligeramente empañada antes de intentar arreglar un vitral destrozado. El gran interrogante que los investigadores se plantean es: ¿Pueden nuestras mejores herramientas de IA manejar este daño real y desordenado sin perder el alma de la obra de arte?

---

El Gran Robo de Arte: Cuando la IA intenta arreglar una pintura

Conoce al equipo MDTD-Art, un grupo de investigadores de la Universidad de Durham que decidió construir un nuevo campo de entrenamiento superdesafiante para los restauradores de arte por IA. Se dieron cuenta de que las viejas pruebas de práctica eran como jugar a "Simón dice" con un disco rayado: las instrucciones eran demasiado simples y el daño era demasiado predecible. Así que inventaron un nuevo juego llamado MDTD-ArtIR.

Piensa en su nuevo conjunto de datos como un "simulador de daños". En lugar de solo desenfocar una imagen, tomaron pinturas hermosas y limpias y les superpusieron 47 tipos diferentes de texturas extrañas—como barro agrietado, pintura salpicada o esponjas porosas. Pero no solo aplicaron estas texturas; jugaron con una "perilla de transparencia". Podían hacer que el daño fuera tenue (baja opacidad), como una ligera capa de harina, o espeso y pesado (alta opacidad), como verter un cubo de lodo sobre la pintura. Esto creó un espectro de dificultad, desde "facilísimo" hasta "buena suerte, necesitarás un milagro".

El Concurso: Mecánicos Especializados vs. Cuentacuentos Creativos

Los investigadores organizaron un enfrentamiento entre dos tipos de modelos de IA:

1. Los Mecánicos Especializados (Modelos de restauración de imágenes universales): Estos son los bots de "reparación". Están entrenados específicamente para eliminar arañazos, ruido o desenfoque. Son como un maestro relojero que sabe exactamente cómo arreglar un engranaje roto.
2. Los Cuentacuentos Creativos (Modelos de edición de imágenes): Estos son los bots de "inventar". Normalmente se usan para cambiar una foto (como convertir un perro en un gato o añadir un sombrero). Son como un escritor creativo que puede improvisar toda una escena basada en unas pocas pistas.

El equipo quería ver quién podía restaurar mejor las pinturas cuando el daño era pesado y las pistas escaseaban. Probaron estos modelos usando dos "manuales de instrucciones" (prompts) diferentes:

• El Prompt Simple: Solo decía: "Arregla esto".
• El Prompt de Experto: Decía: "Eres un restaurador experto. La máscara es daño, no arte. Elimínalo y reconstruye la escena original".

La Gran Sorpresa: Los Cuentacuentos Ganaron (Mayormente)

Aquí está el giro que el artículo descubrió: Los Cuentacuentos Creativos (Modelos de edición de imágenes) generalmente superaron a los Mecánicos Especializados.

Cuando el daño era ligero (baja opacidad), todos lo hicieron bien. Pero a medida que el "lodo" se volvía más espeso (alta opacidad), los Mecánicos Especializados empezaron a tener dificultades. A menudo dejaban el daño allí o intentaban arreglarlo de una manera que parecía rígida y antinatural. Estaban demasiado enfocados en las "reglas" de la reparación y no tenían suficiente imaginación para adivinar qué había debajo.

Los Cuentacuentos Creativos, sin embargo, fueron mucho mejores para adivinar las partes faltantes. Cuando los investigadores les dieron el Prompt de Experto (el que explicaba claramente la tarea), estos modelos mejoraron aún más. Por ejemplo, el modelo Nano Banana (NB) Pro saltó de una puntuación de 9.63 dB a 11.87 dB en calidad de imagen cuando recibió las instrucciones de experto con alta opacidad. El modelo Flux 2 experimentó un salto similar, pasando de 8.57 dB a 11.01 dB. Es como si el cuentacuentos de repente entendiera la tarea: "¡Ah, no se supone que debo pintar sobre el lodo; se supone que debo imaginar lo que había debajo!".

La Trampa: Cuando la Imaginación va demasiado lejos

Pero hay una trampa. Debido a que estos modelos "Cuentacuentos" son tan buenos inventando cosas, a veces se vuelven demasiado creativos. En los peores casos, no solo arreglaron la pintura; cambiaron la historia por completo.

El artículo muestra algunos ejemplos divertidos (pero tristes) donde la IA miró una cara agrietada y decidió: "Creo que esta persona debería tener una nariz diferente", o miró un paisaje y decidió añadir una montaña que no estaba allí. Esto se llama "alucinación". El modelo FireRed, que está entrenado principalmente en rostros, se confundió tanto con las grietas con forma de rostro que "secuestró" la imagen y convirtió toda la pintura en un rostro extraño y borroso. Los modelos GPT Image 1.5 y NB Pro fueron los mejores en mantener la identidad original, pero incluso ellos a veces cambiaron los colores o la forma de la imagen ligeramente.

El Veredicto: La Claridad es la Clave

La principal conclusión de este artículo es que, para arreglar arte realmente dañado, cómo haces la pregunta importa más que la herramienta que uses.

• Las herramientas especializadas (como AutoDIR) son excelentes para mantener segura la imagen original, pero a menudo fallan al eliminar texturas pesadas y extrañas.
• Las herramientas creativas (como NB Pro y Flux) son increíbles para adivinar las partes faltantes, pero necesitan instrucciones claras para evitar que inventen detalles falsos.
• El "Prompt de Experto" es el ingrediente secreto. Cuando se le dice claramente a la IA: "Esto es daño, no arte", funciona mucho mejor, especialmente cuando el daño es pesado.

Los autores sugieren que, aunque estos modelos creativos son poderosos, aún no son perfectos. Todavía pueden confundirse y cambiar la identidad de la obra de arte. Pero al usar las instrucciones adecuadas y comprender que estos modelos son mejores "adivinando la historia" que "arreglando los engranajes", podemos acercarnos mucho más a la restauración de nuestro preciado arte sin perder su alma. Es un recordatorio de que, en el mundo de la IA, a veces la mejor manera de arreglar una imagen rota es pedirle a la computadora que imagine cómo debería verse, en lugar de solo decirle cómo parchar los agujeros.