MDTD-ArtIR: Benchmarking Image Editing and Restoration Models for Art Image Restoration under Texture-Overlay Degradations

당신은 오래된 붓과 팔레트를 든 미술품 복원가라고 상상해 보세요. 대신 당신에게는 아주 똑똑한 컴퓨터 프로그램이 있습니다. 당신의 임무는 오래되고 손상된 그림을 고치는 것입니다. 어떤 것은 마른 강바닥처럼 갈라져 있고, 어떤 것은 정체 모를 노란 반점으로 얼룩져 있으며, 또 다른 것은 캔버스의 한 부분이 통째로 사라졌을 수도 있습니다. 이것이 바로 **AI 기반 미술품 복원(AI-driven art restoration)**의 세계입니다. 컴퓨터가 시간이 흐르고 사고가 닥치기 전의 걸작이 원래 어떤 모습이었을지 추측하려는 분야죠. 하지만 까다로운 점은, 컴퓨터가 단순히 빈 공간을 채우는 것에 그쳐서는 안 된다는 것입니다. 존재하지도 않았던 엉뚱하고 가짜인 디테일을 만들어내지 않으면서 채워야 합니다. 이는 마치 친구가 말을 하다가 중간에 멈췄을 때 그 이야기를 완성하려는 것과 같습니다. 당신은 그 사람의 문체에 맞는 결말을 추측해야지, 그가 미스터리 소설을 쓰고 있는데 갑자기 용(dragon)을 등장시켜서는 안 되는 것과 같습니다.

과학자들은 이 컴퓨터 프로그램들이 실제로 얼마나 뛰어난지 테스트하기 위해 보통 연습 문제를 줍니다. 하지만 대부분의 연습 문제는 너무 쉽거나 너무 가짜 같습니다. 그들은 컴퓨터에게 흐릿한 사진를 고치거나 빗방울 몇 개를 제거하라고 요구할 수도 있는데, 이는 깨진 스테인드글라스를 고치기 전에 살짝 얼룩진 창문을 닦는 연습을 하는 것과 같습니다. 실제 예술품의 손상은 지저치고 기괴하며, 종종 먼지나 균열의 층 뒤에 그림의 일부를 숨기기도 합니다. 연구자들이 던지는 핵심 질문은 이것입니다. "우리의 최고의 AI 도구들이 예술의 영혼을 잃지 않으면서 이 지저분하고 현실적인 손상을 실제로 처리할 수 있는가?"

---

위대한 예술품 탈취 사건: AI가 그림을 고치려 할 때

MDTD-Art 팀을 만나보세요. 더럼 대학교(Durham University) 출신의 연구진으로 구성된 이들은 AI 미술품 복원가들을 위한 새롭고 매우 도전적인 훈련장을 만들기로 결심했습니다. 그들은 기존의 연습 테스트들이 고장 난 레코드를 가지고 "사이먼 가라사대(Simon Says)" 게임을 하는 것처럼 지시가 너무 단순하고 손상이 너무 예측 가능하다는 것을 깨달았습니다. 그래서 그들은 MDTD-ArtIR이라는 새로운 게임을 발명했습니다.

이들의 새로운 데이터셋을 "손상 시뮬레이터"라고 생각해보세요. 단순히 이미지를 흐리게 만드는 대신, 그들은 아름답고 깨끗한 그림 위에 갈라진 진흙, 흩뿌려진 페인트, 혹은 구멍이 뚫린 스펀지와 같은 47가지 종류의 기괴한 질감을 덧씌웠습니다. 하지만 단순히 이 질감들을 갖다 붙인 것이 아닙니다. 그들은 "투명도 조절 노브"를 가지고 놀았습니다. 그들은 손상을 희미하게(낮은 불투명도, 마치 밀가루를 살짝 뿌린 듯한 상태) 만들 수도 있었고, 두껍고 무겁게(높은 불투명도, 마치 그림 위에 양동이로 진흙을 들이부은 듯한 상태) 만들 수도 있었습니다. 이를 통해 "식은 죽 먹기"부터 "운이 좋다면 기적이 필요할 정도"까지의 난이도 스펙트럼을 만들어냈습니다.

대결: 전문 기술자 vs 창의적인 스토리텔러

연구진은 두 종류의 AI 모델 간의 대결을 설정했습니다:

1. 전문 기술자 (범용 이미지 복원 모델): 이들은 "수리용" 봇입니다. 긁힘, 노이즈, 또는 흐림 현상을 제거하도록 특별히 훈련되었습니다. 이들은 정확히 고장 난 톱니바퀴를 고칠 줄 아는 숙련된 시계 제조공과 같습니다.
2. 창의적인 스토리텔러 (이미지 편집 모델): 이들은 "만들어내는" 봇입니다. 주로 사진을 변형하는 데(예: 개를 고양이로 바꾸거나 모자를 씌우는 일) 사용됩니다. 이들은 몇 가지 단서를 바탕으로 완전히 새로운 장면을 즉흥적으로 써 내려갈 수 있는 창의적인 작가와 같습니다.

연구진은 손상이 심하고 단서가 부족할 때 누가 그림을 더 잘 복원하는지 보고 싶었습니다. 그들은 두 가지 다른 "설명서(프롬프트)"를 사용하여 이 모델들을 테스트했습니다:

• 단순 프서프트: 그저 "이것을 고쳐줘"라고 말합니다.
• 전문가 프롬프트: "당신은 전문 복원가입니다. 마스크(mask)는 예술이 아니라 손상입니다. 그것을 제거하고 원래의 장면을 재건하십시오"라고 말합니다.

큰 반전: 스토리텔러의 승리 (대체로)

이 논문이 발견한 반전은 다음과 같습니다: 창의적인 스토리텔러(이미지 편집 모델)가 일반적으로 전문 기술자보다 더 뛰어난 성능을 보였습니다.

손상이 가벼울(낮은 불투명도) 때는 모두가 잘 해냈습니다. 하지만 "진흙"이 두꺼워질수록(높은 불투명도), 전문 기술자들은 어려움을 겪기 시작했습니다. 그들은 종종 손상을 그대로 남겨두거나, 부자연스럽고 딱딱하게 보이는 방식으로 고치려고 했습니다. 그들은 고치는 "규칙"에 너무 집중한 나머지, 그 아래에 무엇이 있는지 추측할 만큼의 상상력이 부족했습니다.

반면, 창의적인 스토리텔러들은 누락된 부분을 추측하는 데 훨씬 더 뛰어났습니다. 연구진이 전문가 프롬프트(작업을 명확하게 설명하는 프롬프트)를 주었을 때, 이 모델들은 더욱 좋아졌습니다. 예를 들어, Nano Banana (NB) Pro 모델은 높은 불투명도에서 전문가 지침을 받았을 때 이미지 품질 점수가 9.63 dB에서 11.87 dB로 상승했습니다. Flux 2 모델 역시 비슷한 상승을 보이며 8.57 dB에서 11.01 dB로 올라갔습니다. 이는 마치 스토리텔러가 갑자기 과제를 이해한 것과 같습니다: "아, 내가 진흙 위에 그림을 그리는 게 아니라, 그 아래에 무엇이 있었을지 상상해야 하는 거구나!"

함정: 상상력이 지나칠 때

하지만 함정이 있습니다. 이 "스토리텔러" 모델들은 무언가를 만들어내는 능력이 너무 뛰어나기 때문에, 때때로 너무 과하게 창의적일 때가 있습니다. 최악의 경우, 그들은 단순히 그림을 고치는 데 그치지 않고 이야기를 완전히 바꿔버렸습니다.

논문은 AI가 갈라진 얼굴을 보고 "이 사람은 코가 이렇게 생겨야 해"라고 결정하거나, 풍경을 보고 원래 없던 산을 추가하기로 결정한 재미있지만 슬픈 사례들을 보여줍니다. 이를 "환각(hallucination)"이라고 합니다. 주로 얼굴을 학습한 FireRed 모델은 얼굴 모양의 균열 때문에 혼란에 빠져, 이미지 전체를 기괴하고 흐릿한 얼굴로 바꿔버렸습니다. GPT Image 1.5와 NB Pro 모델은 원래의 정체성을 유지하는 데 가장 뛰어났지만, 그들조차도 가끔 색상이나 형태를 약간씩 바꾸곤 했습니다.

결론: 명확성이 핵심이다

이 논문의 주요 시사점은, 정말 손상된 예술품을 고칠 때는 어떤 도구를 사용하는가보다 어떻게 질문하는가가 더 중요하다는 것입니다.

• 특화된 도구들(AutoDIR 등)은 원래의 그림을 안전하게 지키는 데는 훌륭하지만, 무겁고 기괴한 질감을 제거하는 데는 자주 실패합니다.
• 창의적인 도구들(NB Pro, Flux 등)은 누락된 부분을 추측하는 데 탁월하지만, 가짜 디테일을 만들어내지 않도록 명확한 지침이 필요합니다.
• **"전문가 프롬프트"**가 바로 비법입니다. AI에게 "이것은 예술이 아니라 손상이다"라고 명확하게 알려주면, 특히 손상이 심할 때 훨씬 더 좋은 성능을 발휘합니다.

저자들은 이러한 창의적인 모델들이 강력하긴 하지만 아직 완벽하지는 않다고 제안합니다. 이들은 여로 정체성을 혼동하여 작품의 본질을 바꿀 수 있습니다. 하지만 적절한 지침을 사용하고, 이 모델들이 "톱니바퀴를 고치는 것"보다 "이야기를 추측하는 것"에 더 능숙하다는 점을 이해한다면, 우리는 예술의 영혼을 잃지 않으면서 소중한 예술품을 복원하는 데 훨씬 더 가까이 다가갈 수 있습니다. 이는 AI의 세계에서, 때로는 부서진 그림을 고치는 가장 좋은 방법이 구멍을 메우라고 말하는 것이 아니라, 그것이 원래 어떠했어야 하는지를 상상하라고 요청하는 것임을 상기시켜 줍니다.