💻 computer science

MESA: A Training-Free Multi-Exemplar Deep Framework for Restoring Ancient Inscription Textures

이 논문은 손상된 고대 비문 텍스트를 복원하기 위해 잘 보존된 예시 비문의 질감과 스타일을 학습 없이 참조하여 손상된 영역만 선택적으로 재구성하는 'MESA'라는 새로운 프레임워크를 제안하고 그 우수성을 입증합니다.

원저자: Vasileios Toulatzis, Ioannis Fudos

게시일 2026-04-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vasileios Toulatzis, Ioannis Fudos

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고대 비문 (碑文) 의 잃어버린 글자를 되살리는 마법: MESA

이 논문은 고대 비석이나 유물에 새겨진 글자가 시간이 지나면서 닳아 없어지거나, 흠집이 생겨 읽을 수 없을 때, AI 를 이용해 그 글자를 자연스럽게 복원하는 새로운 방법을 소개합니다. 이 방법은 **'MESA'**라고 불리며, 가장 큰 특징은 별도의 복잡한 학습 (Training) 이 필요 없다는 점입니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 일상적인 비유로 설명해 드리겠습니다.

1. 문제 상황: 낡은 편지 조각

상상해 보세요. 2,000 년 전의 편지 한 장이 발견되었습니다. 하지만 비바람에 젖어 글자가 흐릿해지거나, 누군가 실수로 찢어지거나 긁어 글자가 사라진 부분이 있습니다. 고고학자들은 이 편지의 내용을 알아내야 하지만, 글자가 너무 많이 지워져서 읽을 수 없습니다.

기존의 AI 방법들은 이 문제를 해결하기 위해 "수만 장의 깨끗한 편지와 찢어진 편지 쌍"을 보여주고 AI 를 가르치는 방식을 썼습니다. 하지만 고대 유물은 그런 '쌍'을 구하기가 거의 불가능합니다.

2. MESA 의 해결책: "유사한 문양을 가진 다른 조각들"을 참고하다

MESA 는 이렇게 말합니다.

"우리는 그 편지를 처음부터 새로 배우지 않아도 됩니다. 대신, **같은 시대에 만들어진 다른 편지 조각들 (Exemplars)**을 보면 됩니다. 그 조각들에는 글자의 모양, 글씨체, 돌의 질감이 잘 남아있으니까요."

비유: 낡은 자수 작품 수선하기

상황: 할머니가 남긴 자수 작품이 구멍이 뚫려서 꽃잎이 사라졌습니다.
기존 방법 (학습 필요): 수만 개의 꽃잎 사진을 보고 AI 가 꽃잎을 그리는 법을 배웁니다. (시간과 비용이 많이 듦)
MESA 의 방법: 할머니가 남긴 다른 자수 작품들 중 꽃잎이 잘 남은 조각들을 가져옵니다. 그 조각들의 색감, 실의 굵기, 바느질 스타일을 분석해서, 구멍 난 부분에 똑같은 스타일의 꽃잎을 채워 넣습니다.

3. MESA 가 작동하는 원리 (3 가지 핵심 단계)

① 스타일 감지 (그림의 '분위기'를 읽다)

MESA 는 VGG19 라는 AI 모델을 사용합니다. 이 모델은 그림의 세부적인 픽셀보다는 **전체적인 느낌 (질감, 스타일)**을 파악하는 데 특화되어 있습니다.

비유: 그림을 그릴 때, 붓터치나 물감의 번짐 같은 '분위기'를 먼저 파악하는 것입니다. MESA 는 고대 비문의 돌 표면 질감이나 글씨체의 굵기 같은 '분위기'를 잘게 쪼개서 분석합니다.

② 최고의 참고 자료 찾기 (최소 거리 찾기)

MESA 는 손상된 글자 하나하나에 대해, 가지고 있는 '잘 보존된 조각들' 중 가장 비슷한 것을 찾아냅니다.

비유: 구멍 난 자수 꽃잎을 채울 때, "이 꽃잎은 붉은색이니까 붉은색 실이 가장 잘 어울리는 조각을 찾아야지"라고 생각하며 가장 적합한 조각을 골라냅니다. MESA 는 수학적 계산 (평균 제곱 거리) 을 통해 가장 비슷한 '스타일'을 가진 조각을 자동으로 찾아냅니다.

③ 글자 크기에 맞춰 무게 조절 (OCR 기반 가중치)

이게 MESA 의 가장 독창적인 부분입니다. 모든 글자가 같은 크기는 아니죠. MESA 는 **OCR(문자 인식 기술)**을 이용해 원래 글자들이 얼마나 넓은지, 어떤 크기로 분포되어 있는지 분석합니다.

비유: 자수 작업을 할 때, 큰 꽃잎에는 두꺼운 실을, 작은 꽃잎에는 가는 실을 사용해야 하죠. MESA 는 "이 글자는 보통 5mm 정도니까, 5mm 에 맞는 AI 필터를 더 중요하게 취급하자"라고 스스로 판단합니다. 이렇게 하면 AI 가 글자의 실제 크기와 모양을 더 정확하게 복원할 수 있습니다.

4. 왜 MESA 가 특별한가요?

학습 불필요 (Training-Free): 고대 유물처럼 데이터가 부족한 상황에서도 바로 쓸 수 있습니다. 별도의 '수업' 없이도 바로 작동합니다.
원본 유지: 손상된 부분만 채우고, 나머지 잘 보존된 부분은 건드리지 않습니다. (마스크 기술 사용)
정확한 텍스트 복원: 단순히 그림을 그리는 것을 넘어, 실제 글자가 무엇인지 (텍스트) 를 더 정확하게 되살립니다.

5. 실험 결과: 다른 방법들보다 낫다

연구진은 여러 고대 비문 데이터셋을 가지고 실험을 했습니다.

비교 대상: 기존에 쓰이던 AI 들 (ESRGAN, DRUNET 등) 은 학습이 필요하거나, 노이즈 제거에만 특화되어 있었습니다.
결과: MESA 는 학습이 필요한 방법들과 비슷하거나 더 좋은 품질로 글자를 복원하면서도, 학습 데이터가 전혀 필요 없다는 점에서 압도적인 효율성을 보였습니다. 특히 글자가 흐릿하게 지워진 경우나, 스크래치가 난 경우 모두 잘 복원했습니다.

6. 결론: 고대 유물의 목소리를 듣는 새로운 도구

MESA 는 마치 고대 비문의 '기억'을 불러일으키는 도구와 같습니다. 손상된 비석 옆에 잘 보존된 다른 비석들을 세워두고, "너희가 원래 이런 스타일이었지?"라고 물어보며 잃어버린 글자를 자연스럽게 채워 넣습니다.

이 기술은 고고학자, 역사학자, 박물관 관장들에게 데이터가 부족해도 고대 유물의 내용을 되살릴 수 있는 강력한 도구를 제공하며, 문화유산 보존의 새로운 장을 열었다고 평가받습니다.

한 줄 요약:

"학습 없이, 잘 보존된 '친구' 비석들의 스타일을 참고해서, 손상된 비석의 잃어버린 글자를 가장 자연스럽게 되살려내는 AI 마법."

1. 문제 정의 (Problem Statement)

배경: 고대 비문 (Inscriptions) 은 풍화, 침식, 파편화, 또는 인간의 손상 (긁힘 등) 으로 인해 텍스트가 훼손되거나 사라지는 경우가 많습니다. 이는 학자들의 판독과 분석을 어렵게 만듭니다.
기존 방법의 한계:
- 기존 딥러닝 기반 이미지 복원 방법 (ESRGAN, DRUNET, DNCNN 등) 은 대부분 **지도 학습 (Supervised Learning)**을 필요로 합니다. 즉, 손상된 이미지와 그 정답 (Ground-truth) 이 쌍을 이루는 대량의 데이터셋이 필요합니다.
- 고대 비문의 경우, 손상 전후의 짝을 이룬 데이터를 구하는 것이 현실적으로 불가능하거나 매우 비용이 많이 듭니다.
- 기존 방법들은 문자 단위 (Character-level) 로 복원하는 데 치중하여, 비문의 전체적인 질감 (Texture), 스타일, 획의 구조를 이미지 수준에서 보존하는 데 한계가 있었습니다.
- 단일 이미지 기반의 훈련 없는 방법 (예: Deep Image Prior) 은 데이터가 부족할 때 유용하지만, 복원 품질이 낮거나 구조적 일관성이 떨어질 수 있습니다.

2. 제안 방법: MESA (Methodology)

저자들은 **MESA (Multi-Exemplar, Style-Aware)**라는 새로운 프레임워크를 제안합니다. 이는 훈련이 필요 없는 (Training-Free) 방식으로, 손상된 비문의 질감을 복원하기 위해 동일한 비문군이나 유사한 스타일을 가진 잘 보존된 **다수의 예시 (Exemplars)**를 활용합니다.

핵심 기술적 요소:

다중 예시 기반 스타일 전이 (Multi-Exemplar Style Transfer):
- 손상된 입력 이미지와 여러 개의 예시 이미지 (Exemplars) 를 VGG19 신경망을 통해 특징 맵 (Feature Maps) 으로 추출합니다.
- **Gram 행렬 (Gram Matrices)**을 사용하여 특징 간의 상관관계 (질감, 스타일, 획 구조) 를 포착합니다.
- 각 신경망 레이어에서 입력 이미지와 가장 유사한 (Mean-Squared Displacement, MSD 가 최소인) 예시를 선택하여 손실 함수 (Loss Function) 를 계산합니다. 이를 통해 손상된 영역을 가장 적합한 예시의 질감으로 채워 넣습니다.
데이터 기반 레이어 가중치 (Data-Driven Layer Weighting):
- 기존 방법들이 임의로 레이어 가중치를 설정하는 것과 달리, MESA 는 문자 폭 (Letter Widths) 의 통계적 분포를 기반으로 가중치를 동적으로 결정합니다.
- OCR (Tesseract) 을 사용하여 손상된 입력과 예시 이미지 내의 문자 폭 분포를 분석합니다.
- 신경망 필터의 크기와 문자 폭 분포가 일치하는 정도에 따라 각 레이어의 기여도 가중치 ( $w_l$ ) 를 계산합니다. 이는 네트워크의 수용 영역 (Receptive Field) 이 비문의 구조적 특성 (문자 크기 등) 에 맞춰지도록 유도합니다.
마스크 전략 (Masking Strategy):
- 손상되지 않은 영역은 원본 픽셀 값으로 고정 (Clamp) 하고, 손상된 영역에만 최적화 (Optimization) 가 적용되도록 이진 마스크를 사용합니다.
- 이를 통해 복원 과정에서 원본의 구조와 대비 (Contrast) 가 훼손되는 것을 방지하고, 오직 손상된 부분만 예시의 스타일로 채우도록 합니다.
최적화:
- 역전파 (Backpropagation) 를 통한 모델 훈련이 아닌, L-BFGS 알고리즘을 사용하여 입력 이미지의 픽셀 값을 직접 최적화하는 방식으로 작동합니다.

3. 주요 기여 (Key Contributions)

훈련이 필요 없는 (Training-Free) 고대 비문 복원 프레임워크:
- 손상된 데이터와 정답 데이터의 쌍이 필요 없는 최초의 딥러닝 기반 비문 복원 방법 중 하나입니다. 잘 보존된 예시 이미지만 있으면 복원이 가능합니다.
새로운 평가 지표 제안:
- 이미지 품질 지표 (PSNR, SSIM, LPIPS) 외에 텍스트 복원 정확도를 평가하기 위한 두 가지 새로운 지표를 도입했습니다.
  - Text Recovery Score (TRS): 편집 거리 (Levenshtein Distance) 를 고정된 분모 (100) 로 정규화하여 [0, 1] 범위로 제한한 지표. 과도한 오차를 방지하고 부분 복원에도 점수를 부여합니다.
  - Log-scaled Levenshtein Similarity (LLS): 로그 스케일을 적용하여 작은 오차와 큰 오차 간의 차이를 적절히 조정하는 유사도 지표.
구조적 일관성 유지:
- 단순한 질감 채우기를 넘어, 문자의 폭 분포를 분석하여 신경망 레이어 가중치를 조정함으로써 비문의 기하학적 구조와 글꼴 스타일을 보존합니다.
실용적인 가이드라인:
- 사용 가능한 예시 데이터의 유무와 메타데이터에 따라 어떤 복원 전략 (MESA, DIP, DRUNET 등) 을 선택해야 하는지에 대한 로드맵을 제시했습니다.

4. 실험 결과 (Results)

저자들은 3 개의 고대 비문 데이터셋 (Scratch 손상 및 Noise 손상 포함) 을 사용하여 MESA 를 기존 방법 (Deep Image Prior, DNCNN, DRUNET, ESRGAN) 과 비교 평가했습니다.

텍스트 복원 정확도: 제안된 TRS 및 LLS 지표에서 MESA 는 훈련이 필요한 방법들 (Supervised methods) 과 유사하거나 더 높은 성능을 보였습니다. 특히 훈련 데이터가 없는 환경에서는 Deep Image Prior (DIP) 보다 월등히 우수한 결과를 기록했습니다.
시각적 품질 (LPIPS): 인간 시각에 가까운 LPIPS (AlexNet 기반) 지표에서 ESRGAN 과 유사한 수준의 성능을 보이며, 다른 베이스라인들을 능가했습니다.
구조적 유사도 (SSIM/PSNR): 픽셀 단위의 정밀도 (PSNR) 나 국소 구조 (SSIM) 에서는 훈련 기반 방법들에 비해 약간 낮을 수 있으나, 이는 MESA 가 픽셀 재현보다는 전체적인 글자 구조와 가독성에 중점을 두기 때문입니다.
효율성: 별도의 모델 훈련 시간이 필요 없으며, 손상된 이미지 하나와 예시 이미지들만으로 즉시 복원이 가능합니다.

5. 의의 및 결론 (Significance & Conclusion)

문화유산 보존의 혁신: 고대 비문과 같이 데이터가 희소하고 손상된 사례가 많은 문화유산 분야에서, 대량의 학습 데이터 없이도 고품질의 복원이 가능함을 입증했습니다.
재료 무관성 (Material Independence): 점토, 금속, 돌 등 비문의 물리적 재질에 구애받지 않고 이미지 레벨의 특징만으로 작동합니다.
한계 및 향후 과제:
- 현재 방법은 알파벳 기반 (라틴, 그리스) 문자에 최적화되어 있으며, Tesseract OCR 을 문자 폭 분석에 사용하므로 상형문자나 쐐기문자 등 구조가 완전히 다른 문자 체계에는 적용에 한계가 있을 수 있습니다.
- 향후 다양한 문자 체계에 적용 가능한 스크립트 무관 (Script-agnostic) 특징 학습 및 더 정교한 언어 모델 통합이 필요하다고 언급했습니다.

요약하자면, MESA 는 고대 비문 복원을 위해 '훈련 데이터' 대신 '잘 보존된 예시'와 '통계적 구조 분석'을 결합한 혁신적인 접근법으로, 문화유산 디지털 보존 분야에서 중요한 이정표가 될 것으로 기대됩니다.