Contrastive-to-Self-Supervised: A Two-Stage Framework for Script Similarity Learning

이 논문은 인공 알파벳의 레이블된 데이터를 기반으로 한 대비 학습으로 교사를 훈련한 후, 역사적 문자 체계에 대한 비지도 지식 증류를 적용하여 지도 학습과 비지도 발견을 연결하는 2 단계 프레임워크를 제안하여, 진화적 관계에 대한 정답이 없어도 글자 인식과 문자 군집화를 효과적으로 수행할 수 있음을 보여줍니다.

핵심

🕵️‍♂️ 문제: "누가 누구를 닮았을까?"라는 미스터리

고대 문자 (예: 이집트 상형문자, 고대 그리스 문자) 를 보면, 어떤 글자들은 서로 닮아 있고, 어떤 글자들은 전혀 다릅니다. 하지만 역사학자들도 "이 두 글자가 정말 같은 조상에서 왔을까, 아니면 우연히 비슷하게 생긴 걸까?"에 대해 오랫동안 논쟁을 벌여 왔습니다.

컴퓨터에게 "이 두 글자는 비슷해"라고 가르치려면 정답 (Ground Truth) 이 필요한데, 역사적 관계는 불분명해서 정답을 알 수 없습니다. 마치 "이 두 사람이 친척일까?"라고 물었을 때, DNA 검사 결과가 없어서 확신할 수 없는 상황과 같습니다.

🚀 해결책: "2 단계 학습법" (선생님과 제자)

연구자들은 이 난제를 해결하기 위해 **1 단계 (가상의 훈련)**와 **2 단계 (실제 탐구)**로 나눈 두 단계의 과정을 제안했습니다.

1 단계: "완벽한 가상의 문자 학교" (선생님 만들기)

먼저, 역사적 논란이 없는 완전히 invented(창작된) 문자로 공부를 시킵니다.

• 비유: 영화 <퓨처라마>에 나오는 외계 문자나 <반지의 제왕>의 엘프 문자처럼, 누가 만들었는지 명확하고 서로 전혀 관련이 없는 문자들을 가르칩니다.
• 과정: 컴퓨터 (선생님) 는 "A 글자와 B 글자는 확실히 다르다", "A 글자의 여러 가지 손글씨 버전은 모두 같은 A 다"라는 명확한 규칙을 배웁니다.
• 결과: 이 과정을 통해 컴퓨터는 글자의 모양을 아주 잘 구별하는 **'선생님 모델'**이 됩니다. 이 선생님은 글자를 구별하는 눈이 매우 밝아졌습니다.

2 단계: "실제 고대 문자 탐험" (제자 성장시키기)

이제 진짜 역사적 문자 (그리스어, 한자, 라틴어 등) 를 공부합니다. 하지만 여기서는 "이 글자는 저 글자와 비슷해"라고 정답을 알려줄 수 없습니다.

• 비유: 이제 '선생님'이 '제자'를 데리고 실제 고대 유적지로 여행을 갑니다. 제자는 선생님이 가진 **'글자 구별 능력'**을 물려받지만, 역사적 관계는 스스로 찾아내야 합니다.
• 과정: 제자는 선생님의 눈을 빌려 글자를 보지만, "이 두 글자가 친척이야"라고 강요받지 않습니다. 대신, "이 글자의 여러 변형은 비슷해"라는 것만 알고, 스스로 비슷한 글자들을 찾아내어 묶는 연습을 합니다.
• 핵심: 선생님이 "이건 A, 저건 B"라고 딱 잘라 말해주지 않기 때문에, 제자는 역사적으로 실제로 영향을 주고받았을 법한 글자들끼리 자연스럽게 모여드는 **'새로운 지형도'**를 그릴 수 있습니다.

🎨 결과: 컴퓨터가 그려낸 '문자 지도'

이 방법으로 훈련된 컴퓨터는 다음과 같은 놀라운 능력을 보여줍니다.

1. 글자 구별 능력 유지: "이 글자가 A 인지 B 인지"를 구별하는 능력은 그대로 유지됩니다. (20 개 글자 중 1 개를 맞추는 테스트에서 매우 잘합니다.)
2. 역사적 관계 발견: "그리스 문자와 라틴 문자는 서로 가깝고, 한자와는 멀다"는 식의 역사적 흐름을 스스로 발견합니다.
3. 비유로 설명하자면:
   • 기존 방법들은 "서로 다른 글자는 무조건 멀리 떨어뜨려라"라고 강요해서, 역사적으로 가까운 글자들도 억지로 멀리 떨어뜨리는 실수를 저질렀습니다.
   • 이 연구의 방법은 "선생님이 가르쳐준 '구별하는 눈'을 바탕으로, 제자가 스스로 '친척 관계'를 찾아내게" 했습니다. 그 결과, 컴퓨터가 만든 지도에서 역사적으로 가까운 문자들은 서로 가깝게, 먼 문자들은 멀리 배치되는 아름다운 패턴이 나타났습니다.

💡 왜 이 연구가 중요한가요?

이 방법은 **"정답이 없는 문제"**를 풀 때 매우 유용한 통찰을 줍니다.

• 가상의 훈련 (1 단계): 확실한 정답이 있는 곳에서 기초 체력을 기릅니다.
• 실제 탐구 (2 단계): 정답이 불분명한 곳에서는 그 기초 체력을 바탕으로 스스로 패턴을 발견하게 합니다.

이는 고대 문자 해독뿐만 아니라, "무엇이 같은지, 무엇이 다른지"는 알지만 "어떤 관계인지"는 모르는 다른 복잡한 문제들 (예: 서로 다른 문화권의 예술 양식 비교, 복잡한 생물학적 분류 등) 을 해결할 때도 적용할 수 있는 새로운 패러다임입니다.

한 줄 요약:

"확실한 규칙으로 글자를 구별하는 법을 먼저 배운 뒤, 불확실한 역사 속으로 들어가 스스로 친척 관계를 찾아내게 한, 컴퓨터를 위한 '현명한 학습법'입니다."

기술 요약

1. 문제 정의 (Problem Statement)

고대 문자 체계의 시각적 관계를 분석하는 데 있어 기존 컴퓨터 비전 및 메트릭 러닝 접근법이 직면한 주요 난제는 지도 정보의 비대칭성입니다.

• 글리프 수준 (Glyph Level): 발명된 알파벳 (예: 톨킨의 tengwar, 퓨처라마의 알파벳) 과 같이 명확한 라벨이 있는 경우, 동일한 글자의 다양한 변형을 '양 (+)'으로, 다른 글자를 '음 (-)'으로 처리하여 학습하는 것이 안전합니다.
• 문자 체계 수준 (Script Level): 역사적으로 실재하는 문자 체계 (예: 그리스어, 라틴어, 한자 등) 의 경우, 두 문자 체계 간의 진화적 관계나 차용 여부는 학계에서 논쟁의 여지가 많거나 불확실합니다.
• 핵심 장애물: 역사적 문자 체계 간에 "두 글자는 관련이 없다"는 가정을 바탕으로 **음 (-) 쌍 (negative pairs)**을 무작위로 생성하면, 검증되지 않은 언어학적 가설이 모델에 편향 (bias) 으로 주입될 위험이 있습니다. 즉, 확실한 것은 지도 학습하고, 불확실한 것은 탐색적으로 학습해야 하는 딜레마가 존재합니다.

2. 제안 방법론 (Methodology)

이러한 문제를 해결하기 위해 저자들은 2 단계 프레임워크를 제안합니다.

1 단계: 라벨이 있는 발명된 글리프를 이용한 감독된 대조 학습 (Supervised Contrastive Learning)

• 목표: 명확한 라벨을 가진 발명된 알파벳 (Invented Alphabets) 을 사용하여 강력한 **분별력 있는 사전 지식 (Discriminative Prior)**을 학습합니다.
• 방식:
  • 각 글자 클래스와 그 변형들을 '양 (+)'으로, 서로 다른 글자들을 '음 (-)'으로 간주하여 **SupCon (Supervised Contrastive Loss)**을 적용합니다.
  • 이를 통해 클래스 내에서는 밀집되고 클래스 간에는 분리된 깨끗한 임베딩 공간을 형성하는 Teacher Encoder를 훈련합니다.
  • 이 단계는 역사적 가설을 포함하지 않는 '안전한' 데이터에서 모델이 글자의 형태적 특징을 잘 구분하도록 합니다.

2 단계: 비감독적 Teacher-Student 증류 (Unsupervised Teacher-Student Distillation)

• 목표: 1 단계에서 학습된 Teacher 모델을 기반으로 라벨이 없는 역사적 문자 체계 (Historical Scripts) 에 적응합니다.
• 방식:
  • BYOL (Bootstrap Your Own Latent) 구조를 변형하여 사용합니다.
  • 초기화: Student 네트워크와 Target 네트워크 모두 1 단계에서 훈련된 Teacher 모델의 가중치로 초기화됩니다. (랜덤 초기화 대신 의미 있는 구조를 부여)
  • 학습: Student 는 Teacher 의 예측을 맞추도록 학습되지만, 문자 체계 간 음 (-) 쌍을 명시적으로 정의하지 않습니다. 대신, 동일한 글자의 다양한 손글씨 변형 (Augmentation) 을 통해 불변성 (Invariance) 을 학습합니다.
  • 효과: Student 는 Teacher 의 분별력 있는 구조를 계승하면서도, 역사적 데이터의 잠재적 유사성 (예: 그리스어와 라틴어의 유사성) 을 발견하고 임베딩 공간을 재구성할 수 있는 자유를 얻습니다.

3. 주요 기여 (Key Contributions)

1. 비대칭적 지도 학습 문제 해결: 확실한 글자 식별 (지도 학습) 과 불확실한 문자 체계 관계 (탐색적 학습) 를 분리하는 2 단계 전략을 제안했습니다.
2. Teacher-Initialized Self-Distillation: 역사적 데이터에 대한 음 (-) 쌍을 강제하지 않으면서도, Teacher 모델의 기하학적 규칙성을 유지하며 표현을 재구성하는 적응 기법을 개발했습니다.
3. 종합 평가 프로토콜:
   • 글리프 수준: Few-shot (20-way 1-shot) 인식 정확도 평가.
   • 문자 체계 수준: NDCG@10 및 Spearman 상관관계를 사용하여 학습된 임베딩 공간이 언어학적/역사적 유사성 순위와 얼마나 일치하는지 평가.
   • 데이터셋: Omniglot 데이터셋을 감독/비감독/평가 세트로 분할하고, Unicode 기반의 새로운 역사적 문자 데이터셋을 구축하여 검증했습니다.

4. 실험 결과 (Experimental Results)

다양한 백본 아키텍처 (Simple CNN, Siamese CNN, ResNet-18/34/50) 와 데이터셋 (Omniglot, Unicode) 에서 실험을 수행했습니다.

• 문자 체계 순위 품질 (Script-Level Ranking):
  • 제안된 하이브리드 방법은 NDCG@10 지표에서 모든 순수 자기지도 학습 (Self-supervised) 베이스라인 (BYOL, Barlow Twins) 보다 일관되게 높은 성능을 보였습니다.
  • 특히 ResNet-50 백본에서 NDCG@10 점수 (0.3178) 를 기록하며, 순수 자기지도 학습 방법들보다 역사적 관계 순위를 더 잘 복원함을 입증했습니다.
• 글리프 인식 성능 (Glyph-Level Retrieval):
  • 20-way 1-shot 인식 정확도 (Top-1, Top-5) 에서도 경쟁력 있는 성능을 유지하거나 Baseline 을 능가했습니다. 이는 문자 체계 수준의 일관성을 확보하면서도 개별 글자의 식별 능력을 희생하지 않았음을 의미합니다.
• 기하학적 구조 분석:
  • 분리 비율 (Separability Ratio, R): 역사적으로 관련된 문자 (예: 그리스어 - 라틴어) 와 무관한 문자 (예: CJK) 간의 거리를 비교한 결과, 2 단계 적응 후 Student 모델이 Teacher 모델보다 관련 문자들을 더 가깝게 배치하여 기하학적 구조가 개선됨을 확인했습니다 (R 값 35% 감소).
  • t-SNE 시각화: Student 모델이 Teacher 의 구조를 유지하면서도 역사적으로 근거 있는 근접성을 강화하여 더 일관된 문자 체계 구조를 형성함을 보여줍니다.
• 기타 발견:
  • 대규모 사전 학습 모델 (DINOv2) 은 자연어 이미지에서는 강력하지만, 고대 문자 분석이라는 특정 도메인에서는 성능이 낮아 도메인 특화 훈련의 중요성을 강조했습니다.

5. 의의 및 결론 (Significance)

이 연구는 고대 문자 해독 및 언어학적 분석에 있어 계산적 접근법의 새로운 패러다임을 제시합니다.

• 학문적 의의: 언어학자와 고고학자들이 수십 년간 논쟁해 온 문자 체계 간의 진화적 관계에 대해, 모델이 편향되지 않은 객관적이고 재현 가능한 증거를 제공할 수 있음을 보였습니다.
• 방법론적 의의: "확실한 것은 감독하고, 불확실한 것은 탐색한다"는 원칙은 글자 인식뿐만 아니라, 클래스 내 정체성은 알 수 있지만 카테고리 간 관계가 불완전하거나 논쟁적인 다른 비대칭적 학습 문제 (Asymmetric Settings) 로도 확장 가능합니다.
• 미래 전망: 학습된 문자 체계 간 거리 메트릭을 활용하여 전 세계 문자 체계의 계통 발생 분석 (Phylogenetic analysis) 이나 계통수/네트워크 재구성에 활용될 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 불완전한 역사적 지식을 가진 데이터에서 강력한 시각적 표현을 학습하기 위해, 명확한 데이터로 분별력을 기른 뒤 불확실한 데이터로 유연하게 적응하는 혁신적인 2 단계 학습 전략을 성공적으로 입증했습니다.