AMR-CCR: Anchored Modular Retrieval for Continual Chinese Character Recognition

이 논문은 고대 한자 인식을 위한 새로운 continual 학습 설정을 정의하고, 사전 확장 방식의 딕셔너리 매칭과 스크립트 조건부 주입 모듈을 통해 지속적인 클래스 증가와 다양한 서체 변이를 효과적으로 처리하는 'AMR-CCR' 프레임워크와 이를 평가하기 위한 'EvoCON' 벤치마크를 제안합니다.

핵심

🏛️ 1. 문제 상황: "도서관 사서님의 고충"

상상해 보세요. 한 고대 문자 도서관에 사서님이 계십니다.

• 과거의 방식 (기존 연구): 도서관에 새로운 책 (새로운 문자) 이 들어오면, 사서님은 전체 책을 다 다시 정리하거나, 기존 책들을 다 치우고 새로운 책만 꽂아야 했습니다. 그렇게 하면 예전에 정리해 둔 책들이 엉망이 되거나 (망각), 다시 정리하는 데 너무 많은 시간이 걸렸습니다. 또한, 같은 글자라도 사람마다 쓰는 손글씨 (필체) 가 다르면 "이건 다른 글자인가?"라고 헷갈려 하기도 했습니다.
• 현실의 문제: 고고학 발굴 현장에서는 매일 새로운 문자가 발견됩니다. 이걸 한 번에 다 배우는 게 아니라, 시간이 지날수록 하나씩 추가해 나가야 합니다. 게다가 같은 글자도 '전설 (甲骨文)', '금문 (청동기 문자)' 등 시대별로 모양이 다르고, 같은 시대라도 사람마다 필체가 천차만별입니다.

🚀 2. 해결책: AMR-CCR (지능형 도서관 사서)

이 연구팀은 이 문제를 해결하기 위해 AMR-CCR이라는 새로운 시스템을 만들었습니다. 이를 **"지능형 도서관 사서"**에 비유해 볼까요?

① "사전" 대신 "검색 시스템"으로 바꾸다 (Dictionary Retrieval)

• 기존: "이 글자는 A, B, C 중 하나야!"라고 정해진 정답지를 외우는 방식이었습니다. 새로운 글자가 나오면 정답지를 다시 만들어야 해서 무거웠습니다.
• 새 방식 (AMR-CCR): 정답지를 외우는 게 아니라, **거대한 '검색 사전'**을 만들어 두었습니다.
  • 새로운 문자가 들어오면, 정답지를 새로 만드는 게 아니라 단순히 그 사전에 '새로운 카드' 하나만 추가하면 됩니다.
  • 질문이 들어오면, 사전에 있는 카드들과 비슷한지 (유사도) 비교해서 가장 비슷한 것을 찾아냅니다. 마치 구글 검색처럼요.

② "시대별 안경"을 끼워주다 (Script-Conditioned Injection)

• 문제: 고대 문자는 시대에 따라 모양이 완전히 달라집니다. (예: 전설은 그림 같고, 한자는 기하학적이죠.) 같은 안경으로 모든 시대를 보면 헷갈립니다.
• 해결: AI 가 들어온 문자의 시대 (예: 청동기 시대, 전설 시대) 를 감지해서, 그 시대에 딱 맞는 **"특수 안경 (SIA)"**을 자동으로 끼워줍니다.
  • 안경을 끼면, 비록 시대가 다르더라도 핵심적인 특징은 잘 보이게 만들어줍니다. 그래서 예전에 배운 글자들과 새로운 글자가 섞여도 혼란이 생기지 않습니다.

③ "한 글자, 여러 얼굴"을 기억하다 (Multi-Prototype Dictionary)

• 문제: 같은 글자라도 사람마다 필체가 다릅니다. (예: 굵은 필체, 가는 필체, 찌그러진 필체 등). 기존 AI 는 "평균적인 필체" 하나만 기억해서, 실제 필체가 다르면 못 알아봤습니다.
• 해결: 이 시스템은 **한 글자당 '여러 개의 얼굴 (프로토타입)'**을 기억합니다.
  • 예를 들어 '산 (山)'이라는 글자를 배울 때, "굵은 필체 버전", "가는 필체 버전", "찌그러진 버전" 등 여러 가지 스타일을 모두 사전에 저장해 둡니다.
  • 그래서 어떤 필체로 쓰여도 "아, 이건 '산'의 '굵은 버전'이구나!"라고 정확히 찾아냅니다.

📚 3. 새로운 시험지: EvoCON (EvoCON 벤치마크)

이 시스템을 검증하기 위해 연구팀은 EvoCON이라는 새로운 시험지를 만들었습니다.

• 6 단계 학습: 전설 → 금문 → 소전 등 6 가지 시대의 문자를 순서대로 하나씩 추가하며 학습시킵니다.
• 제로샷 (Zero-shot) 테스트: 아예 본 적 없는 글자가 나오면, 이미지 없이 글자의 '뜻'이나 '모양 설명'만 보고 맞춰보는 테스트도 포함했습니다. (예: "이 글자는 '물'을 뜻하고, 물결 모양으로 생겼어"라는 설명만 보고 정답 찾기)

🌟 4. 요약: 왜 이 연구가 중요한가요?

이 연구는 **"고대 문자를 디지털화하는 과정"**을 단순한 '분류'가 아닌, **계속 성장하는 '검색 시스템'**으로 바꿨습니다.

• 새로운 걸 배우면서도 예쁜 것을 잊지 않음: 새로운 문자가 들어와도 기존 데이터를 망가뜨리지 않습니다.
• 다양한 필체를 다 알아봄: 같은 글자라도 누가 썼든, 어떤 시대에 썼든 다 찾아냅니다.
• 실제 현장에 적용 가능: 발굴 현장에서 매일 새로운 문자가 나오더라도, 시스템은 카드 한 장만 추가하면 바로 대응할 수 있습니다.

결론적으로, 이 기술은 인류의 문화 유산을 디지털로 보존하고, 미래에도 계속 발전시킬 수 있는 튼튼한 기반을 마련해 준 것입니다. 마치 시간을 초월해서 모든 고대 문자를 완벽하게 기억하는 초지능 사서가 생긴 것과 같습니다.

기술 요약

이 논문은 **고대 중국어 문자 인식 (Ancient Chinese Character Recognition, CCR)**을 실제 디지털화 워크플로우에 맞춰 지속적 학습 (Continual Learning) 관점에서 재정의하고, 이를 해결하기 위한 새로운 프레임워크와 벤치마크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의: 지속적 중국어 문자 인식 (Continual CCR)

기존의 고대 문자 인식 연구는 고정된 클래스 집합을 가정하는 '오프라인 폐쇄집합 (closed-set)' 분류 방식이 주류였습니다. 그러나 실제 문화유산 디지털화 현장에서는 다음과 같은 동적 특성을 가집니다.

• 지속적인 클래스 확장: 새로운 발굴 자료들이 지속적으로 유입되어 새로운 문자 클래스와 새로운 서체 (Script) 가 추가됩니다.
• 복잡한 데이터 특성:
  • 클래스 간 미묘한 차이: 서로 다른 서체나 유사한 형태의 문자들 간의 구분이 매우 어렵습니다.
  • 클래스 내 다양성: 동일한 문자라도 필사자나 매체 (비석, 갑골 등) 에 따라 서체 스타일이 크게 달라집니다.
• 기존 방법의 한계: 기존 분류기 기반 접근법은 클래스가 늘어날 때마다 헤드를 확장해야 하며, 새로운 데이터로 미세 조정 (Fine-tuning) 시 기존 클래스의 성능이 급격히 떨어지는 망각 (Forgetting) 문제가 발생하고, 단일 중심 (Single-center) 가정이 클래스 내 다양성을 처리하지 못합니다.

이를 해결하기 위해 저자들은 지속적 중국어 문자 인식 (Continual CCR) 문제를 정의했습니다. 이는 서체 (Script) 단위로 데이터가 유입되고, 각 단계에서 클래스가 점진적으로 증가하는 서체 단계별 (Script-staged), 클래스 증분 (Class-incremental) 설정입니다.

2. 제안 방법: AMR-CCR (Anchored Modular Retrieval)

저자들은 폐쇄집합 분류를 넘어 임베딩 기반 사전 검색 (Dictionary-based Retrieval) 패러다임을 도입한 AMR-CCR 프레임워크를 제안합니다.

핵심 구성 요소

1. 공유 멀티모달 임베딩 공간:

   • 이미지, 문자 의미 (Meaning), 형태 (Shape) 설명을 공유하는 멀티모달 공간에서 인식 작업을 수행합니다.
   • 새로운 클래스는 분류기 재학습 없이 단순히 **사전 (Dictionary)**에 항목을 추가하는 방식으로 확장 가능합니다.

2. 스크립트 조건부 주입 모듈 (SIA + SAR):

   • SIA (Script-Interface Adapter): 새로운 서체가 유입될 때, 고정된 백본 (Backbone) 에 경량화된 어댑터를 주입하여 해당 서체만의 특성을 보정합니다. 이는 공유 임베딩 공간의 일관성을 유지하면서 새로운 서체의 분포 변화를 처리합니다.
   • SAR (Script-Aware Routing): 추론 시 서체 정보가 알려지지 않은 경우, 고정된 비주얼 임베딩을 기반으로 가장 적합한 SIA 를 선택하는 경량 라우팅 모듈입니다. 이를 통해 단계 간 임베딩 호환성을 유지합니다.

3. 이미지 기반 다중 프로토타입 사전 (Multi-Prototype Dictionary):

   • 클래스 내의 다양한 서체 스타일을 포착하기 위해, 각 클래스의 임베딩을 클러스터링하여 **여러 개의 프로토타입 (Prototype)**을 생성합니다.
   • 이는 단일 평균 프로토타입의 한계를 극복하고, 유사한 문자들 간의 혼란을 줄여 검색 정확도를 높입니다.

4. 학습 전략:

   • Phase-I (새로운 서체 적응): 현재 단계의 데이터로 새로운 SIA 만을 학습하여 공유 공간의 드리프트를 방지합니다.
   • Phase-II (버퍼 리플레이): 이전 단계의 데이터를 제한적으로 재사용하여 SIA 간 정렬을 수행하고, SAR 모듈을 학습시킴으로써 망각을 최소화합니다.

3. 벤치마크: EvoCON

실제적인 평가를 위해 EvoCON이라는 새로운 벤치마크를 구축했습니다.

• 6 단계 서체 온보딩: 갑골문 (OBC) 부터 예서 (CS) 까지 6 가지 주요 서체를 역순으로 (가장 최신 서체부터 가장 오래된 서체 순) 단계별로 학습하는 프로토콜을 제공합니다.
• 멀티모달 데이터: 각 샘플에 대해 문자의 의미 설명과 형태 구조 설명 (Qwen3-VL 등을 활용하여 생성) 을 포함하여 멀티모달 학습을 지원합니다.
• Zero-shot 태스크: 학습 데이터에 존재하지 않는 문자 (이미지 예시 없음) 를 의미/형태 텍스트 설명만으로 식별하는 엄격한 제로샷 평가를 포함합니다.

4. 실험 결과 및 성과

• 성능: AMR-CCR 은 기존 지속적 학습 방법 (DER++, EWC 등) 과 비교하여 **최종 정확도 (AA6)**와 망각 (FGT) 사이에서 가장 우수한 균형을 보였습니다.
  • Qwen3-VL-Embedding-8B 기반 모델은 AA6 정확도 58.59% (Top-1) 를 기록하여 기존 최상위 방법 (DER++: 45.85%) 보다 약 12.7%p 향상되었습니다.
  • 망각 지표 (FGT) 는 1.85% 로 매우 낮게 유지되었습니다.
• 제로샷 성능: 이미지 예시 없이 텍스트 설명만으로 수행하는 제로샷 태스크에서도 유의미한 성능을 보여주었습니다.
• 애블레이션 연구:
  • SIA/SAR 모듈 제거 시 성능이 급격히 하락하여, 서체 조건부 보정의 중요성을 입증했습니다.
  • 다중 프로토타입 사전이 단일 프로토타입보다 유사 클래스 간의 혼란을 줄이는 데 결정적임을 확인했습니다.
  • 텍스트 설명 (의미/형태) 을 활용한 멀티모달 학습이 제로샷 성능과 일반 검색 성능 모두에 필수적임을 보였습니다.

5. 의의 및 기여

1. 문제 정의의 혁신: 고대 문자 인식을 단순 분류 문제가 아닌, 실제 디지털화 워크플로우를 반영한 '지속적 학습' 문제로 공식화했습니다.
2. 확장 가능한 프레임워크: 새로운 클래스를 분류기 재학습 없이 사전 확장만으로 추가할 수 있는 모듈식 검색 아키텍처를 제안하여, 대규모 고대 문자 데이터 처리의 확장성 문제를 해결했습니다.
3. 표준 벤치마크 제공: EvoCON 을 통해 지속적 학습과 제로샷 인식에 대한 체계적이고 재현 가능한 평가 기준을 마련했습니다.

이 연구는 문화유산 디지털화 분야에서 발생하는 동적이고 복잡한 인식 문제를 해결하기 위한 새로운 방향성을 제시하며, 멀티모달 임베딩과 지속적 학습을 결합한 실용적인 솔루션을 제공합니다.