Specializing Large Models for Oracle Bone Script Interpretation via Component-Grounded Multimodal Knowledge Augmentation

1. 문제 정의 (Problem)

• 배경: 중국의 가장 오래된 성숙한 문자 체계인 갑골문 (Oracle Bone Script, OBS) 은 역사적, 문화적 가치가 매우 높으나, 4,500 자 이상의 알려진 문자 중 약 3 분의 1 만 해독되었습니다.
• 기존 접근법의 한계:
  • 기존의 AI 기반 해독 방법들은 대부분 '닫힌 집합 (closed-set) 이미지 인식' 문제로 접근하여, 개별 문자를 전체적으로 인식하려는 시도를 했습니다.
  • 이는 갑골문의 구조적, 의미적 뉘앙스를 간과하여 정보 낭비와 해석 편향을 초래합니다.
  • 기존 비전 - 언어 모델 (VLM) 은 전문 도메인 지식이 부족하여 '시각적 환각 (visual hallucinations)'을 일으키거나 언어적 깊이가 부족해 성능이 저하됩니다.
• 핵심 통찰: 갑골문은 제한된 수의 반복되는 상형적 구성 요소 (radicals/components) 로 이루어져 있으며, 각 구성 요소는 고유한 의미적 무게를 가집니다. 따라서 개별 문자를 인식하는 대신, 구성 요소를 식별하고 그들 간의 관계를 추론하는 것이 해독의 핵심 열쇠입니다.

2. 제안 방법론 (Methodology)

저자들은 에이전트 기반 비전 - 언어 모델 (VLM) 프레임워크를 제안하여, 구성 요소 기반의 시각적 근거와 그래프 기반 지식 검색을 통합했습니다.

A. 데이터셋: OB-Radix

• 기존 데이터셋이 문자 단위 인식에 치중했던 것과 달리, 구성 요소 (component) 단위로 세분화된 새로운 데이터셋을 구축했습니다.
• 구성: 1,022 개의 갑골 문자 이미지 (934 개 고유 문자) 와 1,853 개의 세분화된 구성 요소 이미지 (478 개 고유 구성 요소) 를 포함합니다.
• 특징: 고고학 박사 과정 학생들과 전문가들이 참여하여, 단순한 시각적 경계가 아닌 의미적 기능과 역할에 기반하여 구성 요소를 분리하고, 검증된 의미 설명을 첨부했습니다.

B. 아키텍처: 에이전트 기반 RAG (Retrieval-Augmented Generation)

시스템은 4 단계 파이프라인으로 구성됩니다:

1. 구성 요소 식별 (Component Identification): DINOv2 기반의 비전 인코더와 프로토타입 네트워크 (Prototypical Networks) 를 사용하여 입력된 갑골문자에서 구성 요소 (radicals) 를 식별합니다.
2. 지식 그래프 검색 (Agent-Driven Graph Knowledge Retrieval): 식별된 구성 요소를 기반으로 구축된 지식 그래프 (Knowledge Graph) 에서 관련 정보 (구성 요소 설명, 해당 구성 요소를 포함하는 다른 문자 등) 를 에이전트가 동적으로 검색합니다.
3. 구성 요소 관계 추론 (Component Relationship Inference): VLM 을 활용하여 식별된 구성 요소 간의 구조적 관계 (예: 의형제, 상형, 형상음성 등) 를 추론하고, 이들이 어떻게 결합하여 의미를 형성하는지 설명합니다.
4. 해석 생성 (Interpretation Generation):
   • VLM 추론 모드: 시각적 특징과 검색된 지식을 직접 융합하여 해석 생성.
   • 멀티 에이전트 모드: '지식 검색 에이전트'가 증거를 수집하고, '의미 추론 에이전트'가 이를 시각적 단서와 결합하여 인간이 이해 가능한 구조화된 설명을 생성합니다. 이는 오류 전파를 줄이고 견고성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 문제 재정의: 갑골문 해독을 단순한 시각 인식 문제가 아닌, 구성 요소 기반의 구조 인식 추론 작업으로 재정의하고 이를 구현하는 멀티모달 프레임워크를 제시했습니다.
2. OB-Radix 데이터셋 구축: 구성 요소 수준의 구조적 관계와 시각적 데이터, 그리고 전문가 검증된 의미 설명을 포함하는 최초의 고품질 데이터셋을 공개했습니다.
3. 종합적 평가 체계: 구성 요소 검색, 구성 요소 관계 추론, 갑골문 해석 생성이라는 3 단계 점진적 태스크를 통해 모델의 정확성과 해석 가능성 (interpretability) 을 종합적으로 평가했습니다.

4. 실험 결과 (Results)

세 가지 벤치마크를 통해 제안된 프레임워크가 기존 베이스라인 (단순 VLM) 보다 우월함을 입증했습니다.

• 구성 요소 식별: Top-5 정확도 91.57% 를 달성하여 제한된 데이터 환경에서도 강력한 일반화 능력을 보였습니다.
• 관계 추론 및 해석 생성:
  • 모든 모델 (GPT-5, Claude, GLM, Qwen 등) 에서 RAG 및 멀티 에이전트 방식을 적용했을 때 성능이 크게 향상되었습니다.
  • 예: Qwen 모델의 경우 ROUGE-1 점수가 0.264 에서 0.354 로, LLM-as-a-Judge 평가 점수는 0.339 에서 0.371 로 상승했습니다.
  • 특히 멀티 에이전트 구성 (검색 에이전트 + 추론 에이전트 분리) 은 단일 에이전트보다 더 높은 정확도와 유창함을 보여주었습니다.
• 인간 전문가 평가: 고고학 박사 과정 학생 2 명이 수행한 평가에서, 멀티 에이전트 파이프라인이 베이스라인 (1.367 점) 과 단일 RAG 파이프라인 (2.133 점) 을 압도하는 3.433 점을 기록하며 전문가 수준의 해석 능력을 입증했습니다.
• Ablation Study: 지식 검색 (Retrieval) 을 제거할 경우 성능이 현저히 저하되어, 시각적 인식 이상의 구조적 지식 그래프의 중요성을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능성 (Interpretability): 이 연구는 단순히 "무엇인지" 맞추는 것을 넘어, "왜 그런 의미인지"에 대한 논리적 추론 과정을 제공하여 고고학자들이 신뢰할 수 있는 해석을 얻을 수 있게 합니다.
• 도메인 특화 AI: 저자원 (low-resource) 및 전문 도메인에서 대형 모델의 한계를 극복하기 위해, 구조화된 지식 그래프와 에이전트 기반 추론을 결합한 새로운 패러다임을 제시했습니다.
• 문화유산 보존: 해독되지 않은 갑골문자의 의미를 체계적으로 추론할 수 있는 도구를 제공함으로써, 고대 중국의 제도, 기술, 신념에 대한 연구에 중요한 기여를 할 것으로 기대됩니다.

한계점 및 향후 과제:
현재 파이프라인은 구성 요소 인식의 불완전성과 미해독 문자의 존재로 인해 한계가 있으며, 완전한 자율 생성보다는 구조화된 검색 중심 워크플로우에 의존합니다. 향후 구성 요소 인식 정확도 향상과 지식 베이스의 확장이 필요하며, 음의형성 (phono-semantic) 문자 처리 능력도 개선되어야 합니다.