기술 요약: 단일 문자를 넘어: 문장 단위 갑골문 이해를 위한 MLLM 평가

문제 정의

기존의 갑골문(OBI) 인식 및 이해 연구는 주로 고립된 글자를 탐지, 분류 또는 해독하는 **문자 단위 작업(character-level tasks)**에 집중되어 왔습니다. 이러한 작업은 기초적이지만, 완전한 점복 내용(divinatory charges)에 내재된 구조적 일관성, 의미론적 역할, 그리고 맥락적 의존성을 이해하는 모델의 능력을 평가하기에는 부족합니다. 완전한 갑골문 기록은 단순히 고립된 문자들의 집합이 아닙니다. 이는 날짜, 점술가, 점복 내용, 결과와 같은 구성 요소를 포함하는 구조화된 형태를 따릅니다. 현재의 멀티모달 거대 언어 모델(MLLM)은 글자 지각, 문자의 순서, 그리고 점복적 맥락을 통합해야 하는 **문장 단위의 명문 이해(sentence-level inscription understanding)**를 달est할 수 있는지 판단할 수 있는 강력한 평가 프레임워크가 부족합니다.

방법론

1. S-OBI 벤치마크 구축

깨끗한 문장 단위 갑골문 데이터의 희소성과 전통적인 탁본에 존재하는 노이즈 문제를 해결하기 위해, 저자들은 S-OBI라는 진단용 벤치마크를 도입합니다.

• 데이터 소스: 이 벤치마크는 전문가에 의해 식별, 교정 및 검증된 95개의 원본 문장 단위 갑골 탁본을 기반으로 구축되었습니다.
• 글리프 치환을 통한 합성: 노이즈가 많은 불완전한 탁본을 직접 시각적 입력으로 사용하는 대신, S-OBI는 명확하고 표준화된 문장 단위 이미지를 합성합니다. 이 과정은 다음과 같습니다:
  1. 전문가가 검증한 소스 이미지에서 개별 문자를 추출합니다.
  2. 대규모 갑골 데이터셋(예: OBC306, HUST-OBC)을 사용하여 이 문자들을 상응하는 범주에 매핑합니다.
  3. 원래의 의미적 내용과 명문 구조를 엄격히 유지하면서, 원래의 글자를 해당 데이터셋의 깨끗하고 고품질인 글리프 샘플로 교체합니다.
• 근거: 이러한 치환 방식은 원래 탁본에서 발견되는 저수준의 시각적 왜곡(노이즈, 균열, 먹 번짐)을 완화하여, 저수준의 시각적 강건성보다는 문장 단위 이해에 집중된 평가를 가능하게 합니다.

2. 태스크 설계

S-OBI는 서로 다른 수준의 이해도를 평가하기 위해 설계된 세 가지 단계의 태스크에 걸쳐 695개의 질의응답 쌍으로 구성됩니다.

• T1: 의미 매칭 (Semantic Matching):
  • 의미 선택: 문장 단위 갑골 이미지에 대해, 모델은 여러 선택지 중 올바른 전체적 의미를 선택합니다.
  • 의미 단위 순서 판단: 모델은 명문 내 의미 단위의 올바른 읽기 순서를 식별합니다.
• T2: 의미 슬롯 추출 (Semantic Slot Extraction): 모델은 이미지로부터 구조화된 점복 프레임(예: 주체, 동작, 객체, 시간, 결과, 서문, 점복 내용)을 복구해야 하며, 이는 알려진 맥락을 바탕으로 모호한 문자를 추론하는 것을 요구합니다.
• T3: 맥락적 추론 (Contextual Reasoning):
  • 마스킹된 글리프 완성: 30%의 문자가 마스킹 처리되며, 모델은 맥락에 기반하여 선택지 중에서 누락된 문자를 예측해야 합니다.
  • 구두점 복원: 모델은 구두점이 없는 시퀀스에서 구두점 경계를 복원합니다.
  • 순서 복구: 모델은 뒤섞인 문자 시퀀스로부터 올바른 읽기 순서를 복구합니다.

3. 실험 설정

저자들은 GPT-5.2, GPT-4o, Gemini 3.1 Pro, Qwen3.6-Plus를 포함한 독점 모델과 DeepSeek-V4-Pro, Qwen3.6-35B, InternVL3.5 시리즈 등을 포함한 오픈 소스 모델 등 10개의 최첨단 MLLM을 평가했습니다. 평가 지표에는 전체 정확도, 태스크 평균 정확도, 인스턴스별 정확도가 포함되었습니다.

주요 결과

1. 전체 성능 천장 (Overall Performance Ceiling)

현재의 MLLM은 문장 단위 갑골 이해에서 열등한 성능을 보입니다.

• 가장 우수한 모델(Qwen3.6-Plus-thinking)이 달성한 최고 전체 점수는 단 **33.5%**에 불 불과했습니다.
• 대부분의 모델이 30% 미만을 기록했으며, 이는 일반적인 OCR 능력과 광범위한 멀티모달 지시 이행 능력만으로는 이 작업에 불충분함을 나타냅니다.

2. 태스크별 격차

• 순서 vs 의미: 모델은 전체적 의미 매칭(평균 ~22.6%)보다 의미 단위 순서 선택(평균 ~79.6%)에서 현저히 높은 성능을 보였습니다. 이는 모델이 깊은 의미론적 해석보다는 가시적인 시퀀스 규칙성(정형화된 순서)을 활용하고 있음을 시사합니다.
• 구조적 추론 실패: 의미 슬롯 추출은 여전히 주요 병목 구간이며, 최우수 모델이 27.2%를 달성했을 뿐 모든 모델이 전체 슬롯 프레임에 대한 100% 일치에 실패했습니다.
• 맥락적 추론의 약점: 구두점 복원과 마스킹된 글리프 완성은 특히 취약했습니다. 구두점 복원 점수는 모든 모델에서 15% 미만이었고, 마스킹된 글리프 완성 점수는 종종 4지 선다형의 확률 수준인 25% 미만이었습니다.

3. 문자 단위 인식에 대한 의존성

실험 결과, 현재 모델의 문장 단위 이해는 문자 단위 인식에 강력하게 의존한다는 것이 밝혀졌습니다. 마스킹되지 않은 영역의 시각적 지각 오류는 추론 체인을 통해 전파되어, 마스킹된 문자에 대한 잘못된 예측으로 이어집니다. 모델은 국부적인 시각적 증거가 불완전할 때 문맥을 사용하여 누락되거나 모호한 글자를 복구하는 데 어려움을 겪습니다.

4. 난이도 상관관계

• 길이 민감도: **T2 (슬롯 추출)**의 성능은 명문의 길이가 길어질수록 저하되며, 이는 긴 텍스트가 구조적 역할 할당에 대한 압박 테스트로 작용함을 시사합니다.
• 태스크 독립성: 상관관계 분석에 따르면 "마스킹(Masked)" 태스크는 "의미(Meaning)" 태스크와 직교하며, 이는 국부적인 시각적 패턴 매칭이 반드시 높은 수준의 의미 논리와 상관관계를 갖지는 않음을 나타냅니다.

주요 기여

1. 새로운 태스크 정의: 본 논문은 글자 지각, 순서, 의미적 역할, 그리고 맥락을 결합하여 고려해야 하는 문장 단위 갑골 이해 태스크를 제안함으로써, 평가 단위를 고립된 글자에서 완전한 점복 명문으로 전환했습니다.
2. S-OBI 벤치마크: 글리프 치환을 통해 표준화되고 노이즈가 제거된 문장 단위 이미지를 생성하여, 세 가지 태스크 유형(의미 매칭, 슬롯 추출, 맥락적 추론)에 걸친 695개의 QA 쌍을 특징으로 하는 진단용 벤치마크를 구축했습니다.
3. 포괄적인 평가: 10개의 MLLM을 체계적으로 평가하여, 모델들이 거친 의미 선택은 처리할 수 있으나 구조화된 의미 복구, 구두점 복원, 마스킹된 글리프 완성에는 실패한다는 것을 밝혔습니다.

의의 및 주장

본 논문은 문장 단위의 고대 문자 이해를 별도의 도전적인 멀티모달 평가 문제로 규정합니다. 저자들은 S-OBI가 MLLM이 고립된 문자 인식을 넘어 구조화된 명문 수준의 이해로 전이할 수 있는지 판단하는 진단용 벤치마크 역할을 한다고 주장합니다.

연구 결과는 현재의 MLLM이 완전한 점복 명문의 구조와 맥락을 모델링하는 강력한 능력을 아직 갖추지 못했음을 보여줍니다. 순서 선택과 의미 추론 사이의 상당한 격차는 기존 모델들이 진정한 맥락적 해독보다는 정형화된 규칙성에 의존하고 있음을 시사합니다. 결과적으로, 본 논문은 문장 단위의 갑골 이해가 이 분야의 중요한 미해결 과제로 남아 있음을 강조하며, 시각적 글리프 특징과 깊은 의미적·구조적 추론을 통합할 수 있는 모델의 필요성을 역설합니다.