💬 NLP

Enabling Stroke-Level Structural Analysis of Hieroglyphic Scripts without Language-Specific Priors

이 논문은 언어별 사전 지식이 필요 없이 이집트 상형문자를 포함한 다양한 문자의 비트맵 이미지에서 획 수준의 구조를 자동으로 추출하고 해석 가능한 선분 표현으로 변환하여 MLLM 이 문자의 내부 구조와 의미를 이해할 수 있도록 하는 범용 프레임워크 'HieroSA'를 제안합니다.

원저자: Fuwen Luo, Zihao Wan, Ziyue Wang, Yaluo Liu, Pau Tong Lin Xu, Xuanjia Qiao, Xiaolong Wang, Peng Li, Yang Liu

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fuwen Luo, Zihao Wan, Ziyue Wang, Yaluo Liu, Pau Tong Lin Xu, Xuanjia Qiao, Xiaolong Wang, Peng Li, Yang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"고대 문자와 한자 같은 그림 문자를, 컴퓨터가 사람의 눈처럼 '획(筆劃)' 단위로 이해하게 만드는 새로운 방법"**을 소개합니다.

기존의 인공지능 (AI) 은 문자를 볼 때 두 가지 방식 중 하나만 사용했습니다.

문자 그대로: "A", "B", "한" 같은 기호로만 보고, 그 안의 모양은 무시합니다. (책상 위 글자만 보고 내용 모음)
픽셀 덩어리: 검은 점들이 모여 있는 '사진'으로만 봅니다. (모자이크 그림을 보고 "어디가 코고 어디가 눈인지"는 잘 모름)

이 때문에 AI 는 문자가 어떻게 만들어졌는지 (획의 구조) 를 이해하지 못했습니다. 이 논문은 이를 해결하기 위해 **'히어로사 (HieroSA)'**라는 도구를 만들었습니다.

🎨 히어로사 (HieroSA) 는 어떤 마법일까요?

히어로사의 원리를 쉽게 설명해 드리겠습니다.

1. "그림을 선으로 다시 그리기" (구조 분석)

상상해 보세요. AI 가 고대 갑골문자나 한자를 볼 때, 단순히 검은색 점들이 모여 있는 것을 보는 게 아니라, **"이 글자는 이 선과 저 선이 이어져서 만들어졌구나!"**라고 깨닫는 것입니다.

비유: 마치 아이가 레고 블록을 조립할 때, 완성된 장난감 전체를 보는 게 아니라 "이 블록은 저 블록에 붙어서 이 모양이 되었구나"라고 블록 하나하나를 분리해서 이해하는 것과 같습니다.
히어로사는 복잡한 글자 이미지를 **단순한 선분 (Line segments)**들의 집합으로 변환합니다. 마치 그림을 연필로 선을 따라 그리는 (스케치) 과정처럼요.

2. "선생님이 없어도 스스로 배우기" (데이터 없이 학습)

보통 이런 일을 시키려면 사람이 일일이 "이건 가로획, 이건 세로획"이라고 알려줘야 합니다. 하지만 히어로사는 사람의 설명 없이 스스로 배웁니다.

비유: 아이가 연필로 그림을 따라 그리는 연습을 할 때, 선생님이 "이 선은 여기서 끊어"라고 말해주지 않아도, 검은색 선 (원본 글자) 위를 벗어나지 않고 최대한 많이 덮어쓰는 것을 목표로 연습하는 것과 같습니다.
AI 는 "내가 그린 선이 원본 글자의 검은색 부분과 얼마나 잘 겹치는지"를 스스로 점수 (보상) 를 매기며 학습합니다. 틀리면 점수가 떨어지고, 잘 맞으면 점수가 오릅니다.

3. "누구나 통하는 만능 열쇠" (범용성)

이 도구는 중국 한자, 일본 가나, 고대 이집트 상형문자, 나시족의 동바 문자 등 어떤 언어든 상관없이 작동합니다.

비유: 히어로사는 **모든 나라의 자물쇠를 여는 '마스터 키'**와 같습니다. 자물쇠 모양 (언어) 이 달라도, 열쇠의 기본 원리 (선으로 그리는 구조) 는 같기 때문에 새로운 자물쇠를 만나도 바로 적응할 수 있습니다.

🚀 이 기술이 왜 중요할까요?

이 기술은 단순히 글자를 그리는 것을 넘어, 문자의 숨겨진 의미를 찾아내는 탐정 역할을 합니다.

OCR (문자 인식) 성능 향상:
- 글자의 모양만 보는 게 아니라, 어떻게 쓰였는지 (획의 흐름) 를 이해하므로, 흐릿하거나 낯선 글자도 훨씬 정확하게 읽어낼 수 있습니다.
- 비유: 글자를 읽을 때, 단순히 글자 모양을 외우는 게 아니라 "이 글자는 이렇게 쓰이는구나"라는 쓰는 습관을 알면, 손글씨를 훨씬 잘 알아볼 수 있는 것과 같습니다.
고대 문자의 비밀 풀기:
- 해석되지 않은 고대 문자들 사이에서 구조적으로 비슷한 글자를 찾아냅니다.
- 비유: 고대 유적지에서 비슷한 모양의 조각을 찾아내면, "아! 이 두 글자는 같은 가족 (의미) 이구나!"라고 추측할 수 있습니다. 예를 들어, 발 모양이 비슷한 고대 글자들을 묶어주면, 그 글자들이 '움직임'이나 '걸음'과 관련된 뜻일 가능성이 높다는 것을 발견할 수 있습니다.

💡 요약

이 논문은 **"인공지능에게 글자를 '그림'으로 보게 하지 말고, '선으로 이어진 구조'로 보게 만들어라"**는 아이디어를 제시합니다.

사람이 연필로 그림을 그리듯, AI 가 선 (Stroke) 의 논리를 스스로 깨우치게 함으로써, 고대부터 현대까지 모든 언어의 문자를 더 깊이 있게 이해하고 해석할 수 있는 새로운 시대를 열었습니다. 마치 **고대 문자의 '해독 키'**를 찾아낸 것과 같습니다.

논문 요약: HieroSA (Hieroglyphic Stroke Analyzer)

1. 연구 배경 및 문제 정의 (Problem)

배경: 상형문자 (Hieroglyphs) 는 문자 내부의 구조적 구성을 통해 풍부한 의미와 문화적 정보를 인코딩합니다. 현대의 한자나 일본어 가나와 같은 표의문자도 이러한 특성을 공유합니다.
현재 기술의 한계:
- LLM/MLLM 의 구조적 맹점: 기존 대규모 언어 모델 (LLM) 은 문자를 텍스트 토큰으로만 처리하여 내부 구조 정보를 무시합니다. 멀티모달 LLM(MLLM) 은 픽셀 기반 이미지로 처리하지만, 획 (stroke) 간의 구조적 관계나 문자 형성의 기본 원리를 효과적으로 모델링하지 못합니다.
- 기존 방법의 비효율성: 기존 구조 분석 방법들은 특정 문자 체계에 국한되거나, 사전 정의된 획 목록 (stroke inventory) 이나 분해 규칙과 같은 언어별 사전 지식 (priors) 에 의존합니다. 또한, 수동 주석이 많이 필요하여 확장성과 일반화가 어렵습니다.
핵심 문제: 주석 (annotation) 이나 특정 언어의 사전 지식 없이, 비트맵 이미지에서 자동으로 획 수준의 구조를 추론하고 일반화할 수 있는 프레임워크의 부재.

2. 제안 방법: HieroSA (Methodology)

저자들은 HieroSA(Hieroglyphic Stroke Analyzer) 라는 새로운 프레임워크를 제안합니다. 이는 MLLM 이 주석 데이터 없이도 문자 비트맵에서 획 수준의 구조를 자동으로 유도할 수 있게 합니다.

핵심 아이디어:
- 문자 이미지를 정규화된 좌표 공간 (normalized coordinate space) 에서 명시적이고 해석 가능한 선분 (line-segment) 표현으로 변환합니다.
- 획은 두 끝점 $(p_s, p_e)$ 으로 정의된 선분 집합 $S = \{(p_s^k, p_e^k)\}_{k=1}^n$ 으로 모델링됩니다. 곡선이나 복잡한 형태는 명시적으로 파라미터화되지 않고, 여러 선분으로 유연하게 분해하여 근사합니다.
학습 방식 (Reinforcement Learning):
- 지도 신호: 오직 비트맵 이미지 (검은색 획과 흰색 배경) 만을 사용합니다.
- 보상 함수 설계 (Reward Design):
  1. 유효 획 식별: 예측된 선분이 검은색 픽셀 영역 내에 있는지 확인합니다.
  2. 커버리지 추정: 선분을 접선 및 법선 방향으로 확장하여 검은색 픽셀 영역을 얼마나 잘 덮는지 (Coverage) 계산합니다. 과도한 확장은 제거합니다.
  3. 보상 집계: 전체 검은색 픽셀 영역을 얼마나 많이 덮었는지 (Coverage) 를 기반으로 보상을 계산하되, 유효하지 않은 획 (검은색 영역 밖으로 나가는 획) 에 대해서는 페널티를 부과합니다.
- 알고리즘: GRPO (Group Relative Policy Optimization) 를 사용하여 강화 학습을 수행합니다. 최종 보상 $r = r_s + \beta r_f$ 는 구조적 보상 ( $r_s$ ) 과 형식 준수 보상 ( $r_f$ ) 의 합입니다.

3. 주요 기여 (Key Contributions)

새로운 학습 프레임워크: MLLM 이 획 수준의 구조를 효과적으로 포착하고 모델링할 수 있도록 하여, 문자 내부 구조 정보에 대한 명시적 접근을 가능하게 합니다.
언어 독립적 일반화: 외부 언어 전문가 지식이나 주석 없이도 다양한 상형문자 체계 (현대 중국어, 일본어 간자, 갑골문 등) 에 걸쳐 일관되게 일반화되는 것을 실험적으로 입증했습니다.
다운스트림 작업 향상: HieroSA 가 생성한 획 표현을 통합하면 광학 문자 인식 (OCR) 및 글리프 구조 탐색과 같은 하류 작업의 성능이 향상됨을 보였습니다.

4. 실험 결과 (Results)

데이터셋: 현대 중국어 (ZH), 일본어 (JA), 갑골문 (OBS) 으로 구성된 데이터셋을 사용했습니다.
비교 대상: GPT-5, Claude Sonnet 4, Qwen3-VL-4B(베이스 모델), 그리고 기존 선분 분할 알고리즘 (ELSED, DeepLSD) 과 비교했습니다.
성능 지표:
- RE (Reward): 학습 목표와의 정합성.
- CO (Coverage): 예측된 획이 검은색 픽셀 영역을 얼마나 덮는지.
- IS (Invalid Strokes): 유효하지 않은 획의 비율.
주요 결과:
- HieroSA 는 모든 베이스라인 (최신 MLLM 포함) 을 압도적으로 능가했습니다.
- 중국어 (ZH) 모델: RE 0.837, CO 78.5%, IS 6.1% 를 기록하여 가장 높은 성능을 보였습니다.
- 교차 언어 일반화: 중국어로 학습된 모델이 일본어와 갑골문에서도 높은 성능을 보였으며, 이는 복잡한 구조를 가진 중국어 데이터가 더 강력한 구조적 사전 지식을 학습시켰기 때문으로 분석되었습니다.
- 다운스트림 작업 (OCR): 획 구조 표현을 추가한 미세 조정 (Fine-tuning) 은 제로샷 (Zero-shot) 및 획 표현 없이 학습한 모델 대비 OCR 정확도를 유의미하게 향상시켰습니다.
- 구조 기반 문자 탐색: 예측된 획을 기반으로 마스킹 (masking) 을 수행하여, 외형은 다르지만 구조적으로 유사한 상형문자 (예: 갑골문, 동바 문자, 이집트 상형문자) 를 찾아내는 데 성공했습니다. 이는 의미적 유사성까지 포착할 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

그래메틱스 (Graphematics) 분석 도구: HieroSA 는 특정 언어에 의존하지 않고 다양한 상형문자 체계의 구조를 자동으로 분석할 수 있는 확장 가능한 도구로, 미해결 문자나 고대 문자 해독에 중요한 역할을 할 수 있습니다.
MLLM 의 구조적 이해 증진: 텍스트 토큰이나 픽셀 그 이상으로, 문자의 구성 논리 (획의 조합) 를 이해하는 MLLM 의 능력을 입증했습니다.
한계 및 향후 과제: 학습 데이터의 구조적 복잡성이나 기하학적 노이즈에 따른 민감성, 대규모 모델 학습의 필요성, 그리고 탐색 결과의 자동 필터링 메커니즘 구축 등이 향후 과제로 제시되었습니다.

이 연구는 인공지능이 인간의 문자 체계, 특히 복잡한 상형문자의 구조적 본질을 언어적 편견 없이 이해하고 해석할 수 있는 새로운 길을 열었다는 점에서 의의가 큽니다.