💬 NLP

CNM-BERT: A Drop-In Structural Embedding for Chinese Characters via Ideographic Description Sequences

이 논문은 표의문자 기술 시퀀스(Ideographic Description Sequences)로부터 명시적인 결합 구조를 재귀적 Tree-MLP를 통해 BERT에 주입하는 경량 증강 기법인 CNM-BERT를 소개하며, 이는 희귀 및 미등록 한자에 대한 성능을 크게 향상시키는 동시에 다양한 다운스트림 태스크 전반에 걸쳐 일관된 이득을 제공한다.

원저자: Thomas Sing-wing Wu, Liqian Yan

게시일 2026-08-07

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Thomas Sing-wing Wu, Liqian Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 모든 단어가 작고 정교한 그림으로 이루어진 언어를 읽는 법을 가르치려 한다고 상상해 보세요. 영어에서는 26개의 알파벳으로 단어를 만들 수 있으므로, 글자를 알면 새로운 단어의 의미를 그 부분들을 보고 유추할 수 있는 경우가 많습니다. 하지만 중국어에서는 "글자"가 수천 개의 고유한 캐릭터이며, 각 캐릭터는 작은 모양들이 쌓여 만들어진 복잡한 그림입니다. 오랫동안 가장 똑똑한 컴퓨터 두뇌(AI 모델)들은 이 캐릭터들을 깨뜨릴 수 없는 마법 같은 돌덩이처럼 취급했습니다. 그들은 캐릭터 내부의 작은 모양들을 보지 않고, 그저 전체를 하나의 돌로 통째로 암기했습니다. 이 방식은 흔한 단어에는 잘 작동했지만, 로봇이 한 번도 본 적 없는 희귀하거나 생소한 캐릭터를 만났을 때, 로봇은 마치 본 적 없는 그림을 보며 백지 상태의 벽을 응시하는 것처럼 완전히 길을 잃고 말았습니다.

당신이 읽게 될 논문은 바로 이 문제를 다룹니다. 이 논문은 AI 모델이 이 "마법의 돌" 내부를 들여다보고 그것을 구성하는 작은 모양들을 볼 수 있도록 돕는 새로운 방법을 소개합니다. 연구진은 이 새로운 도구를 CNM-BERT라고 부릅니다. 모든 캐릭터를 통째로 암기하는 대신, 이 새로운 모델은 모든 캐릭터를 그 작은 부분들의 가계도로 분해하는 법을 배웁니다. 이는 마치 흩어진 단서들로부터 범죄 현장을 재구성하는 탐정과 같습니다. 이 연구의 큰 발견은, AI에게 이 캐릭터들이 어떻게 만들어지는지를 가르침으로써, 이미 알고 있는 흔한 단어들에 대한 능력을 해치지 않으면서도 한 번도 접해보지 못한 희귀한 단어의 의미를 훨씬 더 잘 추측할 수 있게 된다는 점입니다.

"드롭인(Drop-In)" 업그레이드의 이야기

표준적인 AI 언어 모델을 방대한 도서관의 책을 읽은 초천재 학생이라고 생각해 보세요. 이 학생은 수많은 단어를 함께 보았기 때문에 문장에서 다음에 올 단어를 맞히는 데 매우 뛰어납 만듭니다. 하지만 만약 당신이 평생 한 번도 본 적 없는 캐릭터를 건네준다면, 학생은 벽에 부딪히게 됩니다. 왜일까요? 그 학생은 모든 캐릭터를 하나의 원자적인 ID 카드처럼 취급하도록 배웠기 때문입니다. 그들은 '변(bian)'이라는 글자가 실제로 세 개의 작은 부분이 특정 방식으로 쌓여 만들어졌다는 사실을 모릅니다. 그들은 그저 검은 덩어리를 볼 뿐이며, 그것을 어떻게 분해해야 할지 전혀 알지 못합니다.

이 논문의 저자인 Thomas와 Liqian은 이 학생에게 "구조적 안경"을 쥐여주기로 했습니다. 그들은 학생의 뇌 전체를 다시 구축하고 싶지는 않았습니다(그것은 느리고 비용이 많이 드는 일입니다). 대신, 그들은 **구성 네트워크 모델(Compositional Network Model, CNM)**이라는 가볍고 부가적인 업그레이드 도구를 만들었습니다. 이것은 마치 학생의 주요 커리큘럼을 바꾸지 않고도 특화된 새 교과서를 학생의 배낭에 쏙 집어넣는 것과 같습니다.

작동 원리는 다음과 같습니다:

설계도 (IDS): 모든 중국어 캐릭터에는 "이 부분을 가져와서, 저 부분 위에 놓고, 세 번째 부분을 가운데에 샌드위치처럼 끼워라"라고 말하는 레시피와 같은 숨겨진 설계도인 "이데오그래픽 기술 시퀀스(Ideographic Description Sequence, IDS)"가 있습니다.
Tree-MLP: 새로운 모델은 이 레시 recipe를 받아 이를 트리 다이어그램으로 변환합니다. 단순히 재료를 보는 것이 아니라, 그것들이 어떻게 조립되는지의 순서와 구조를 봅니다. 이 모델은 특수한 "Tree-MLP"(수학적 기계의 일종)를 사용하여 이 트리를 아래에서 위로 읽어 올라가며, 작은 조각들이 어떻게 큰 그림을 만드는지 이해합니다.
융합: 이러한 구조적 이해는 모델의 메인 브레인 시작 단계에 바로 혼합됩니다. 이제 모델이 캐릭터를 볼 때, "ID 카드"와 "설계도"를 동시에 보게 됩니다.

연구 결과

연구진은 이 새로운 모델을 기존의 강력한 AI 두뇌들과 테스트했는데, 여기에는 캐릭터의 실제 픽셀을 직접 관찰하여 학습하려는 모델(사람이 흐릿한 이미지를 찌푸려 보는 것과 같은 방식)도 포함되었습니다. 그들은 AI가 문장 속에서의 의미뿐만 아니라 캐릭터의 구조를 정말로 이해하는지 확인하기 위해 CCD(Chinese Character Dataset)라는 특별한 테스트를 사용했습니다.

결과는 "구조적 안경" 접근 방식의 압승이었으며, 특히 상황이 이상해질 때 더욱 빛을 발했습니다:

희귀 캐릭터 문제: 테스트가 AI가 한 번도 본 적 없는 캐릭터(미등록 단어, OOV 슬라이스)를 사용했을 때, 기존 모델들은 무너졌습니다. 의존할 데이터가 없었기 때문에 거의 모든 것을 틀렸습니다.
CNM-BERT의 구출: 새로운 모델은 무너지지 않았습니다. 구조를 이해하고 있었기 때문에, 알려지지 않은 캐릭터의 레이아웃과 구성 요소를 놀라운 정확도로 추측할 수 있었습니다.
- 이 모델은 최고의 시각적 모델보다 **구조 정확도(Structure accuracy)**를 +9.8 포인트 향상시켰습니다.
- Radical F1(캐릭터의 핵심 부분을 식별하는 척도)을 +7.7 포인트 향상시켰습니다.

이는 매우 중요한 성과입니다. 이는 우주의 모든 캐릭터를 하나하나 암기할 필요는 없다는 것을 증명합니다. 캐릭터가 어떻게 만들어지는지에 대한 규칙을 이해한다면, 희귀한 것들도 파악할 수 있습니다.

다른 기능을 망가뜨리지는 않는가?

새로운 AI 기술을 도입할 때 흔히 하는 걱정은, 한 가지를 똑똑하게 만드는 것이 다른 기능을 멍청하게 만들 수도 있다는 것입니다. 연구진은 이를 확인하기 위해 매우 신중하게 검토했습니다. 그들은 독해, 뉴스 분류, 텍_내 이름 찾기(NER)와 같은 12가지 표준 작업에 대해 CNM-BERT를 테스트했습니다.

결과는 어땠을까요? 아무것도 망가뜨리지 않았습니다.

새 모델은 이러한 일반적인 작업에서 기존의 최고 모델들과 대등하거나 오히려 약간 더 나은 성능을 보였습니다.
작은 규모와 큰 규모 모두에서 중국어 이해의 표준 벤치마크인 CLUE에서 가장 높은 평균 점수를 기록했습니다.
캐릭터를 더 작은 조각으로 나누려고 시도하여 (때로는 AI를 혼란스럽게 할 수 있는) 다른 방법들과 달리, CNM-BERT는 원래의 캐릭터 시스템을 온전히 유지하면서 구조적 통찰력만을 추가했습니다.

결론

이 논문은 AI가 희귀한 중국어 캐릭터에 어려움을 겪는 이유가 더 많은 책을 읽거나 더 커져야 하기 때문이 아니라고 시사합니다. 그것은 현재 캐릭터를 바라보는 방식이 잘못되었기 때문입니다. 캐릭터를 깨뜨릴 수 없는 원자로 취급함으로써, 우리는 가장 중요한 정보인 그 '구조'를 버리고 있는 것입니다.

저자들은 CNM 도구를 사용하여 이 구조적 지식을 모델의 "두뇌"에 직접 주입함으로써, 흔한 단어의 성능을 희생하지 않으면서도 희귀한 캐릭터에 대한 사각지대를 해결할 수 있음을 보여줍니다. 이는 아이에게 단어 전체를 암기하는 것뿐만 아니라, 글자들이 어떻게 결합하여 단어를 만드는지를 이해하도록 가르치는 것과 같습니다. 그 결과, 컴퓨터의 작업량(학습 시간 약 5% 증가)을 아주 조금만 늘리면서도, 희귀한 단어의 긴 꼬리(long tail)까지도 쉽게 처리할 수 있는 더 똑똑하고 견고한 AI를 얻을 수 있습니다.

요약하자면, 이 논문은 중국어의 경우 AI의 미래가 단순히 더 큰 데이터에 있는 것이 아니라, 기계에게 캐릭터 내부의 *골격(skeleton)*을 보는 법을 가르치는 데 있다고 주장합니다.

기술 요약: CNM-BERT

문제 정의

BERT와 같은 현대 트랜스포머 기반 언어 모델은 중국어 글자를 원자적 식별자(토큰)로 취급한다. 이러한 토큰화 전략은 로그 그래픽(logographic) 문자의 내부적, 재귀적 형태 구조를 폐기함으로써 정보 병목 현상을 초end한다. 이러한 추상화는 알파벳 언어에서는 대체로 무해하지만, 글자가 의미 및 음성 성분(예: 부수 및 레이아웃 연산자)의 조합으로 이루어진 중국어의 경우에는 "근본적으로 손실이 큰(fundamentally lossy)" 방식이다.

결과적으로, 모델은 글자의 의미를 학습하기 위해 전적으로 문맥적 공생 관계(contextual co-occurrence)에 의존하게 된다. 이러한 접근 방식은 어휘의 "롱 테일(long tail)" 구간에서 심각한 실패를 드러낸다: 희귀 글자나 미등록 단어(OOV) 글자는 그래디언트 업데이트를 거의 받지 못하며, 표준 임베딩 테이블은 형태학적으로 연관된 글자 간에 파라미터를 공유할 수 없다. 저자들은 이것이 규모의 문제가 아니라 구조적 한계라고 주장한다. 즉, 모델 크기를 키우거나 사전 학습 데이터를 늘리는 것만으로는 입력 인터페이스 단계에서 폐기된 구조적 정보를 복구할 수 없다는 것이다.

방법론: 구성적 네트워크 모델 (CNM)

저자들은 백본(backbone), 어휘, 출력 공간을 수정하지 않고도 트랜스포머 인코더에 이산적인 하위 글자 구조를 주입하는 경량화된 "드롭인(drop-in)" 증강 기법인 CNM-BERT를 제안한다.

1. 구조적 표현 (IDS 파스 트리)

글자를 하나의 원자로 취급하는 대신, CNM은 **의제 기술 시퀀스(Ideological Description Sequences, IDS)**를 활용한다.

표준화(Canonicalization): IDS 문자열은 결정론적인 루트 파스 트리(rooted parse tree)로 변환된다. 내부 노드는 레이아웃 연산자(예: ⿰ 좌우, ⿱ 상하)를 나타내며, 리프 노드는 원자적 유니코드 성분(부수)을 나타낸다.
모호성 처리: 결정론적인 표준화 과정을 통해 트리 깊이, 고빈도 연산자, 사전식 순서를 우선순위로 두어 비고유한 IDS 분해를 해결한다. 유효한 IDS 항목이 없는 글자(어휘의 약 3%)는 학습 가능한 null 임베딩으로 매핑된다.

2. 재귀적 트리-MLP 인코더

특화된 Tree-MLP는 파스 트리를 하단에서 상단으로(bottom-up) 인코딩하여 구조적 임베딩( $s_x$ )을 생성한다.

리프 노드: 성분들은 임베딩 행렬을 통해 매핑되고 정규화된다.
내부 노드: 연산자는 연산자 임베딩과 자식 노드들의 은닉 상태를 결합한 값을 처리하는 다층 퍼셉트론(MLP)을 조건화한다. 제한된 잔차 경로(bounded residual path)가 자식들로부터 정보를 집계한다.
효율성: 중복 계산을 피하기 위해, Tree-MLP는 배치 내의 고유한 글자당 단 한 번만 평가되며, 결과는 구조적 인덱스 텐서를 통해 토큰 위치로 다시 수집된다.

3. 임베딩 인터페이스에서의 융합

CNM은 오직 입력 임베딩 레이어만을 수정한다.

표준 토큰 임베딩( $e_{tok}$ )과 계산된 구조적 임베딩( $s_x$ )이 결합(concatenation)된다.
선형 투영(linear projection) 레이어가 이 결합된 벡터를 모델의 은닉 크기로 다시 융합한다.
이렇게 융합된 임베딩은 위치 및 세그먼트 임베딩과 더해진 후, 변경되지 않은 트랜스포머 백본(자기 주의 집중 및 피드 포워드 레이어는 베이스라인과 동일)으로 전달된다.

4. 학습 목표

CNM-BERT는 다음을 통해 엔드투엔드(end-to-end)로 학습된다:

마스크드 언어 모델링 (MLM): 15%의 오염도를 가진 표준 전체 단어 마스킹(Whole Word Masking, WWM)을 사용한다.
보조 손실 (Auxiliary Loss): 마스킹된 글자의 골드(gold) 리프 성분을 예측하는 성분 예측 손실이다. 이때 구조적 임베딩은 골드 트리(트랜스포머 입력에는 숨겨진 상태)로부터 계산된다. 이는 정규화 역할을 수행한다 ( $\lambda=0.1$ ).

주요 기여

구조적 주입: CNM은 토큰 인터페이스와 직교하며 작동하는 이산적이고 상징적인 구조적 경로를 도입하여, 표준 토크나이저를 유지하면서도 구성적 구조를 노출시킨다.
효율성: 이 방법은 최소한의 파라미터(구조적 경로를 위해 약 2.5M)를 추가하며, ChineseBERT와 같은 시각적 증강 방식보다 훨씬 낮은 약 5%의 학습 오버헤드만을 발생시킨다.
이중 목표 검증: 프레임워크는 OOV 이해도를 테스트하기 위한 구조적 프로빙(structural probing)과 일반적인 자연어 이해(NLU) 태스크 모두에서 평가되어, 성능 저하가 없음을 확인한다.

실험 결과

기본: 구조적 프로빙 (CCD 벤치마크)

하위 글자 이해(레이아웃, 부수 분해, 획수)를 테스트하는 **중국어 글자 데이터셋(Chinese Character Dataset, CCD)**에서 평가되었다:

OOV 성능: OOV 슬라이스( [UNK]로 매핑되는 글자들)에서 토큰 전용 베이스라인들은 우연 수준(chance levels)으로 무너진다. CNM-BERT는 **구조 정확도 76.0%**와 **부수 F1 점수 56.1%**를 달성한다.
비교 우위: CNM-BERT는 가장 강력한 시각적 베이스라인인 ChineseBERT보다 OOV 슬라이스에서 구조 정확도는 +9.8 포인트, 부수 F1은 +7.7 포인트 더 높은 성능을 보인다. 또한 하위 글자 토큰화 베이스라인(예: SubChar-Wubi)보다도 유의미하게 앞선다.
일반화: 분포가 흔한 글자(IID)에서 희귀 글자(Long-tail), 그리고 OOV 글자로 이동함에 따라 성능 격차가 더 벌어지는데, 이는 이 이득이 코퍼스의 부산물이 아니라 구조적 사전 지식(architectural prior)임을 나타낸다.

보조: 일반 NLU (CLUE, MRC, NER)

12개의 표준 중국어 NLU 태스크에서 평가되었다:

성능: CNM-BERT는 Base 및 Large 스케일 모두에서 CLUE, MRC, NER 벤치마크에서 가장 높은 평균 점수를 기록했다.
차이: 강력한 베이스라인(ChineseBERT, MacBERT 등)과의 절대적인 차이는 작지만(예: 평균 +0.18 ~ +0.50 포인트), 5개의 파인튜닝 시드(seed)에 걸쳐 통계적으로 신뢰할 수 있는 수준이다.
트레이드오프 없음: 어휘 변경으로 인해 일부 태스크에서는 이득을 얻고 다른 태스크에서는 손해를 보는 하위 글자 토큰화 방식과 달리, CNM-BERT는 모든 태스크에서 일관된 이득 또는 동등한 성능을 보여줌으로써 구조적 주입이 토큰 인터페이스의 엄격한 개선임을 입증한다.

의의 및 주장

본 논문은 명시적인 구조적 주입이 일반적인 NLU 성능을 희생하지 않으면서도 희귀 및 OOV 글자에 대한 표현 격차를 해소할 수 있음을 보여준다고 주장한다.

구조 vs 규모: 토큰 전용 모델이 OOV 글자를 처리하지 못하는 것은 파라미터나 데이터를 확장하는 것만으로는 해결할 수 없는 구조적 결함임을 결과가 시사한다.
상호 보완성: CNM-BERT는 ChineseBERT와 같은 모델이 포착하는 시각적 신호와 상호 보완적인 상징적 구성 신호를 포착한다.
실용적 가치: 이 방법은 최소한의 계산 비용으로 실질적인 다운스트림 가치와 견고한 OOV 이해도를 제공하는 "드롭인" 솔루션을 제공한다.

저자들은 가장 강력한 경험적 주장이 IDS 학습 데이터와 데이터 소스를 공유하는 CCD 벤치마크에 의존하고 있다는 점을 겸허히 언급하며, 이로 인해 이득이 부분적으로 구조적 자원 전이에 의한 것일 수 있음을 시사한다. 그러나 이 역시 네트워크를 통해 구조적 정보를 전파하는 것의 효용성을 검증한다고 주장한다. 본 연구는 현재 중국어에 국한되어 있으나, 이론적으로 다른 로그 그래픽 또는 형태학적으로 풍부한 언어에도 적용 가능하다.