우리가 언어 모델을 훈련시킬 때, 컴퓨터는 단어를 그대로 읽지 않습니다. 대신 단어를 잘게 쪼개서 **작은 조각 (토큰)**으로 만듭니다. 이를 **'토큰화 (Tokenization)'**라고 합니다.
비유: imagine you are trying to teach a child to recognize the sound of a word by giving them LEGO bricks instead of the whole word.
예를 들어, **'musical' (음악)**이라는 단어는 소리를 내면 **mu-si-cal (3 음절)**입니다.
하지만 컴퓨터 (토크나이저) 는 이를 **'mus' + 'ical'**처럼 자를 수 있습니다.
문제: 'mus'와 'ical'이라는 레고 블록을 조립하면, 실제 소리의 흐름 (mu-si-cal) 이 어떻게 이어지는지 이해하기가 매우 어려워집니다. 마치 레고 블록이 소리의 경계와 맞지 않아서, 아이가 "이게 3 개 조각인가, 2 개 조각인가?"를 헷갈리는 것과 같습니다.
이 논문은 **"컴퓨터가 단어를 자르는 방식 (토큰화) 이 너무 성급해서, 소리의 구조 (음절, 운율) 를 망가뜨린다"**고 지적합니다.
🔍 2. 연구자가 발견한 두 가지 놀라운 사실
연구자들은 다양한 실험을 통해 두 가지 사실을 찾아냈습니다.
① "자르는 방식"이 소리를 망친다 (국소적 특징)
상황: 'nation'과 'station'이 같은 운율 (Rhyme) 을 가졌는지 묻는 질문입니다.
발견: 컴퓨터가 단어를 너무 크게 잘라버리면 (예: 'nation'을 한 덩어리로 봄), 'tion'이라는 끝부분 소리가 어떻게 들리는지 세세하게 파악하지 못합니다.
해결책: 연구자들은 단어를 **글자 하나하나 (또는 슬래시 '/'로 구분)**로 잘게 쪼개서 입력해 주었습니다. 그랬더니 컴퓨터가 "아! 'nation'과 'station'은 끝소리가 똑같구나!"라고 훨씬 잘 알아맞혔습니다.
비유: 멀리서 보면 두 사람이 비슷해 보이지만, 가까이서 자세히 보면 옷차림이 다릅니다. 토큰화는 너무 멀리서만 보게 만들었던 것입니다.
② "자르는 선"과 "소리 선"이 안 맞는다 (전체적 구조)
상황: 'musical'이 몇 음절인지 세는 문제입니다.
발견: 컴퓨터가 단어를 자르는 선 (토큰 경계) 과 실제 소리가 끊기는 선 (음절 경계) 이 일치하지 않을 때, 컴퓨터는 혼란을 겪습니다.
새로운 측정 도구 (STAD): 연구자들은 **'토큰과 음절의 어긋남 정도 (STAD)'**라는 지표를 만들었습니다.
어긋남이 적을수록 (STAD 낮음): 컴퓨터가 소리를 잘 이해합니다.
어긋남이 클수록 (STAD 높음): 컴퓨터는 소리를 엉뚱하게 이해합니다.
왜 그럴까? 외국에서 들어온 단어 (차용어) 나 여러 언어에서 비슷하게 쓰이는 단어 (예: 'musical'은 영어, 독일어, 프랑스어 등 다양한 언어에서 비슷하게 쓰임) 일수록, 컴퓨터가 자르는 방식이 소리와 더 많이 어긋나는 경향이 있었습니다.
🛠️ 3. 해결책: "소리 지도 (IPA)"를 함께 가르치기
컴퓨터의 토큰화 방식을 바꾸는 것은 마치 자동차 엔진을 처음부터 다시 만드는 것처럼 어렵습니다. 그래서 연구자들은 더 쉬운 방법을 제안했습니다.
방법: 컴퓨터에게 단어를 가르칠 때, **국제음성기호 (IPA)**라는 '소리의 지도'를 함께 보여줍니다.
예: "이 단어는 **musical**이고, 소리는 **/mjuːzɪkəl/**이야."라고 알려주는 것입니다.
효과: 이 방법을 통해 모델을 미세 조정 (Fine-tuning) 하니, 운율 맞추기, 소리 변환, 음절 세기 능력이 크게 향상되었습니다.
대신: 수학이나 일반 상식 문제 풀기 능력은 아주 조금만 떨어졌습니다 (약 1% 미만). 즉, 소리 실력을 키우기 위해 다른 능력을 포기할 필요는 거의 없다는 뜻입니다.
💡 4. 요약: 이 연구가 우리에게 주는 교훈
컴퓨터는 소리를 직접 들은 적이 없습니다. 오직 글자 (텍스트) 만 보고 소리를 유추해야 하므로, 단어를 자르는 방식이 매우 중요합니다.
잘게 쪼개는 것이 답은 아닙니다. 무조건 글자 단위로 자르는 것보다, 소리의 흐름 (음절) 을 고려해서 자르는 것이 더 중요합니다.
현실적인 해결책: 토큰화 방식을 완전히 바꾸지 않아도, 소리에 대한 정보 (IPA) 를 함께 학습시키면 인공지능이 노래를 짓거나 언어를 가르치는 등 '소리'와 관련된 작업을 훨씬 잘할 수 있습니다.
한 줄 요약:
"인공지능이 단어를 자르는 방식이 소리의 흐름과 맞지 않아서 소리를 못 알아듣는다면, 단어를 자르는 법을 고치는 대신 '소리 지도'를 함께 보여줘서 가르쳐주자!"
1. 문제 정의 (Problem)
대규모 언어 모델 (LLM) 은 텍스트 기반 데이터로만 훈련되지만, 단어의 발음, 운율 (rhyme), 음절 (syllable) 구분 등 음운론적 (phonological) 지식을 어느 정도 습득하고 있는 것으로 관찰됩니다. 그러나 이러한 음운론적 능력이 토크나이저 (Tokenizer) 의 설계와 어떻게 상호작용하는지는 명확히 규명되지 않았습니다.
핵심 문제: 현대 LLM 에서 널리 사용되는 **서브워드 (Subword) 토크나이저 (예: BPE, SentencePiece)**는 계산 효율성을 위해 단어를 빈도 기반의 서브단위로 분할합니다. 이 과정에서 음운론적 경계 (음절, 운율 등) 와 토큰 분할 경계가 불일치하게 됩니다.
가정: 이러한 토크나이저의 불일치가 모델이 음운론적 정보를 내부 표현 (Hidden States) 에 효과적으로 인코딩하는 것을 방해하고, 결과적으로 음운론 관련 태스크의 성능을 저하시킨다고 가정합니다.
2. 방법론 (Methodology)
저자들은 세 가지 주요 실험을 통해 토크나이저가 음운론적 지식에 미치는 영향을 분석하고 개선 방안을 제시했습니다.
2.1 실험 1: LLM 은닉 상태의 음운론적 지식 탐지 (Probing)
목표: 모델의 은닉 상태 (Hidden States) 가 음운론적 정보를 얼마나 잘 인코딩하는지 측정.
방법:
작업: 1) 운율 인식 (Rhyming Awareness), 2) 자음 - 음소 변환 (G2P), 3) 음절 수 세기 (Syllable Counting).
프로빙 (Probing): 모델의 각 레이어 (Layer) 에서 추출한 은닉 벡터를 입력으로 사용하여, 경량 선형 분류기/회귀기 (Probe) 를 훈련시켜 음운론적 속성을 예측했습니다.
모델: BERT, GPT-2, GPT-Neo, Mistral, Llama3 등 다양한 아키텍처와 크기의 모델 사용.
2.2 실험 2: 토크나이저의 영향 분석
가설 검증 1 (국소적 특징): 서브워드 토크나이저가 운율과 같은 국소적 음운 특징을 포착하는 데 너무 거칠다 (Coarse) 고 가정.
실험: 단어를 개별 문자로 세분화하는 '슬래시 (slash)' 토크나이저를 적용하여 성능 변화를 관찰.
가설 검증 2 (전역적 구조): 토큰 분할이 자연스러운 음절 경계와 불일치할수록 성능이 떨어진다.
새로운 지표 제안 (STAD):Syllabification-Tokenization Alignment Distance (STAD). 단어의 자연스러운 음절 분할과 토크나이저의 분할 사이의 불일치 정도를 하밍 거리 (Hamming Distance) 로 정량화.
분석: STAD 값이 낮은 단어 (정렬됨) 와 높은 단어 (불일치) 에 대한 모델 성능 비교.
원인 분석:동음어 (Cognates) 및 차용어가 많은 단어일수록 다양한 언어의 철자 변이가 발생하여 토크나이저가 음절 경계와 다르게 분할할 가능성이 높음을 발견 (CogNet 데이터베이스 활용).
2.3 실험 3: 음운론적 인식 강화 파인튜닝 (Fine-tuning)
목표: 토크나이저를 변경하지 않고 기존 모델의 음운론적 추론 능력을 향상시키는 경량 방법 제안.
방법:
데이터 증강: 일반 QA 데이터에 IPA(국제음성기호) 표기를 포함하도록 주석을 추가.
전략: 모델이 일반 질문을 수행하면서도 단어의 IPA 정보를 병렬로 처리하도록 학습시킴 (Instruction Tuning).
모델: Llama3.1-8B-Instruct 를 LoRA(Low-Rank Adaptation) 를 사용하여 파인튜닝.
3. 주요 결과 (Key Results)
3.1 음운론적 지식의 존재와 위치
모든 테스트된 LLM 은 은닉 상태에 음운론적 정보를 인코딩하고 있었으나, 성능은 완벽하지 않았습니다.
음운론적 정보는 주로 모델의 **중간 레이어 (전체 깊이의 20%~60%)**에서 가장 명확하게 나타났습니다.
3.2 토크나이저의 부정적 영향
세분화 효과: 슬래시 (/) 를 사용하여 토큰을 더 세분화하면 운율 인식 (Rhyming) 태스크의 성능이 통계적으로 유의미하게 향상되었습니다. 이는 서브워드 토크나이저가 국소적 음운 특징을 포착하는 데 한계가 있음을 시사합니다.
STAD 와 성능의 상관관계:
토큰 분할과 음절 분할이 잘 일치하는 단어 (STAD=0) 에서 모델의 G2P 및 음절 수 세기 성능이 현저히 높았습니다.
불일치가 큰 단어 (STAD > 0.25) 에서는 성능이 크게 저하되었습니다.
결론: 토크나이저의 불일치가 음운론적 표현의 저하와 직접적인 연관이 있습니다.
3.3 파인튜닝의 효과
성능 향상: IPA 기반 파인튜닝을 적용한 모델 (Llama3.1-8B-IPA) 은 세 가지 음운론 태스크 (운율, G2P, 음절 수) 에서 모두 일관된 성능 향상을 보였습니다.
일반 능력 보존:
GSM8K(수학 추론) 에서 1.1% 감소, MMLU(일반 지식) 에서 0.9% 감소만 발생했습니다.
이는 음운론적 지식을 주입하면서도 모델의 일반적인 추론 능력을 크게 해치지 않음을 의미합니다.
4. 주요 기여 (Key Contributions)
토크나이저의 음운론적 한계 규명: 서브워드 토크나이저가 음운론적 경계 (특히 음절) 와 불일치할 때, LLM 의 음운론적 표현 능력이 체계적으로 약화된다는 것을 실험적으로 증명했습니다.
STAD 지표 개발: 토크나이저와 음절 경계의 불일치를 정량화하는 새로운 메트릭인 STAD를 제안하여, 음운론 인식 토크나이저를 평가하는 진단 도구로 활용 가능하게 했습니다.
실용적인 개선 방안: 토크나이저 구조를 변경하는 대신, IPA 를 활용한 경량 파인튜닝을 통해 기존 모델의 음운론적 능력을 효과적으로 향상시키는 방법을 제시했습니다.
언어학적 통찰: 동음어 및 차용어가 많은 단어일수록 토크나이저 불일치가 심화되는 경향을 발견하여, 언어적 특성이 토크나이저 설계에 미치는 영향을 규명했습니다.
5. 의의 및 결론 (Significance)
이 연구는 LLM 이 음성 데이터 없이도 텍스트만으로 음운론적 지식을 습득할 수 있음을 보여주지만, 그 과정이 토크나이저의 설계에 크게 의존함을 강조합니다.
모델 설계 방향: 향후 LLM 설계 시, 단순한 빈도 기반이 아닌 음운론적 경계 (음절, 음소) 를 고려한 토크나이저 개발의 중요성을 시사합니다.
실용적 대안: 기존 모델을 재학습 (Pre-training) 하기 어렵다면, IPA 와 같은 명시적인 음운론적 정보를 파인튜닝 데이터에 주입하는 것이 비용 효율적인 대안이 될 수 있습니다.
미래 연구: 이 연구는 텍스트 기반 모델뿐만 아니라, 텍스트와 음성을 결합한 멀티모달 모델에서도 토크나이저가 음운 구조를 보존하는 것이 중요함을 시사합니다.
요약하자면, 이 논문은 **"토크나이저가 LLM 의 '귀' (음운 처리 능력) 를 막고 있다"**는 문제를 제기하고, 이를 해결하기 위한 **지표 (STAD)**와 **해결책 (IPA 파인튜닝)**을 제시한 선구적인 연구입니다.