💬 NLP

Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES

이 연구는 Byte-Pair Encoding(BPE)과 Unigram-LM이 화학 SMILES에 대해 근본적으로 구별되며 거의 겹치지 않는 서브워드 어휘 집합을 생성한다는 것을 입증하며, 이는 토큰화 알고리즘의 선택이 중립적인 기본 설정이 아니라 결정적인 모델링 의사결정임을 드러낸다.

원저자: Hunter Heidenreich

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hunter Heidenreich

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 질문: 컴퓨터에게 화학식을 읽는 법을 어떻게 가르칠 것인가?

당신이 컴퓨터에게 화학의 언어를 이해하도록 가르치려 한다고 상상해 보세요. 화학자들은 CC(=O)Oc1ccccc1과 같은 문자 및 기호의 나열인 SMILES라는 코드를 사용하여 분자를 작성합니다.

컴퓨터가 무언가를 배우기 전에, 먼저 **토크나이저(tokenizer)**가 필요합니다. 토크나이저를 긴 문장을 컴퓨터가 이해할 수 있는 작은 단위(단어 또는 하위 단어)로 나누는 번역가라고 생각해보세요.

오랫동안 화학 분야는 자연어 처리(컴퓨터가 영어를 읽는 방식)에서 사용되는 **BPE (Byte-Pair Encoding)**라는 방식을 맹목적으로 모방해 왔습니다. 이 논문의 연구자들은 다음과 같은 단순한 질문을 던졌습니다. "이것이 화학식을 나누는 최선의 방법일까, 아니면 더 나은 방법이 있을까?"

그들은 표준적인 방식인 BPE와 Unigram-LM이라고 불리는 다른 방식을 비교했습니다.

실험: 두 종류의 가위

당신에게 다양한 색깔의 구슬로 만들어진 길고 복잡한 목걸이(화학식)가 있다고 상상해 보세요. 당신은 이 목걸이를 연구하기 위해 더 작은 조각으로 잘라야 합니다. 당신에게는 두 종류의 서로 다른 가위가 있습니다.

탐욕스러운 가위 (BPE): 이 가위는 전체 목걸이 더미에서 가장 자주 함께 나타나는 두 개의 구슬을 찾습니다. 그리고 그 두 개를 하나의 "슈퍼 구슬"로 붙여버리고 이 과정을 반복합니다. 이 가위는 공격적이고 탐욕적이며, 빈번한 패턴을 통해 큰 덩어리를 만들려고 노력합니다.
확률적 가위 (Unigram-LM): 이 가위는 거대한 구슬 더미에서 시작하여 다음과 같이 묻습니다. "만약 내가 이 특정 구슬을 제거한다면, 전체적인 그림에 얼마나 타격을 줄까?" 이 가위는 필수적이지 않은 부분들을 신중하게 쳐내며, 더 세밀하고 상세한 관점을 유지합니다.

놀라운 발견: 두 가위는 합의하지 않는다

연구자들은 화학식은 매우 엄격하기 때문에(원자들이 특정한 방식으로 연결되어야 함), 두 가위가 거의 같은 곳을 자르게 될 것이라고 예상했습니다. 즉, "화학의 규칙"이 두 방식이 수렴하도록 강제할 것이라고 생각했습니다.

하지만 그들은 틀렸습니다.

두 방식 모두 정확히 동일한 화학 데이터, 동일한 시작 규칙, 그리고 동일한 어휘 크기를 사용했음에도 불구하고, 두 방식은 완전히 다른 집합의 "단어들"을 만들어냈습니다.

겹치는 부분이 매우 적음: 만약 BPE가 만든 "슈퍼 구슬" 목록과 Unigram-LM이 만든 목록을 비교한다면, 두 목록은 거의 아무것도 공유하지 않았습니다. 최악의 경우, 공유하는 조각은 16% 미만이었습니다. 가장 중요한 고빈도 조각들만 살펴보는 최선의 경우에도, 공유하는 비율은 5% 미만이었습니다.
"자르는" 깊이: 두 방식은 어디에서 자를지에 대해서는 동의했지만(분자의 골격), 얼마나 깊게 자를지에 대해서는 의견이 엇갈렸습니다.
- BPE는 더 거친(coarse) 절단을 하는 경향이 있었습니다. 즉, 원자 고리 전체를 하나의 커다란 토큰으로 묶어버립니다.
- Unigram-LM은 더 세밀한(fine) 절단을 했습니다. 고리를 더 작은, 원자 수준에 가까운 조각들로 유지했습니다.
- 결과: Unigram-LM은 동일한 분자를 설명하기 위해 BPE보다 29%에서 41% 더 많은 토큰(조각)을 사용했습니다.

시각적 비유: 지도 vs 거리 뷰

당신이 도시의 지도를 보고 있다고 상상해 보세요.

BPE는 전체 동네를 하나의 블록으로 그룹화하는 지도와 같습니다. "이 구역 전체가 '시내'이다"라고 말합니다. 효율적이고 더 적은 단어를 사용합니다.
Unigram-LM은 모든 건물과 길모퉁이를 나열하는 거리 뷰와 같습니다. "여기는 빵집, 여기는 공원, 여기는 집이다"라고 말합니다. 훨씬 더 많은 단어를 사용하지만 더 상세한 분석을 제공합니다.

논문은 이 두 지도가 서로 대체 가능하지 않다는 것을 보여주었습니다. 만약 한 쪽에서 다른 쪽으로 바꾼다면, 컴퓨터는 데이터의 구조를 근본적으로 다르게 보게 됩니다.

핵심 결과 (쉬운 설명)

이것은 기본값이 아닌 설계의 선택입니다: 이 분야는 자연어 모델에서 사용하는 방식이기 때문에 BPE를 기본값으로 사용해 왔습니다. 이 논문은 화학에서 단순히 그 선택을 복사해서 붙여넣을 수 없음을 증명합니다. 어떤 "가위"를 사용할지 적극적으로 결정해야 합니다. 왜냐하면 두 방식은 서로 다른 결과를 만들어내기 때문입니다.
차이는 안정적입니다: 이러한 불일치는 우연히 발생한 것이 아닙니다. 이는 다양한 유형의 화학 물질(흔한 약물, 희귀한 천연물, 다양한 분자들)에 걸쳐 나타났으며, 심지어 복잡한 원자를 처리하는 규칙을 변경했을 때도 마찬가지였습니다.
규모가 해결해주지 않습니다: 보통 컴퓨터에게 더 많은 데이터나 더 큰 어휘를 주면 상황이 완화될 수 있습니다. 연구자들은 어휘를 8배 더 크게 만들어 이 테스트를 진행했습니다. 하지만 두 방식은 여전히 일치하지 않았습니다. 그들은 여전히 별개의 상태로 남았습니다.
"중첩(Nesting)" 효과: 비록 서로 다른 단어를 사용하지만, 두 방식은 서로 충돌하지 않습니다. Unigram-LM의 절단선은 거의 항상 BPE의 절단선 "안에" 위치합니다. 마치 BPE는 "피자 전체를 잘라라"라고 말하고, Unigram-LM은 "피자를 자른 다음, 다시 조각을 잘라라"라고 말하는 것과 같습니다. 이들은 서로 호환되지만, 상세 수준이 다를 뿐입니다.

독자를 위한 의미

이 논문은 선택한 알고리즘이 주요한 모델링 결정 사항임을 결론짓습니다.

만약 BPE를 선택한다면, 더 짧은 시퀀스(더 적은 토큰)를 얻게 되어 컴퓨터가 처리하기에 비용이 적게 들지만, 분자의 구조에 대한 세밀한 디테일을 놓칠 수 있습니다.
만약 Unigram-LM을 선택한다면, 분자에 대한 더 상세하고 미세한 관점을 얻을 수 있지만, 컴퓨터가 더 많은 토큰을 처리해야 합니다.

저자들은 어떤 방식이 컴퓨터를 화학 반응이나 약물 특성 예측에 더 똑똑하게 만드는지까지는 테스트하지 않았습니다. 그들은 단지 두 방식이 서로 다른 언어를 만든다는 것을 증명했을 뿐입니다. 따라서 화학계는 이제 이 두 방식이 같다고 가정할 수 없으며, 자신의 "가위"를 신중하게 선택해야 합니다.

기술 요약: 어디를 자르고 얼마나 깊게 자를 것인가: 화학 SMILES에 대한 BPE와 Unigram-LM

문제 정의
SMILES 문자열을 기반으로 작동하는 화학 언어 모델은 유니버설하게 토크나이저를 사용하여 분자 문자열을 정수 ID로 매핑하며, 이는 어휘 집합(vocabulary), 운영적 입도(operational granularity), 그리고 유효 시퀀스 길이를 결정하는 기초적인 설계 선택이다. 이 분야는 자연어 처리(NLP)로부터 바이트 쌍 인코딩(BPE)을 엄격한 검증 없이 그대로 물려받았다. Unigram-LM은 구조적으로 다른 어휘 집합을 구축하는 것으로 알려진 NLP의 주요 대안이지만, 화학 분야에서의 동작은 아직 검증되지 않았다. "수렴 무효(convergence null)" 가설이 존재한다: 화학 SMILES는 매우 작은, 원자가 제약이 있는 알파벳(158개의 글자)에서 작동하며 구조적 제약이 유효한 시퀀스를 날카롭게 집중시키기 때문에, BPE와 Unigram-LM 같은 빈도 기반 알고리즘이 동일한 어휘 집합으로 수렴하도록 강제될 수 있다는 것이다. 본 연구는 화학 도메인의 제약이 이러한 알고리즘들을 상호 교환 가능한 어휘 집합을 생성하도록 유도하는지, 아니면 서브워드 알고리즘의 선택이 여전히 구별되는 모델링 결정인지 조사한다.

방법론
저자들은 알고리즘을 유일한 변수로 격리하여 22개의 매칭된 조건에서 BPE와 Unigram-LM을 통제된 비교를 수행했다.

고정 베이스: 두 알고리즘 모두 고정된 165-토큰 OpenSMILES 글자 베이스(Smirk)로 훈련되어, 모든 순응하는 분자를 보장하고 어휘 범위(vocabulary coverage)가 혼란 변수가 되는 것을 방지했다.
실험 그리드: 연구는 세 가지 코퍼스 유형(다양성: PubChem; 약물 유사성: ZINC-22; 천연물: COCONUT), 두 가지 사전 토큰화 경계 정책(괄호로 둘러싸인 원자 간 병합 여부), 그리고 세 가지 어휘 크기( $V \in \{256, 512, 1024\}$ )를 포괄했다. 민감도 블록은 $V=2048$ 및 $V=8192$ 까지 확장되었다.
지표: 저자들은 세 가지 직접적인 대조를 측정했다:
1. 멤버십: 학습된 다중 글자 조각들의 어휘 중복(Jaccard 지수).
2. 입도(Granularity): 결실(fertility, 홀드아웃 데이터 상의 분자당 평균 토큰 수).
3. 분포: 토큰 빈도 불균형.
- 또한, 학습 가능한 조각이 최소 100번 이상 발생하는지 확인하는 "학습 가능성 문턱(learnability bar)"(Gowda와 May)을 기준으로 필터링된 조건에서 데드존 잉여(dead-zone surplus), 전체 사전 토큰 흡수(whole-pretoken absorption), 스캐폴드 분율(scaffold fraction), 세그멘테이션 엔트로피를 포함한 메커니즘 진단을 계산했다.

주요 결과
본 연구는 BPE와 Unigram-LM이 화학 도메인에서 수렴하지 않는다는 것을 발견했다. 즉, 테스트된 모든 조건에서 측정 가능한 차이가 있는 어휘 집합을 생성한다.

거의 서로 배타적인 어휘 집합 (Membership): 두 알고리즘의 학습된 서브워드 조각 간 중복은 최소 수준이다. 비가중 Jaccard 중복은 0.161을 넘지 않았으며, 빈도 가중 중복(모델이 실제로 업데이트하는 조각을 반영)은 0.05를 넘지 않았다. 알고리즘은 고빈도 조각에서 가장 크게 상충하는데, BPE는 방향족 고리와 사슬을 단일 토큰으로 병합하는 경향이 있는 반면, Unigram-LM은 원자 근처에 머물며 이러한 구조들을 자주 파편화한다.
체계적인 입도 차이 (Systematic Granularity Gap): Unigram-LM은 BPE보다 일관되게 29~~41% 더 많은 토로 세그먼트한다. BPE는 80~~99%의 분자에 대해 Unigram-LM의 세그먼테이션에 대한 "엄격한 조밀화(strict coarsening)" 역할을 한다. 즉, 두 알고리즘은 어디를 자를지에 대해서는 대체로 일치하지만, 얼마나 깊게 자를지에 대해서는 일치하지 않는다.
안정성 및 강건성: 이러한 발산은 코퍼스 유형, 경계 정책, 어휘 크기에 관계없이 유지된다. 심지어 학습 가능한 범위를 넘어선 $V=8192$ 에서도 중복과 입도 차이는 본질적으로 변하지 않았다. 이 차이는 작은 어휘 크기나 특정 코퍼스 특성에 의한 인위적인 결과가 아니다.
메커니즘: 차이는 알고리즘적 메커니즘에 의해 발생한다. BPE의 하향식 탐욕적 병합(bottom-up greedy merging)은 구성적 폐쇄성(compositional closure, 기존 조각들을 결합함)을 생성하는 반면, Unigram-LM의 상향식 가지치기(top-down pruning)는 분해할 수 없는 긴 헤테로 원자 사슬을 유지한다. BPE는 더 높은 전체 사전 토큰 흡수를 달로하는 반면, Unigram-LM은 더 높은 세그멘테이션 엔트로피를 보인다.
일반화: 입도 차이는 도메인 외부에서도 지속된다. 한 코퍼스에서 훈련된 토크나이저를 다른 코퍼스(전이 금속 착물 및 환형 펩타이드 포함)에 적용했을 때, BPE는 거의 고유한 시퀀스 길이를 유지하는 반면, Unigram-LM은 완만한 도메인 민감도를 보이면서도 미세한 세그멘테이션을 유지한다.

의의 및 주장
본 논문은 서브워드 알고리즘이 모델링 결정이지, 자유로운 기본값이 아님을 주장한다.

기본값의 탈피: BPE와 Unigram-LM이 토크나이저 수준에서 상호 교환 가능하다는 이 분야의 상속된 가정은 화학에서는 틀렸다. 알고리즘을 바꾸는 것은 어떤 하위 구조가 원자적 임베딩 단위가 될지를 바꾸며, 유효 시퀀스 길이를 약 1/3 정도 변화시킨다.
알고리즘 vs 코퍼스: 알고리즘의 선택은 훈련 코퍼스의 선택보다 토크나이저 구조에 더 큰 영향을 미친다. 토크나이저는 도메인을 넘나들며 고유한 효율성을 가지고 전이되는데, 이는 알고리즘이 훈련된 데이터보다 토크나이저의 행동을 더 정의한다는 것을 시사한다.
범위: 이 연구는 토크나이저 수준의 연구이다. 저자들은 내재적 분리가 반드시 다운스트림 언어 모델 성능의 차이로 이어진다고 주장하지는 않으며, 내재적 분리가 반드시 다운스트림 격차로 번역되지는 않는다는 점을 명시했다. 그러나 본 연구는 결과적인 어휘 집합이 상호 교환 불가능함을 증명함으로써 그러한 비교를 위한 전제 조건을 확립한다.
한계: 연구는 NLP의 "형태론적 정렬(morphological alignment)" 지표가 골드 스탠다드 세그멘테이션의 부재로 인해 SMILES에 전이되지 못함을 인정한다. 또한, 발산 방향(어떤 알고리즘이 더 압축적인가)은 도메인에 따라 다를 수 있으며, 단백질 서열은 반대의 경향을 보인다는 점을 언급했다.

요약하자면, 본 논문은 화학의 작은 원자가 제약 알파벳이 BPE와 Unigram-LM을 수렴하게 만들지 않는다는 것을 보여준다. 대신, 알고리즘은 뚜렷한 구조적 특성을 가진 거의 서로 배타적인 어휘 집합을 구축하며, 따라서 서브워드 알고리즘의 선택은 화학 언어 모델을 위한 결정적이고 중립적이지 않은 설계 선택이 된다.