💬 NLP

Clusters are All You Need: Pre-Training the Tsetlin Machine with Semantic Clusters from Language Models for Interpretability

이 논문은 의미론적 클러스터링을 통해 언어 모델의 문맥적 지식을 해석 가능한 체슬린 머신(Tsetlin Machine)으로 전이함으로써, 완전한 투명성을 유지하면서도 BERT와 대등한 성능을 달성하는 의미론적 사전 학습 프레임워크를 제안한다.

원저자: Jiechao Gao, Rohan Kumar Yadav, Yuangang Li, Yuandong Pan, Jie Wang, Ying Liu, Michael Lepech

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiechao Gao, Rohan Kumar Yadav, Yuangang Li, Yuandong Pan, Jie Wang, Ying Liu, Michael Lepech

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 논문의 내용을 쉬운 언어와 일상적인 비유를 사용하여 설명한 것입니다.

거대한 문제: "블랙박스" vs "논리 퍼즐"

당신에게 미스터리를 해결하려는(예: 뉴스 기사를 카테고리로 분류하는 것) 두 종류의 탐정이 있다고 상상해 보세요.

슈퍼 탐정 (BERT): 이 탐정은 믿기 힘들 정도로 똑똑합니다. 수백만 권의 책을 읽었으며 단어의 깊고 숨겨진 의미를 이해합니다. 만약 "셔틀(shuttle)"과 "카메라(camera)"가 포함된 문장을 읽는다면, 이 탐정은 이것이 장난감 우주선이 아니라 우주에 관한 내용임을 즉시 알아차립니다. 하지만 이 탐정은 블랙박스입니다. 답을 내놓을 때, 왜 그런 결론을 내렸는지 설명하지 못합니다. 그저 "우주에 관한 것이라고 알고 있습니다"라고 말할 뿐, 어떤 단서를 보였는지는 보여주지 못합니다. 이는 이유를 알아야 하는 심각한 상황(법률이나 의료 사례 등)에서 신뢰하기 어렵게 만듭니다.
논리 탐정 (Tsetlin Machine): 이 탐정은 매우 투명합니다. 이들은 단순한 "If-Then(만약 ~라면, 그렇다면 ~이다)" 규칙을 사용하여 미스터리를 해결합니다 (예: "'농구'라는 단어가 나타나고 '팀'이라는 단어도 나타난다면, 이것은 스포츠 기사이다"). 당신은 그들이 어떻게 결론에 도달했는지 정확히 볼 수 있습니다. 하지만 이 탐정은 다소 느리고 문자 그대로만 해석합니다. 맥락을 이해하는 데 어려움을 겪습니다. 만약 "bank"라는 단어를 본다면, 명시적으로 알려주지 않는 한 이것이 강둑(river bank)을 의미하는지 은행(money bank)을 의미하는지 알지 못합니다.

목표: 저자들은 논리 탐정에게 슈퍼 탐정의 똑똑한 직관을 부여하면서도, 자신의 작업 과정을 설명할 수 있는 논리 탐정의 능력을 유지하고 싶었습니다.

해결책: "스터디 그룹" 전략

저자들은 논리 탐정을 업그레이드하기 위해 2단계 훈련 캠프를 만들었습니다.

1단계: "스터디 그룹" (사전 학습/Pre-Training)

정렬되지 않은 엄청난 양의 뉴스 기사가 쌓여 있다고 상상해 보세요. 논리 탐정에게 이 모든 것을 한꺼번에 가르칠 수는 없습니다. 그래서 슈퍼 탐정(BERT)을 사용하여 이 기사들을 의미적 클러스터(유사한 주제별 그룹)로 빠르게 분류합니다.

비유: 이것은 마치 똑똑한 AI를 사용하여 엉망인 도서관을 200개의 서로 다른 보관함으로 분류하는 선생님과 같습니다. 한 보관함에는 "스포츠", 다른 곳에는 "우주", 또 다른 곳에는 "정치"라고 적혀 있습니다.
마법: 저자들은 단순히 보관함을 사용하는 데 그치지 않고, 논리 탐정에게 오직 "스포츠" 보관함만을 공부하도록 요청합니다. 탐정은 이 특정 그룹 안에서 "농구", "올림픽", "승리"와 같은 단어들이 항상 함께 움직인다는 것을 배웁니다.
반전: 논리 탐정은 이 단계에서 "부정적인" 단서(예: "농구가 아닌")를 무시하도록 훈련받습니다. 이는 탐정이 해당 그룹을 정의하는 순수하고 강력한 키워드에만 집중하도록 강제합니다. 이를 통해 모든 주제에 대한 깨끗하고 해석 가능한 "키워드" 목록이 만들어집니다.

2단계: "최종 시험" (미세 조정/Fine-Tuning)

이제 논리 탐정은 정답이 알려진 데이터(라벨이 붙은 기사)를 가지고 실제 테스트를 치릅니다.

업그레이드: 탐정이 새로운 기사를 읽기 전에, 시스템은 스터디 그룹에서 얻은 "키워드"를 그들의 귀에 속삭여 줍니다. 만약 기사가 우주 임무에 관한 것이라면, 시스템은 탐정에게 이렇게 상기시켜 줍니다: "기억해, '우주' 그룹에서는 '카메라'와 '관측' 같은 단어들이 매우 중요해."
결과: 이제 탐정은 이 사전 학습된 키워드를 사용하여 자신의 "If-Then" 규칙을 만듭니다. 그들은 더 이상 단순히 생생한 단어만을 보는 것이 아니라, 단어와 더불어 그 단어들이 특정 맥락에서 갖는 깊은 의미를 함께 봅니다.

왜 이것이 작동하는가 (결과)

논문은 이 방법을 다섯 가지 서로 다른 뉴스 데이터셋에 테스트했습니다. 결과는 다음과 같습니다.

기존의 논리를 뛰어넘다: 업그레이드된 논리 탐정(사전 학습된 TM)은 기존의 논리 탐정이나 더 오래되고 단순한 단어 목록(Word2Vec 등)을 사용한 논리 탐정보다 훨씬 더 뛰어난 뉴스 분류 능력을 보여주었습니다.
슈퍼 탐정에게 도전하다: 업그레이드된 논리 탐정은 슈퍼 탐정(BERT)과 거의 대등한 성능을 보였습니다. 어떤 경우에는 BERT의 정확도와 1% 이내의 차이밖에 나지 않았습니다.
두 세계의 장점을 결합: 가장 큰 승리는 업그레이드된 탐정이 슈퍼 탐정만큼 똑똑하면서도, 여전히 자신의 풀이 과정을 보여줄 수 있다는 점입니다. 당신은 그들의 규칙을 살펴보고 어떤 단어가 결정을 이끌어냈는지 정확히 알 수 있습니다.

"스위트 스팟(최적의 지점)" 발견

저자들은 또한 "스터디 그룹"(클러스터)의 크기를 조절하며 실험했습니다.

너무 작을 때 (50개 그룹): 그룹이 너무 광범위했습니다. "스포츠"와 "음악"이 뒤섞일 수 있어 탐정이 혼란을 겪었습니다.
너무 클 때 (500개 그룹): 그룹이 너무 세분화되었습니다. 탐정이 너무 많은 사소하고 관련 없는 세부 사항을 암기해야 했고, 이로 인해 큰 그림을 놓치게 되었습니다.
딱 적당할 때 (200개 그룹): 저자들은 200개 그룹이 완벽한 균형임을 발견했습니다. 이는 탐정에게 주제를 이해할 수 있는 충분한 맥락을 제공하면서도 압도되지 않게 해주었습니다.

핵심 요약

이 논문은 단순하고 투명한 논리 기계에 언어의 깊은 의미를 가르치는 "스터디 그룹" 방식을 사용함으로써, 높은 정확도와 완전한 설명 가능성을 모두 갖춘 AI를 만들 수 있다고 주장합니다. 이는 "똑똑하지만 비밀스러운" 신경망과 "정직하지만 단순한" 논리 기계 사이의 간극을 메워줍니다.

논문에 언급된 한계점:

이 방법은 초기 "스터디 그룹"의 품질에 의존합니다. 만약 초기 분류가 잘못된다면, 탐정은 잘못된 습관을 배우게 됩니다.
모델을 사용하기 전에 "오프라인" 훈련(스터디 그룹 단계)이라는 추가 단계가 필요하며, 이는 추가적인 컴퓨터 연산 시간을 소요합니다.
전체 신경망이 포착할 수 있는 매우 미묘하고 복잡한 맥락은 여전히 놓칠 수 있지만, 그 수준에 매우 근접합니다.

기술 요약: 클러스터가 전부다: 해석 가능성을 위한 언어 모델 기반의 시맨틱 클러스터를 이용한 셋슬린 머신(Tsetlin Machine)의 사전 학습

문제 정의
BERT와 같은 사전 학습된 언어 모델(PLM)은 텍스트 분류에서 최첨단 성능을 달여하지만, 투명성이 부족하여 의사 결정 과정의 설명 가능성이 필수적인 법률 및 의료 분석과 같은 고위험 도메인에서의 배포를 제한한다. 반면, 셋슬린 머신(TM)은 완전히 해석 가능한 절(clause) 기반 추론을 제공하지만, 전통적으로 Bag-of-Words(BoW) 입력을 사용하기 때문에 문맥적 의미를 포착하는 데 실패한다. 이러한 간극을 메우기 위해 정적 단어 임베딩(예: Word2Vec, GloVe)을 TM에 통합하려는 이전의 시도들은 트랜스포머 기반 모델의 문맥적 풍부함을 성공적으로 반영하지 못했다.

방법론
저자들은 밀집 임베딩(dense embeddings)을 사용하지 않고도 PLM으로부터 시맨틱 지식을 셋슬린 머신으로 전이하는 2단계 프레임워크를 제안하며, 이를 통해 해석 가능성을 보존한다.

시맨틱 클러스터링 및 사전 학습 (1단계):
- 라벨이 없는 텍스트 데이터를 사전 학습된 언어 모델(BERT 변형 모델) 또는 Top2Vec을 사용하여 임베딩한다.
- 이 임베딩들을 K-means 또는 계층적 밀도 기반 클러스터링(Top2Vec)을 사용하여 시맨틱하게 일관된 클러스터로 그룹화한다.
- **비부정 셋슬린 머신(Non-Negated Tsetlin Machine, NTM)**이 샘플-클러스터 쌍에 대해 사전 학습된다. NTM은 표준 TM에 두 가지 중요한 수정을 도입한다:
  - 강화된 Type I 피드백(Boosted Type I Feedback): 올바른 "포함(Include)" 동작을 강화하는 메커니즘을 강화하여(보상 확률을 1.0, 페널티를 0.0으로 설정), 학습 초기 단계에서 패턴의 공고화를 우선시한다.
  - 비부정 절(Non-Negated Clauses): 부정 리터럴(negated literals)의 포함을 비활성화한다. 절은 원래의 (부정되지 않은) 입력 특징들의 논리곱( $C = \bigendeck x_k$ )으로만 형성되어, 논리적 구조를 단순화하고 해석 가능성을 높인다.
- 학습이 완료되면, NTM은 셋슬린 오토마타(TA)의 상태를 기반으로 각 클러스터에 대한 고신뢰 키워드를 식별한다. 더 깊은 TA 상태에 있는 단어들은 더 높은 신뢰도를 나타내며, 이들이 시맨틱 기술자(descriptor)로서 추출된다.
시맨틱 풍부화를 통한 미세 조정 (2단계):
- 라벨이 지정된 데이터셋을 처리하여 클러스터 라벨을 할당한다.
- 각 텍스트 샘플의 BoW 표현은 1단계에서 NTM으로부터 추출된 사전 학습된 시맨틱 키워드(기술자)로 증강된다.
- 이 증강된 시맨틱 BoW 표현을 바탕으로 표준(바닐라) TM이 미세 조정된다. 이 단계에서는 유연한 분류를 위해 부정 리터럴이 다시 도입되지만, 입력은 이제 사전 학습된 기술자에 의해 시맨틱적으로 근거가 부여된 상태이다.

주요 기여

새로운 사전 학습 프레임워크: 본 논문은 문맥을 놓치는 정적 임베딩을 피하면서, 클러스터 기반 사전 학습을 통해 PLM으로부터 시맨틱 지식을 TM으로 전달하는 방법을 소개한다.
비부정 셋슬린 머신(NTM): 저자들은 양의 피드백을 활용하고 부정 특징을 제외하여 단조롭고(monotone) 해석 가능한 클러스터 표현을 학습하는 TM 변형 모델을 제안한다.
신뢰도 기반 키워드 추출: NTM TA 상태로부터 고신뢰 시맨틱 기술자를 추출하는 메커니즘을 정의하여, 이를 다운스트림 태스크를 위한 해석 가능한 특징으로 활용한다.
비용 분할 상환(Cost Amortization): 클러스터링과 사전 학습 단계는 도메인당 한 번 수행되어 여러 다운스트림 태스크에 재사용되므로 계산 비용을 분할 상환한다.

실험 결과
본 프레임워크는 BoW, LSTM, CNN, GloVe-강화 TM, BERT 모델을 포함한 9개의 베이스라인과 함께 5개의 토픽 분류 데이터셋(AG-News, NYT, DBpedia, Reuters-8, Reuters-52)에 대해 평가되었다.

성능: 제안된 방법(BERT 유래 클러스터로 사전 학습된 TM)은 바닐라 TM 및 임베딩 증강 TM보다 일관되게 우수한 성능을 보였다. 이 방법은 BERT-large와 경쟁할 만한 정확도를 달야냈으며, 일반적으로 데이터셋 전반에 걸쳐 0.3%에서 1.1% 정도의 차이(예: AG-News에서 94.80% vs 95.71%)만을 보였다.
클러스터 크기 민감도: 실험 결과 클러스터 크기가 200일 때 최적임을 보여준다. 작은 클러스터(예: 50)는 불충분한 문맥을 제공하며, 큰 클러스터(>200)는 문맥 정보의 해체를 초래하여 성능을 저하시킨다.
키워드 신뢰도: 미세 조정을 위해 사용하는 고신뢰 키워드의 수가 늘어남에 따라 성능이 향상되며, 클러스터당 약 20개 단어에서 정점을 찍는다. 그 이상의 단어를 포함하면 노이즈가 섞이거나 문맥에서 벗어난 단어로 인해 정확도가 떨어진다.
Top2Vec과의 비교: NTM 사전 학습을 사용한 방법이 Top2Vec 키워드를 사용하는 방식보다 1-2% 더 높은 성능을 보여, NTM의 신뢰도 기반 추출의 효용성을 입증하였다.

의의 및 주장
본 논문은 이 접근 방식이 해석 가능한 셋슬린 머신과 불투명한 최첨단 BERT 모델 사이의 정확도 격차를 성공적으로 좁힌다고 주장한다. 시맨틱 클러스터링을 활용함으로써, 이 방법은 TM이 고위험 애플리케이션에 필요한 투명성을 유지하면서도 미묘한 시맨틱 관계를 포착할 수 있게 한다. 저자들은 이를 설명 가능한 텍스트 분류의 새로운 표준으로 제시하며, 시맨틱 사전 학습이 고유의 해석 가능성을 희생하지 않고도 논리 모델의 성능을 크게 높일 수 있음을 입증하였다.

한계점
저자들은 이 방법의 성능가 기초가 되는 PLM이 생성하는 시맨틱 클러스터의 품질에 의존하며, 이는 노이즈가 많거나 자원이 부족한 데이터에서 어려움을 겪을 수 있음을 인정한다. 또한, 사전 학습 단계에서 오프라인 계산 비용이 발생하며, TM 입력의 이진(binary) 특성으로 인해 완전한 신경망 모델에 비해 미세한 문맥 의존성에서 일부 손실이 발생할 수 있다.