🤖 machine learning

FastOmniTMAE: Parallel Clause Learning for Scalable and Hardware-Efficient Tsetlin Embeddings

본 논문은 임베딩 품질을 유지하고 리소스 제약이 있는 SoC-FPGA 플랫폼에서의 효율적인 배포를 가능하게 하면서 최대 5 배 빠른 학습을 달성하는 Omni TM-AE 의 병렬화 및 하드웨어 가속화된 재구성을 제시하는 FastOmniTMAE 를 소개합니다.

원저자: Ahmed K. Kadhim, Lei Jiao, Rishad Shafik, Ole-Christoffer Granmo, Mayur Kishor Shende

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ahmed K. Kadhim, Lei Jiao, Rishad Shafik, Ole-Christoffer Granmo, Mayur Kishor Shende

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

FastOmniTMAE 논문에 대한 설명을 일상적인 비유와 함께 간단한 개념으로 분해하여 제시합니다.

큰 그림: 로봇에게 단어 이해를 가르치기

인간 언어를 이해하도록 로봇을 가르치려 한다고 상상해 보세요. 대부분의 현대 로봇 (ChatGPT 뒤의 로봇들) 은'딥러닝'을 사용합니다. 이는 수백만 개의 작고 흐릿한 연결로 이루어진 거대한 블랙박스라고 생각하면 됩니다. 이는 놀라울 정도로 잘 작동하지만, 왜 그런 결정을 내렸는지 파악하기는 어렵습니다. 완벽한 수프를 만들지만 레시피를 알려주지 않는 요리사와 같습니다.

이 논문은Tsetlin Machine(TM)이라는 것을 사용하여 다른 접근법을 소개합니다. 흐릿한 연결 대신 이 기계는 간단한논리(예:"A 와 B 라면 C 이다")를 사용합니다. 이는 투명하며, 내부를 들여다보면 학습한 정확한 규칙을 확인할 수 있습니다.

그러나 문제가 있었습니다. 이 논리 기반 기계의 이전 버전 (Omni TM-AE) 은 학습 속도가 극도로 느렸습니다. 마치 교사가 다음 수업으로 넘어가기 전에 모든 학생이 손을 들기를 기다려야 하는, 학생들을 일일이 가르치는 것과 같았습니다.

저자들은FastOmniTMAE라는 새로운 버전을 만들었습니다. 학생들이 병렬로 학습하도록 허용함으로써 속도를 높였으며, 이를 더욱 빠르게 만들기 위해 칩 (FPGA) 위에 특수한'하드웨어 교실'을 구축했습니다.

1. 문제: '대기 줄' 병목 현상

구 시스템 (Omni TM-AE) 에서 학습 과정에는 엄격한 규칙이 있었습니다:모든 사람이 다른 모든 사람을 기다려야 합니다.

비유: 미스터리를 해결하려는 형사들의 무리를 상상해 보세요. 구 시스템에서는 형사 A 가 형사 B, C, D 가 모두 단서를 작성하여 중앙 관리자에게 제출할 때까지 자신의 단서를 적을 수 없습니다. 그런 다음 관리자는 누가 메모를 업데이트할지 결정하기 위해'점수'를 계산합니다.
결과: 이'중앙 관리자'단계는 거대한 교통 체증을 만들었습니다. 형사 (절차) 가 많을수록 모든 사람이 기다려야 하는 시간이 길어졌습니다. 이로 인해 학습에 며칠에서 몇 달이 걸렸습니다.

2. 해결책: '고속도로'(병렬 학습)

저자들은'중앙 관리자'가 형사들이 진실을 학습하는 데 실제로 필요하지 않다는 것을 깨달았습니다. 그들은 모든 형사가 독립적으로 작업할 수 있도록 과정을 재설계했습니다.

비유: 새로운FastOmniTMAE시스템에서는 형사들이 회의를 기다리지 않습니다. 형사 A 가 단서를 발견하자마자 즉시 자신의 메모를 업데이트합니다. 그룹 점수를 기다릴 필요가 없습니다.
결과: 이는 단일 줄을 넓은 고속도로로 바꿉니다. 논문은 이 방식이 표준 컴퓨터에서 학습 속도를5 배높였으며, 느린 버전과 마찬가지로 언어를 동일하게 학습한다고 주장합니다.

3. 하드웨어의 반전: 그래픽 카드 (GPU) 가 실패한 이유

일반적으로 사람들은 AI 를 가속화하기 위해 게이밍 컴퓨터나 슈퍼컴퓨터에 들어 있는 강력한 그래픽 카드 (GPU) 를 사용합니다. 이러한 장치는 거대한 숫자 목록을 곱하는 것과 같은 복잡한 수학 연산에 탁월합니다.

비유: GPU 를포뮬러 1 레이싱카라고 생각해 보세요. 이는 속도와 고속 코너링 (복잡한 수학) 을 위해 설계되었습니다. 하지만 Tsetlin Machine 은자전거와 같습니다. 레이싱카가 필요한 것이 아니라 효율적으로 페달을 밟을 수만 있으면 됩니다.
문제: 자전거를 포뮬러 1 트랙에 올려놓으면 자전거가 더 빨라지는 것이 아니라, 오히려 레이싱카의 설계를 방해합니다. 논문은 이 특정 논리 기반 학습에 대해 GPU 가 실제로 더 느렸다고 발견했습니다. 왜냐하면 단순한'예/아니오'논리를 위해 과도하게 설계되었기 때문입니다.
해결책: 저자들은FPGA 하드웨어(재프로그래밍 가능한 칩) 를 사용하여 맞춤형'자전거 전용 도로'를 구축했습니다. 이는 자전거를 위해 특별히 설계된 경로를 만드는 것과 같습니다. 이는 매우 적은 전력과 공간을 사용하면서도 논리 작업을 놀라울 정도로 빠르게 수행합니다.

4. 결과: 속도와 지능

저자들은 새로운 시스템을 구 시스템 및 Word2Vec 과 BERT 와 같은 다른 유명한 언어 모델과 비교하여 세 가지 주요 테스트로 검증했습니다.

분류 (정렬): 모델이 문장이'스포츠'에 관한 것인지'정치'에 관한 것인지 구분할 수 있는가?
- 결과: FastOmniTMAE 는5 배더 빨랐으며, 실제로 구 버전보다 더 좋은 점수를 받았습니다.
유사성 (매칭): 모델이'자동차'와'차량'이 유사하다는 것을 알 수 있는가?
- 결과: 이는 업계 최상위 모델만큼 인간의 의견을 잘 반영했지만, 훨씬 빠르게 학습했습니다.
클러스터링 (그룹화): 단어 무리를 지도에 뿌렸을 때'동물'이 함께 모이고'도구'가 함께 모이는가?
- 결과: 그렇습니다. 시각적 지도는 모델이 단어의 의미를 명확히 이해했음을 보여주었습니다.

5. 하드웨어 챔피언

논문은 또한 다양한 물리적 칩에서 모델을 테스트했습니다.

표준 컴퓨터 (CPU): 좋지만 가장 빠르지는 않습니다.
게이밍 카드 (GPU): 이 특정 작업에서는 놀랍게도 느립니다.
맞춤형 칩 (FPGA): 승리자.
- 작고 저전력 칩 (Zybo 보드) 에서 컴퓨터 CPU 보다5.5 배더 빨랐습니다.
- 강력한 칩 (ZCU104) 에서7 배더 빨랐습니다.
- 결정적으로, 이는 거대한 슈퍼컴퓨터 없이도 이러한 논리 기반 모델을 학습할 수 있음을 증명하면서 매우 적은 전력과 공간으로 모든 작업을 수행했습니다.

요약

이 논문은 복잡한 수학 대신 간단한 논리를 사용하여 기계가 언어를 이해하도록 가르치는 더 똑똑하고 빠른 방법인FastOmniTMAE를 제시합니다.

변경된 점: 학습 과정의'대기 줄'을 제거하여 모든 것이 동시에 일어나도록 했습니다.
발견된 점: 표준 초고속 컴퓨터 (GPU) 는 실제로 이 작업에 잘못된 도구였습니다.
승리: 맞춤형 재프로그래밍 가능한 칩 (FPGA) 을 사용하여 이전보다5 배에서 7 배더 빠르고, 전력을 매우 적게 사용하면서도 언어를 완벽하게 이해하는 시스템을 달성했습니다.

기술 요약: FastOmniTMAE

문제 제기

BERT 와 같은 딥러닝 아키텍처가 자연어 처리 (NLP) 임베딩 작업을 지배하고 있지만, 이러한 모델들은 불투명성과 높은 계산 비용으로 고통받고 있습니다. 반면, Tsetlin Machine(TM) 은 내재된 해석 가능성을 가진 투명하고 논리 기반의 대안을 제공합니다. 그러나 기존 TM 기반 임베딩 모델, 특히 Omni Tsetlin Machine Autoencoder(Omni TM-AE) 는 훈련 효율성 측면에서 심각한 병목 현상에 직면해 있습니다.

원본 Omni TM-AE 에서 확인된 주요 한계점은 다음과 같습니다:

순차적 훈련 의존성: 훈련 과정은 전역 class_sum 계산에 의존합니다. 모든 절 (clause) 이 가중 합을 계산하기 위해 평가되기 전에는 어떤 절도 업데이트될 수 없으므로, 동기화 병목 현상이 발생하여 병렬 실행을 방해합니다.
하드웨어 불일치: TM 연산은 부동 소수점 산술보다는 AND, OR, NOT, XOR 과 같은 단순 논리 연산에 크게 의존합니다. 이로 인해 밀집된 부동 소수점 연산 (FMA) 에 최적화되어 있고 상당한 하드웨어 자원이 미활용된 채 남는 현대 GPU(예: NVIDIA H100) 에서 TM 훈련은 비효율적입니다.
훈련 기간: 원본 훈련 시간은 대규모 데이터셋의 경우 수 일에서 수 개월까지 연장될 수 있어 실용적인 적용을 제한합니다.

방법론

저자들은 평가 및 업데이트 과정을 분리하여 병렬 실행을 가능하게 하도록 설계된 Omni TM-AE 의 재구성을 의미하는 FastOmniTMAE를 제안합니다.

알고리즘 재설계

전역 의존성 제거: 저자들은 class_sum 메커니즘을 분석하여, 소규모 응용 프로그램에서는 수렴을 안내하지만 대규모 NLP 작업에서 고품질 임베딩을 달성하는 데 필수적이지는 않다고 판단했습니다. 그들은 임베딩 품질이 class_sum 에 의해 주도되는 특정 수렴 행동보다는 데이터의 풍부함과 더 강하게 상관관계가 있음을 발견했습니다.
2 단계 병렬 프로세스: FastOmniTMAE 는 순차적 의존성을 2 단계 프로세스로 대체합니다:
1. 평가: 절들이 입력 예시를 독립적으로 평가합니다.
2. 업데이트: 업데이트 확률은 전역 합이 아닌 개별 절의 결과에 기반하여 로컬에서 계산됩니다.
수렴 전략: class_sum 에 의존하여 업데이트율을 낮추는 대신, 모델은 충분한 에포크 (epoch) 수만큼 훈련합니다. 저자들은 자동자 공간의 상태 분포가 훈련 중에 변하지만, 이러한 분포와 임베딩 품질 간의 직접적인 상관관계는 아직 확립되지 않았다고 지적하며, 고정된 에포크 훈련이 현재 더 신뢰할 수 있는 중단 기준임을 시사합니다.

하드웨어 구현

GPU 상의 TM 비효율성을 해결하기 위해, 저자들은 FastOmniTMAE 를 System-on-Chip(SoC) FPGA 플랫폼 (특히 Zynq-7000 및 Zynq UltraScale+ MPSoC) 에서 재사용 가능한 지적 재산권 (IP) 코어로 구현했습니다.

아키텍처: 이 설계는 호스트 제어를 위한 처리 시스템 (PS) 과 가속기를 위한 프로그래머블 로직 (PL) 섹션을 활용합니다.
통신: 제어 신호에는 AXI-Lite 를, DDR 메모리와 온칩 버퍼 (BRAM/URAM) 간의 고처리량 데이터 이동에는 AXI-MM 를 사용합니다.
논리: 가속기는 부동 소수점 유닛을 우회하여 하드웨어 논리 게이트를 직접 사용하여 논리 연산을 실행합니다. 이 접근 방식은 전력 소비와 지연 시간을 최소화하면서 여러 훈련 엔진을 통해 병렬성을 극대화합니다.

주요 기여

FastOmniTMAE 아키텍처: 전역 동기화 병목 현상을 제거하면서도 Omni TM-AE 와 비교 가능한 임베딩 품질을 유지하여 훈련 속도를 개선한 새로운 모델.
단일 실행 다중 환경 벤치마크: 분류, 의미적 유사성, 클러스터링 작업 전반에 걸쳐 임베딩 품질을 평가하는 전용 벤치마크 스위트.
하드웨어 효율성 분석: 아키텍처 불일치로 인한 GPU 기반 TM 훈련의 비효율성과 논리 기반 하드웨어의 우수한 효율성을 입증하는 포괄적인 분석.
최초의 풀스케일 FPGA 훈련: NLP 를 위한 풀스케일 TM 기반 임베딩 모델 훈련을 FPGA 하드웨어에서 구현한 첫 사례.
다중 하드웨어 벤치마크: 성능과 확장성을 검증하기 위한 CPU, GPU, SoC-FPGA 플랫폼 간 비교 연구.

결과

소프트웨어 성능 (단일 실행 다중 환경 벤치마크)

NVIDIA DGX H100 서버에서 평가:

훈련 속도: FastOmniTMAE 는 분류 작업에서 Omni TM-AE 대비 5 배의 속도 향상을 달성했습니다 (100 에포크 기준 1,709 초 대비 310 초).
분류: FastOmniTMAE 는 0.6 이상의 안정적인 F1 점수를 유지한 반면, Omni TM-AE 는 class_sum 메커니즘의 제한적인 업데이트율로 인해 0.56 으로 점진적으로 감소했습니다.
의미적 유사성: RG65, MTurk, WordSim353, MEN 데이터셋에서 FastOmniTMAE 는 Omni TM-AE, Word2Vec, GloVe, FastText 와 비교하여 동등하거나 우수한 결과를 달성했습니다.
- Kendall 상관관계: FastOmniTMAE(CPU) 가 평균 점수 ( $\tau = 0.392$ ) 에서 가장 높은 점수를 기록했습니다.
- Spearman 상관관계: FastOmniTMAE(CPU) 는 $\rho = 0.537$ 을 달성하여 FastText( $\rho = 0.550$ ) 에는 약간 뒤처졌지만 Omni TM-AE( $\rho = 0.543$ ) 보다 우수한 성과를 보였습니다.
GPU 성능: CUDA 를 통한 NVIDIA H100 상의 훈련은 CPU 구현 대비 0.18 배의 속도였으며, 이는 GPU 와 TM 논리 간의 아키텍처 불일치를 확인시켜 줍니다.

하드웨어 성능 (다중 하드웨어 벤치마크)

RG65 44 토큰 작업 부하에서 평가:

FPGA 효율성: 12 개의 병렬 엔진을 갖춘 ZCU104 SoC-FPGA 보드는 로컬 ARM CPU 대비 7.08 배의 속도 향상을 달성하여 훈련 시간을 119.9 초로 단축했습니다.
하드웨어 상의 임베딩 품질: ZCU104 FPGA 는 0.696 의 Spearman 상관관계를 달성하여 CPU 기준 (0.680) 을 능가했습니다. 자원이 제한된 Zybo 보드 (2 개 엔진) 는 0.669를 달성하여 확장성을 입증했습니다.
CPU 대 GPU: 통합 Intel GPU 와 NVIDIA H100 GPU 는 각각의 CPU 대비 (각각 0.22 배 및 0.18 배 속도 향상) 훨씬 낮은 성능을 보였으며, 이는 전용 논리 기반 하드웨어의 필요성을 재확인합니다.

중요성과 주장

이 논문은 FastOmniTMAE가 품질을 희생하지 않으면서 논리 기반 임베딩 모델의 훈련 효율성 병목 현상을 성공적으로 해결했다고 주장합니다. 평가와 업데이트를 분리함으로써, 이 모델은 하드웨어 가속화에 자연스럽게 적합한 병렬 처리를 가능하게 합니다.

저자들은 SoC-FPGA 구현이 특히 중요하다고 강조합니다. 이는 제한된 자원을 가진 하드웨어에서 소규모 계산 발자국으로 TM 기반 임베딩 훈련을 효율적으로 수행할 수 있음을 보여주기 때문입니다. 이는 딥러닝 모델이 너무 크거나 전력 소모가 많아 배포하기 어려운 엣지 환경에서 투명하고 해석 가능한 AI 모델을 배포할 수 있는 잠재력을 검증합니다. 이 연구는 논리 기반 학습의 경우 부동 소수점 산술을 위해 설계된 범용 가속기 (GPU) 보다 전용 하드웨어 (FPGA) 가 우월함을 확립합니다.