기술 요약: SEDD – GPU 를 활용한 확장성 있고 효율적인 데이터셋 중복 제거

1. 문제 제기

대규모 데이터셋 중복 제거는 데이터 품질을 보장하고, 연산 낭비를 줄이며, 과적합을 방지하기 위해 대규모 언어 모델 (LLM) 학습을 위한 필수적인 전처리 단계입니다. 웹 규모의 코퍼스에서 준중복 (near-duplicates) 을 탐지하는 표준 접근법은 MinHash 지역 민감 해싱 (LSH) 입니다. 그러나 기존 구현체들은 트릴리온 토큰 규모의 데이터셋으로 확장할 때 다음과 같은 심각한 병목 현상에 직면합니다:

• CPU 한계: datasketch 라이브러리를 사용하는 등 전통적인 CPU 기반 구현체들은 낮은 병렬화 성능과 높은 연산 비용으로 인해 대규모 데이터셋의 경우 처리 속도가 지나치게 느립니다.
• GPU 한계: NVIDIA NeMo Curator 와 같은 GPU 가속 프레임워크는 개선을 제공하지만, 아키텍처의 비효율성으로 인해 여전히 최적화되지 않았습니다. 구체적으로, 이들은 버킷 ID 에 따라 데이터를 디스크에 재분배하는 물리적 데이터 셔플링 (physical data shuffling) 에 의존하여 높은 I/O 지연 시간과 통신 오버헤드를 초래합니다. 또한, 희소 버킷화 전략과 순차적 실행 모델은 종종 GPU 자원을 포화시키지 못하여 하드웨어 병렬성의 활용도를 낮게 만듭니다.

2. 방법론

저자들은 분산 클러스터 환경에 최적화된 고성능 엔드투엔드 GPU 가속 중복 제거 프레임워크인 SEDD를 제안합니다. SEDD 는 다음 세 가지 주요 기술적 혁신을 통해 식별된 병목 현상을 해결합니다:

A. 계산 효율적인 해싱

SEDD 는 MinHash 시그니처 생성을 위해 표준 암호화 또는 비암호화 해시 함수 대신 Rabin-Karp 롤링 해시를 대체합니다.

• 메커니즘: CPU 기준 (SHA-1) 이나 GPU 기준 (MurmurHash3) 이 모든 쉬ングル (shingle) 에 대해 해시를 다시 계산하는 것과 달리, 롤링 해시는 몇 가지 산술 연산 (곱셈, 덧셈, 나눗셈) 을 사용하여 이전 쉬ングル로부터 쉬ングルの 해시 값을 유도할 수 있게 합니다.
• 효과: 이는 인접한 쉬ングル 간에 해시 값을 부분적으로 재사용할 수 있게 하여 MinHash 시그니처 생성의 계산 비용을 크게 줄입니다.

B. 스트리밍 기반 데이터 파이프라인

SEDD 는 중간 결과를 디스크에 기록하고 재분배하는 물리적 데이터 셔플링의 필요성을 스트리밍 기반 추출 전략을 통해 제거합니다.

• 메커니즘: 데이터를 버킷 ID 로 재구성하기 위해 물리적으로 이동시키는 대신, SEDD 는 중간 해시 파일을 실시간으로 처리합니다. 각 GPU 프로세스는 밴드 (bands) 의 하위 집합을 할당받고 저장소를 스캔하여 특정 버킷에 대한 시그니처를 추출합니다.
• 더블 버퍼링: 시스템은 CPU 와 GPU 간의 데이터 전송 (통신) 과 GPU 커널 실행 (계산) 을 겹치기 위해 더블 버퍼링을 활용하여 I/O 지연 시간을 효과적으로 숨깁니다.
• 비교 전략: 버킷 내의 다른 문서들과 비교하기 위해 하나의 앵커 문서만 비교하는 $O(D)$ 앵커 기반 휴리스틱을 사용하는 기준선과 달리, SEDD 는 각 버킷 내에서 완전한 $O(D^2)$ 모든 쌍 비교를 수행합니다. 이는 고도로 최적화된 커스텀 CUDA 커널을 통해 가능해집니다.

C. 하드웨어 인식 최적화

• 커널 설계: SEDD 는 시그니처 벡터를 비교하는 "count-match" 연산을 위해 GEMM 에서 영감을 받은 타일 설계 (tiled design) 를 사용하여 데이터 지역성과 공유 메모리 사용을 개선하는 커스텀 CUDA 커널을 구현합니다.
• 매개변수 선택: 프레임워크는 사용 가능한 CPU/GPU 메모리와 데이터셋 크기에 따라 최적의 버킷 수 ($K$) 와 동시 처리 배치를 결정하는 자동 매개변수 선택 메커니즘을 포함합니다. 최적의 버킷 수는 충돌 확률과 버퍼 관리 오버헤드 간의 균형을 맞추기 위해 $K \propto \sqrt{N}$으로 모델링됩니다.

3. 주요 기여

1. 엔드투엔드 GPU 프레임워크: SEDD 는 4 개의 GPU 가 있는 단일 노드에서 최신 GPU 기준선 (NVIDIA NeMo Curator) 대비 최대 7.8 배, CPU 기준선 대비 158 배의 속도 향상을 달성하는 완전한 프레임워크로 제시됩니다.
2. 최적화된 MinHash LSH: 재사용 가능한 롤링 해시 함수와 커스텀 GPU 커널의 도입으로 시그니처 생성 단계가 CPU 기준선 대비 최대 375 배 가속화됩니다.
3. 통신 효율적 파이프라인: 물리적 셔플링을 스트리밍 추출 및 더블 버퍼링으로 대체함으로써, SEDD 는 기존 프레임워크에서 발견되는 총 통신 오버헤드를 약 **20%**로 줄입니다.
4. 확장성: 이 프레임워크는 8 노드, 32 GPU V100 클러스터에서 1.2 조 토큰을 단 3 시간 내에 성공적으로 처리합니다.

4. 실험 결과

저자들은 RealNews 와 C4 데이터셋을 사용하여 SEDD 를 CPU (SlimPajama) 및 GPU (NeMo Curator) 기준선과 비교 평가했습니다.

• 성능:
  • 100GB RealNews 데이터셋 (30M 문서) 에서 SEDD 는 135.2 초에 중복 제거를 완료한 반면, CPU 기준선은 21,361.4 초, GPU 기준선은 1,048.8 초가 소요되었습니다.
  • MinHash 생성 단계만으로도 CPU 기준선 대비 375 배의 속도 향상을 보였습니다.
  • 확장성 실험 결과, GPU 수가 32 개로 증가하더라도 SEDD 는 GPU 기준선 대비 최소 7 배의 속도 향상을 유지하는 것으로 나타났습니다.
• 정확도:
  • 최적화에도 불구하고 SEDD 는 높은 충실도를 유지합니다. 작은 데이터셋에서 "정확한 MinHash" 오라클과 비교했을 때, SEDD 는 0.1M 문서 기준 자카드 유사도 (Jaccard similarity) 0.956, 1M 문서 기준 0.966을 달성했습니다.
  • 대규모 데이터셋에서 NeMo Curator 와 비교했을 때, SEDD 는 NeMo 가 발견한 준중복의 97% 이상을 식별하면서도 추가적인 인스턴스를 발견했습니다.
  • SEDD 로 중복 제거된 데이터로 수행한 다운스트림 LLM 학습 (LLaMA 3.2-1B) 은 10% 적은 토큰을 사용했음에도 불구하고 여러 벤치마크 (HellaSwag, MMLU, ARC-Easy, WinoGrande) 에서 NeMo 로 중복 제거된 데이터와 유사한 성능을 보였습니다.
• 통신 효율성:
  • 4-GPU 환경에서 SEDD 는 통신 지연 시간을 GPU 기준선의 187.7 초에서 35.7 초로, 통신 볼륨을 3.45 TB에서 398.9 GB로 줄였습니다.

5. 의의

본 논문은 SEDD 가 현대 LLM 데이터 파이프라인의 증가하는 요구 사항을 충족하는 실용적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 기존 GPU 프레임워크의 과도한 데이터 셔플링과 낮은 자원 활용도라는 특정 아키텍처 비효율성을 해결함으로써, SEDD 는 수일이 아닌 수 시간 내에 트릴리온 토큰 규모의 코퍼스를 효율적으로 처리할 수 있게 합니다. 저자들은 이러한 효율성이 중복 탐지 정확도를 훼손하지 않고 달성되었으며, 결과적으로 생성된 데이터셋이 최첨단 언어 모델 학습을 위한 고품질 데이터를 유지한다고 강조합니다. 이 연구는 롤링 해시와 스트리밍 파이프라인과 같은 하드웨어 인식 시스템 최적화가 데이터 전처리 작업에서 GPU 클러스터의 잠재력을 최대한 끌어내는 데 필수적임을 보여줍니다.