기술 요약: Lakestream

문제 정의

현대적인 대규모 기반 모델 (LFM) 학습은 데이터 파이프라인의 요구 사항을 근본적으로 변화시켰습니다. 정적, 사전 처리된 데이터셋에 의존하는 전통적인 딥러닝 워크로드와 달리, LFM 학습은 동적이고 런타임에 결합된 데이터 생성을 수반합니다. 이러한 전환은 기존 시스템이 해결하지 못하는 세 가지 중요한 과제를 도입합니다:

1. 예측 불가능한 데이터 볼륨: 멀티모달 학습 (예: 비디오, 인터리브된 이미지 - 텍스트) 및 강화 학습에서 원시 입력은 런타임 중 무거운 전처리 (디코딩, 리스케일링, 토큰 패킹) 를 거칩니다. 이로 인해 데이터 확장 계수가 62 배에서 9,000 배 이상에 달하게 되어, 정적 리소스 할당 및 사전 분할이 불가능해집니다.
2. 동적 배치 구성원: 온라인 토큰 패킹 또는 모델 의존적 샘플 선택을 사용하는 워크로드에서는 전처리가 완료된 후에야 학습 배치의 정확한 구성이 결정됩니다. 정적 분할 방식은 이러한 경계를 포착할 수 없으므로, 모든 학습 랭크에 완전한 배치를 원자적으로 노출시키는 메커니즘이 필요합니다.
3. 체크포인트 정렬: LFM 파이프라인은 종종 사전 학습, 파인튜닝, 강화 학습을 교차하여 수행하므로, 특정 체크포인트로 롤백하고 정확한 배치 시퀀스를 재생할 수 있는 능력이 필요합니다. 일시적인 전달 시스템은 결정론적 복구를 위해 필요한 지속성과 버전 관리 기능을 보장할 수 없습니다.

기존 솔루션은 부족합니다:

• 공존형 데이터 로더: 의미론적 정렬을 제공하지만 고립 실패가 결여되어 있습니다. 전처리 충돌이 발생하면 전체 작업이 멈추며, 공유된 CPU/메모리 리소스로 인해 처리량 상한선이 발생합니다.
• 분리형 데이터 로더 (중앙 집중식): 전처리를 분리하지만 일시적인 RPC 전달에 의존합니다. 영구적인 기록, 배치 수준의 원자성, 실패 후 특정 배치를 재생하는 메커니즘이 부족합니다.
• 메시지 큐 (예: Kafka): 배치 의미론이 아닌 레코드/오프셋 추상화를 기반으로 작동합니다. 순서가 뒤섞인 샤드 전달을 강요하여 (기울기 집계 손상) 또는 모든 랭크가 전체 배치를 다운로드해야 함 (대규모 읽기 증폭 유발) 으로 인해 문제를 야기합니다.

방법론

Lakestream 은 이러한 문제를 해결하기 위해 레이크하우스 아키텍처 원칙을 학습 루프에 적용하도록 설계된 브로커 없는 객체 저장소 네이티브 학습 데이터 플레인입니다. 핵심 설계 철학은 브로커, 큐, 중앙 서비스를 제거하고 객체 저장소를 유일한 조정 매체로 삼는다는 것입니다.

핵심 추상화: 트랜잭셔널 글로벌 배치 (TGB)

이 시스템은 각 학습 배치를 내구성과 전역 일관성 순서를 갖춘 원자 단위로 취급하는 1 급 영구 엔티티인 **트랜잭셔널 글로벌 배치 (TGB)**를 도입합니다.

• 물리화: TGB 는 불변 객체로 객체 저장소에 기록됩니다.
• 매니페스트 게이트 가시성: 데이터 객체를 기록한다고 해서 즉시 가시화되는 것은 아닙니다. TGB 는 커밋되고 버전 관리된 매니페스트가 이를 참조할 때만 소비자에게 가시화됩니다. 이는 모든 데이터 병렬 랭크가 동시에 완전하고 일관된 배치를 관찰하도록 보장합니다.
• 레이아웃: TGB 는 디바이스 메쉬 (데이터 병렬성 및 컨텍스트 병렬성) 에 해당하는 데이터 슬라이스로 구성됩니다. 각 랭크는 타겟팅된 범위 읽기를 통해 특정 슬라이스만 읽으므로 읽기 증폭이 제거됩니다.

제어 플레인: 분산 조정

Lakestream 은 두 가지 핵심 메커니즘을 통해 중앙 서버 없이 조정을 달성합니다:

1. 매니페스트를 통한 낙관적 동시성 제어 (OCC): 프로듀서는 새 매니페스트 버전의 조건부 쓰기 (예: If-None-Match) 를 시도하여 TGB 를 커밋합니다. 버전 이름이 이미 주장된 경우 쓰기가 실패하며, 프로듀서는 최신 커밋된 매니페스트에 로컬 상태를 리베이스한 후 재시도합니다. 이는 프로듀서 간 통신 없이 전역 배치 시퀀스를 선형화합니다.
2. 분산 적응형 커밋 (DAC): 매니페스트가 성장함에 따라 높은 처리량을 유지하기 위해 Lakestream 은 DAC 알고리즘을 사용합니다. 고정된 간격 대신 프로듀서는 매니페스트 I/O 시간 및 충돌률에 대한 실시간 추정을 기반으로 커밋 리듬을 동적으로 조정합니다. DAC 는 명시적인 "오버헤드 예산"과 "충돌 예산"을 유지하며, 커밋 시도 간의 최적 대기 간격을 계산하여 신선도를 극대화하고 불필요한 재시도를 최소화합니다.

수명 주기 관리

• 정확히 한 번 (Exactly-Once) 의미론: 프로듀서 상태 (스트림 오프셋) 는 매니페스트의 프로듀서별 상태 맵에 직접 인라인됩니다. 재시작 시 프로듀서는 데이터를 다시 처리하지 않고 정확한 위치를 복구할 수 있습니다.
• 체크포인트 정렬 회수: 데이터 보관은 분산 체크포인트 진행 상황에 직접 연결됩니다. 전역 워터마크 ($W_{global}$) 는 모든 소비자의 최소 워터마크에서 파생됩니다. 이 워터마크 미만의 모든 TGB 또는 매니페스트 버전은 삭제 대상이 되며, 이는 저장 비용을 제한하면서도 라이브 체크포인트에 필요한 데이터가 조기에 회수되지 않도록 보장합니다.

주요 기여

1. 브로커 없는 객체 저장소 네이티브 아키텍처: 시스템은 객체 저장소를 유일한 조정 매체로 확립합니다. 중요한 경로에 서버 측 프로세스가 존재하지 않으며, 새로운 학습 실행은 새로운 네임스페이스 접두사만 필요로 합니다.
2. 트랜잭셔널 글로벌 배치 (TGB): 데이터 가시성을 학습 단계 의미론과 통합하는 새로운 추상화로, 객체 저장소 원시 기능을 통해 전 랭크 원자적 가시성, 전역 순서, 정확히 한 번 전달을 제공합니다.
3. 분산 적응형 커밋 (DAC): 매니페스트가 성장함에 따라 안정적인 섭취 처리량을 유지하며, 프로듀서 간 통신 없이 커밋 간격을 동적으로 조정하는 알고리즘입니다.
4. 체크포인트 정렬 수명 주기: 데이터 보관을 분산 체크포인트 진행 상황에 연결하여 영구 조정 서비스 없이 안전한 롤백 및 제한된 저장 오버헤드를 가능하게 하는 메커니즘입니다.

평가 결과

저자들은 최대 64 개 GPU(NVIDIA H200) 를 사용하여 대규모 멀티모달 사전 학습 및 감독 파인튜닝 (SFT) 워크로드에서 Lakestream 을 평가했습니다.

• 공존형 파이프라인 대비 처리량: Lakestream 은 엔드투엔드 처리량에서 전문가가 최적화한 공존형 파이프라인보다 2.68 배에서 7.73 배 더 높은 성능을 보였습니다. 이 향상은 전처리와 학습 간의 구조적 리소스 경쟁 (CPU/메모리 대역폭 공유) 이 제거되었기 때문입니다.
• Kafka 대비 처리량: Lakestream 은 특히 프로듀서 수가 확장됨에 따라 프로듀서 섭취 처리량에서 Apache Kafka 를 크게 능가했습니다. Kafka 는 메시지 크기 제한 및 브로커 백프레셔로 인해 대용량 (예: 비디오) 에 대해 엄격한 TGB 의미론을 유지하지 못했습니다.
• 지연 시간: Lakestream 은 Kafka 보다 낮은 소비자 읽기 지연 시간을 달성했습니다. 예를 들어, 비디오 SFT 워크로드에서 Lakestream 은 P95 지연 시간을 (로컬 기준) 약 42.7 초, (Kafka 기준) 약 9.5 초에서 367ms로 줄였습니다.
• 확장성: DAC 알고리즘은 32 개 프로듀서로 5 시간 동안 실행되는 동안 높은 커밋 성공률 (96.3%) 과 처리량 (431.9 MB/s) 을 성공적으로 유지한 반면, 고정 간격 및 휴리스틱 베이스라인 (AIMD, INCR) 은 매니페스트가 성장함에 따라 크게 저하되었습니다.
• 읽기 증폭: 각 랭크가 특정 데이터 슬라이스만 읽기 때문에 Lakestream 은 월드 사이즈에 관계없이 거의 1 배의 읽기 증폭을 달성했습니다. 반면, Kafka 및 밀집 읽기 베이스라인은 랭크 수에 비례하여 선형적으로 증폭되는 경향을 보였습니다 (예: 128 배).
• 저장 효율성: 체크포인트 주도 회수는 물리적 삭제 없이 실행된 경우와 비교하여 피크 저장 용량을 72.0% 줄였습니다 (34.85 GiB 에서 9.76 GiB 로 감소). 이는 워터마크가 저장 비용을 효과적으로 제한함을 확인시켜 주었습니다.

의의

본 논문은 Lakestream 이 버전 관리된 메타데이터와 분산 조정과 결합된 객체 저장소가 학습 인식 데이터 플레인을 위한 충분한 기반이 될 수 있음을 보여줍니다. 글로벌 배치를 일시적인 전달 아티팩트가 아닌 영구적이고 트랜잭셔널한 엔티티로 취급함으로써 Lakestream 은 기존 레코드 기반 스트리밍 시스템이 충족할 수 없는 LFM 학습의 특정 의미론적 요구 사항—동적 배치 구성원, 체크포인트 정렬, 고립 실패—을 해결합니다. 이 시스템은 브로커 없는 아키텍처가 중앙 집중식 서비스의 오버헤드와 실패 영역 없이 대규모 기반 모델 학습을 위한 고성능, 저지연 데이터 전달을 유지할 수 있음을 입증합니다.