기술 요약: DeltaBox

문제 정의

LLM 기반 AI 에이전트들은 increasingly 고빈도 상태 탐색 기법, 예를 들어 테스트 시간 트리 탐색 (예: 몬테카를로 트리 탐색, Best-of-N) 및 강화 학습 (RL) 에 의존하고 있습니다. 이러한 전략들은 영구 파일시스템 상태(예: 작업 디렉토리, 설치된 패키지) 와 일시적 프로세스 상태(예: 메모리, 인터프리터 힙, 파일 디스크립터) 를 모두 포함하는 완전한 샌드박스 환경의 신속한 체크포인트 및 롤백 (C/R) 을 요구합니다.

기존 인프라는 심각한 병목 현상에 직면해 있습니다:

1. 높은 지연 시간: 현재 메커니즘 (예: Docker 커밋, 전체 VM 스냅샷, CRIU 전체 덤프) 은 일반적으로 전체 상태를 복제하여, C/R 작업당 수백 밀리초에서 수초에 이르는 지연 시간을 초래합니다. 이는 탐색 트리의 깊이와 병렬 RL 팬아웃의 규모를 심각하게 제한합니다.
2. 결합 부족: 많은 시스템들이 파일시스템과 프로세스 상태를 격리하여 처리합니다. 한 차원만 복원하면 상태 불일치 (예: 디스크에 더 이상 존재하지 않는 파일을 "기억하는" 프로세스) 가 발생하여 올바른 트리 탐색에 필요한 결정론을 깨뜨립니다.
3. 비효율성: 기존 접근 방식들은 종종 반복적인 에이전트 루프에서 요구되는 고빈도 증분 체크포인트보다 서버리스 컴퓨팅에서 일반적인 콜드스타트 복원을 우선시합니다.

방법론

본 논문은 연속된 에이전트 상태가 매우 유사하며 사소한 증분 변화만 존재한다는 관찰을 활용하여 밀리초 수준의 C/R 을 달성하도록 설계된 OS 레벨 샌드박스인 DeltaBox를 제안합니다. 전체 상태 복제 대신 DeltaBox 는 DeltaState라는 새로운 OS 추상화를 통해 변경 기반 트랜잭셔널 C/R 모델을 구현합니다.

DeltaBox 는 두 가지 공동 설계된 OS 메커니즘을 기반으로 구축됩니다:

1. DeltaFS (파일시스템 상태 관리)

DeltaFS 는 마운트 해제 없이 변경 기반 파일시스템 C/R 을 가능하게 하기 위해 Linux overlayfs를 확장합니다.

• 동적 레이어 전환: 마운트 시 레이어 스택을 고정하는 표준 overlayfs 와 달리, DeltaFS 는 현재 쓰기 가능 레이어를 읽기 전용 하위 레이어로 변환하고 새로운 쓰기 가능 상위 레이어를 삽입하는 런타임 ioctl 을 도입합니다. 이를 통해 체크포인트는 간단한 레이어 삽입으로 수행될 수 있습니다.
• 지연 파일 디스크립터 리디렉션: 체크포인트 경계를 가로지르는 열린 파일을 처리하기 위해 DeltaBox 는 인노드당 생성 카운터 (checkpoint_gen) 를 사용합니다. 레이어 전환 후 파일에 접근할 때 커널이 생성 카운터를 확인합니다. 불일치가 감지되면 인노드가 새로운 레이어 스택에 대해 다시 해결되어 파일 디스크립터가 투명하게 리디렉션됩니다.
• 쓰기 증폭 감소: reflink 를 사용하는 XFS를 활용함으로써 DeltaFS 는 파일 업데이트를 블록 레벨의 복사-온-라이팅 (CoW) 으로 축소합니다. 수정되지 않은 블록은 세대 간에 공유되어 파일 크기에 관계없이 쓰기 증폭을 제한합니다.

2. DeltaCR (프로세스 상태 관리)

DeltaCR 은 DeltaFS 전환과 결합된 프로세스 메모리 C/R 을 이중 경로 접근 방식으로 관리합니다.

• 이중 경로 체크포인트: 모든 체크포인트 시 DeltaCR 은 두 가지 작업을 동시에 수행합니다:
  1. 내구성과 충돌 복구를 위해 tmpfs 로의 비동기 증분 CRIU 덤프.
  2. **템플릿 생성 fork()**로, 부모 프로세스가 SIGSTOP 으로 일시 정지되어 "동결된 템플릿"이 되고, 자식 프로세스는 활성 에이전트로 계속 실행됩니다.
• 빠른 경로 복원 (템플릿 히트): 동결된 템플릿이 있는 체크포인트로 롤백이 요청되면 DeltaCR 은 해당 템플릿에서 단순히 fork()합니다. 이는 전통적인 메모리 복원 파이프라인을 우회하여 물리적 메모리가 아닌 페이지 테이블만 복사 (CoW) 되므로 밀리초 내에 완료됩니다.
• 느린 경로 복원 (템플릿 미스): 템플릿이 메모리 압박으로 인해 제거된 경우, DeltaCR 은 증분 덤프에서 CRIU 지연 페이지 복원으로 대체합니다.
• Async-Warm: 재개된 에이전트와 병행하여 백그라운드 스레드가 "핫" 메모리 페이지를 터치하여 에이전트의 임계 경로에서 CoW 페이지 폴트를 흡수합니다.
• 네트워크 프록시 데몬 (NPD): 템플릿이 포크 가능하게 유지되도록 LLM I/O 를 별도의 NPD 를 통해 에이전트 프로세스와 분리합니다. 이는 네트워크 스레드와 소켓 상태가 에이전트의 주소 공간에 동결되는 것을 방지합니다.

시스템 아키텍처

DeltaBox 는 Firecracker 마이크로 VM 내에서 작동합니다. StateManager는 파일시스템과 메모리의 결합된 C/R 을 조정하여 원자성을 보장합니다. 이는 에이전트의 탐색 트리와 동형인 스냅샷 인덱스 트리를 유지하며 템플릿과 CRIU 이미지의 수명 주기를 관리합니다.

주요 기여

1. DeltaState 추상화: 파일시스템과 메모리를 결합된 쌍으로 취급하는 AI 에이전트를 위한 변경 기반 트랜잭셔널 상태 관리 모델의 식별 및 구현.
2. DeltaFS: 마운트 해제 없는 레이어 전환과 지연 파일 디스크립터 리디렉션을 가능하게 하는 런타임 재구성 가능한 overlayfs 확장으로, 파일시스템 C/R 을 레이어 전환 작업으로 축소.
3. DeltaCR: 증분 CRIU 덤프와 웜 템플릿 fork() 복원 및 비동기 페이지 워밍을 결합한 프로세스 C/R 시스템으로, 밀리초 수준의 프로세스 복구를 가능하게 함.
4. DeltaBox 구현: 이러한 구성 요소를 통합한 완전한 에이전트 샌드박스 시스템으로, C/R 지연 시간에서 차수 단위의 개선을 입증.

결과

평가 작업은 SWE-bench(소프트웨어 엔지니어링 작업) 및 RL 마이크로 벤치마크에서 수행되었습니다.

• 지연 시간: DeltaBox 는 평균 체크포인트 지연 시간을 14 ms로, 평균 롤백 지연 시간을 5 ms(P95 ≤ 6 ms) 로 달성합니다. 이는 Firecracker 스냅샷, Docker 커밋, 또는 CRIU 전체 복원 등의 베이스라인 대비 1~3 차수 단위의 감소를 의미합니다.
• 처리량: MCTS 워크로드에서 DeltaBox 는 결합된 파일시스템 베이스라인에서 궤적 시간의 **47–77%**였던 상태 관리 오버헤드를 **3–6%**로 축소합니다.
• RL 학습: RL 팬아웃 시나리오에서 DeltaBox 는 샌드박스 오버헤드를 최소화하여 거의 포화 상태의 GPU 활용을 가능하게 하는 반면, copytree 또는 Docker 와 같은 베이스라인은 높은 포크/복원 지연 시간으로 인해 GPU 효율성을 크게 저하시킵니다.
• 확장성: 이 시스템은 재생 기반 또는 전체 스냅샷 접근 방식에서 관찰되는 선형 지연 시간 증가 없이 수평적 확장 (많은 병렬 궤적) 과 수직적 깊이 (깊은 탐색 트리) 를 지원합니다.

중요성

본 논문은 DeltaBox 가 AI 에이전트를 위한 심층 탐색 및 대규모 RL 의 광범위한 채택을 방해하는 중요한 인프라 격차를 해소한다고 주장합니다. 밀리초 수준의 결합된 C/R 을 가능하게 함으로써 DeltaBox 는 에이전트가 다음과 같은 작업을 수행할 수 있게 합니다:

• 고정된 시간 예산 내에서 훨씬 더 많은 노드를 탐색.
• 반복적인 디버그 - 테스트 루프 내에서 세분화된 중간 롤백 수행 (예: 패치 생성 → 테스트 실행 → 실패 분석).
• RL 학습 팬아웃을 효율적으로 확장하여 GPU 유휴 시간 감소.

이 연구는 현대 에이전트 워크로드에 대해 전체 상태 복제가 지나치게 느리며, 상태가 있는 환경에서 테스트 시간 컴퓨팅 확장 및 강화 학습의 잠재력을 최대한 발휘하기 위해서는 변경 기반 OS 레벨 접근 방식이 필요함을 보여줍니다.