A converged architecture for processing 32 Tbps of physics data in real-time at the LHCb experiment

거대한 고속 카메라가 있다고 상상해 보세요. 이 카메라는 일몰이나 강아지를 찍는 것이 아니라, 우주의 가장 작은 구성 요소들이 서로 충돌하는 모습을 포착합니다. 이것이 바로 입자 물리학의 세계입니다. 과학자들은 거대한 가속기(collider)를 사용하여 초당 수십억 번 입자를 서로 충돌시킵니다. 이 입자들이 충돌할 때 새로운 입자들이 발생하는 혼돈스러운 폭발이 일어나는데, 이는 마치 꽃병을 깨뜨려 그 안에 무엇이 들어있는지 확인하는 것과 같습니다. 목표는 그 파편 속에 숨겨진 희귀하고 새로운 무언가를 포착하는 것입니다. 하지만 여기 문제가 있습니다. 카메라는 너무 빠르고 충돌은 너무 빈번해서 엄청난 양의 데이터를 생성합니다. 이는 매초 수백만 개의 하드 드라이브를 채울 수 있을 정도의 양입니다. 만약 과학자들이 모든 데이터 조각을 저장하려고 시도한다면, 컴퓨터는 녹아버릴 것이고 저장 공간은 즉시 바닥날 것입니다.

이 문제를 해결하기 위해 물리학자들은 "필터" 또는 "트리거(trigger)"를 사용합니다. 이것은 매우 독점적인 클럽의 문지기(bouncer)와 같습니다. 문지기는 아주 짧은 순간 내에 어떤 충돌이 보관할 만큼 흥미로운지, 그리고 어떤 것이 그냥 버려야 할 지루한 배경 소음인지를 결정해야 합니다. 수십 년 동안 이 문지기들은 특화된 하드웨어와 컴퓨터 소프트웨어의 조합이었습니다. 하지만 기계들이 더 빨라짐에 따라 기존의 문지기들은 속도를 따라잡을 수 없었습니다. 그들은 너무 느리고 경직되어 있어서, 하드웨어가 예상한 모습과 다르다는 이유로 흥미로운 사건들을 그냥 버리곤 했습니다. 큰 질문은 이것이었습니다: 어떻게 하면 데이터의 홍수를 처리할 수 있을 만큼 빠르고, 전체 그림을 볼 수 있을 만큼 똑똑하며, 상황에 따라 즉시 생각을 바꿀 수 있을 만큼 유연한 필터를 만들 것인가?

이 논문은 LHCb 실험이 대규모 업그레이드를 통해 이 문제를 어떻게 해결했는지에 대한 이야기를 들려줍니다. 연구팀은 거대한 '통합 공장'처럼 작동하는 새로운 시스템을 구축했습니다. 서로 다른 팀이 각기 다른 부분을 담당하는 느린 다단계 프로세스 대신, 그들은 데이터 수집, 분류, 필터링을 하나의 유선형 프로세스로 결합한 "융합 아키텍처(converged architecture)"를 만들었습니다. 이는 보통 게이밍 컴퓨터에서 발견되는 강력한 그래픽 카드(GPU)에서 실행됩니다. 그들은 초당 32 테라비트(Tbps)라는 엄청난 데이터를 실시간으로 처리해 냈습니다. 이는 소프트웨어가 물리 실험에서 처리한 데이터 속도 중 가장 높은 기록입니다. 기존의 경직된 하드웨어 필터를 제거하고 이를 스마트하고 유연한 소프트웨어 시스템으로 교체함으로써, 그들은 단순히 속도를 따라잡은 것이 아니라 과학적 품질을 실제로 향상시켜, 희귀하고 흥미로운 사건이 놓치지 않고 포착되도록 보장했습니다.

문제: 데이터의 홍수

대형 강입자 충돌기(LHC)는 초당 수십억 번 입자를 충돌시킵니다. 충돌이 일어날 때마다 이를 "사건(event)"이라고 부릅니다. 과거에 LHCb 실험은 두 단계의 필터 시스템을 사용했습니다. 먼저, 특수 제작된 전자 장치로 구성된 "저수준 트리거(low-level trigger)"가 데이터를 빠르게 스캔하여 대부분의 지루한 충돌을 버렸습니다. 유망해 보이는 것들만이 더 깊이 있게 살펴보기 위한 "고수준 트리거(high-level trigger, 소프트웨어)"로 전달되었습니다.

하지만 이 오래된 시스템에는 결함이 있었습니다. 하드웨어 필터는 특정 센서 몇 가지만을 보기 때문에, 검출기의 다른 곳에서 발생하는 흥미로운 사건들을 놓치는 경우가 종종 있었습니다. 또한, 하드웨어가 제작된 후에는 규칙을 변경하기가 어려웠습니다. LHCb 팀은 첫 번째 단계인 하드웨어 기반 필터를 완전히 없애기로 결정했습니다. 이는 그들의 시스템이 이전보다 40배 더 많은 데이터를 처리해야 함을 의미했습니다. 그들은 **초당 32 테라비트(Tbps)**의 원시 데이터 스트림을 처리하고 이를 실시간으로 가장 흥미로운 사건들로 걸러내야 했습니다. 만약 실패한다면, 데이터는 영원히 사라질 것이었습니다.

해결책: 융합된 공장

연구팀은 164대의 서버(컴퓨터)가 하나의 거대한 기계처럼 작동하는 새로운 시스템을 구축했습니다. 이들이 이를 어떻게 구현했는지 설명합니다:

1. "제로 카피(Zero-Copy)" 고속도로
보통 데이터가 네트워크 카드에서 컴퓨터 메모리로, 그리고 다시 프로세서로 이동할 때 여러 번 복사되어야 합니다. 이는 마치 상자를 트럭에서 창고로, 다시 선반으로, 그다음 전시 케이스로 옮기는 것과 같습니다. 시간과 에너지가 많이 듭니다. LHCb 팀은 "제로 카피" 기술을 사용했습니다. 트럭에서 창고를 거쳐 전시 케이스로 직접 연결되는 컨베이어 벨트를 상상해 보세요. 손으로 직접 옮길 필요 없이 트랙을 따라 바로 이동하는 방식입니다. 이를 통해 컴퓨터를 느리게 하지 않고도 데이터를 매우 빠르게 이동시킬 수 있었습니다.

2. GPU 파워하우스
무거운 작업을 처리하기 위해 표준 컴퓨터 프로세서(CPU) 대신 그래픽 처리 장치(GPU)를 사용했습니다. GPU는 복잡한 3D 게임 장면을 렌더링하도록 설계된, 주로 비디오 게임용 컴퓨터에 들어가는 칩입니다 입자들의 경로를 재구성하는 작업이 복잡한 3D 게임 장면을 렌더링하는 것과 매우 유사하다는 점을 깨달은 것입니다. 팀은 전체 필터링 과정을 GPU에 배치함으로써 수천 개의 충돌을 동시에 처리할 수 있었습니다.

3. 더 똑똑한 스케줄링
한 가지 과제는 모든 충돌이 동일한 크기나 복잡성을 갖지는 않는다는 점이었습니다. 어떤 것은 분석하기 빠르지만, 어떤 것은 더 오래 걸립니다. 만약 시스템이 이들을 하나씩 처리하려고 한다면 정체될 것입니다. 팀은 사건들을 배치(batch) 단위로 묶는 영리한 "스케줄러"를 개발했습니다. 이는 요리사가 식사를 준비하는 것과 같습니다. 한 번에 한 가지 요리만 하는 대신, 채소를 모두 다듬고, 고기를 모두 다지고, 그다음 모든 것을 함께 요리하는 방식입니다. 이를 통해 GPU를 계속 바쁘고 효율적으로 유지할 수 있습니다. 또한 그들은 전체 배치를 보고 단계별 실행 순서를 결정하는 "멀티 이벤트 스케줄러"를 사용하여, 실제로 필요한 사건에만 가장 비용이 많이 드는 계산이 수행되도록 했습니다.

4. 네트워크
164대의 서버를 연결하기 위해, 그들은 슈퍼컴퓨터에서 자주 사용되는 기술인 InfiniBand를 사용하여 맞춤형 네트워크를 구축했습니다. 모든 서버가 다른 모든 서버와 효율적으로 통신할 수 있도록 설계하여 교통 체증(incast라고 불리는 문제)을 방지했습니다. 이를 통해 검출기의 각기 다른 부분에서 온 충돌 조각들을 모아 병목 현상 없이 GPU로 보내 필터링할 수 있었습니다.

결과: 기록을 깨다

연구팀은 시스템을 테스트했고 계획대로 작동함을 확인했습니다.

• 속도: 그들은 들어오는 32 Tbps의 전체 데이터를 실시간으로 성공적으로 처리했습니다.
• 필터링: 시스템은 데이터를 30:1 비율로 줄였습니다. 즉, 30번의 충돌 중 단 1번의 충돌만을 추가 연구를 위해 남겼습니다.
• 확장성: 시스템에 더 많은 서버를 투입하여 테스트했을 때, 완벽하게 확장되었습니다. 시스템은 LHC의 설계 속도인 초당 3,000만 번의 충돌을 처리할 수 있었습니다.
• 효율성: 시스템은 328개의 GPU(서버당 2개씩)를 갖춘 164대의 서버를 사용했습니다. 총 컴퓨팅 파워는 엄청났지만, 설계가 효율적이어서 과거처럼 수천 대의 기계를 필요로 하지 않았습니다.

이 논문은 이 시스템이 물리학 분야에서 소프트웨어로 달성한 가장 높은 데이터 속도를 처리할 수 있음을 확인해 줍니다. 이는 기존의 경직된 하드웨어 필터를 제거하고, 더 빠르고 똑똑한 소프트웨어 기반 시스템으로 대체할 수 있음을 증명했습니다.

이것이 중요한 이유

이것은 단순히 더 많은 데이터를 처리하는 것에 관한 것이 아닙니다. 이것은 우주를 더 많이 보는 것에 관한 것입니다. 하드웨어 필터를 제거함으로써, LHCb 실험은 이제 예전의 하드웨어가 감시하도록 프로그래밍된 부분뿐만 아니라, 흥미로운 사건을 찾기 위해 검출기 전체를 살펴볼 수 있게 되었습니다. 이는 그들이 이전에 보이지 않았던 희귀한 입자나 새로운 물리학을 발견할 수도 있음을 의미합니다. 이 "융합 아키텍처"의 성공은 미래의 입자 물리학 실험이 어떻게 구축될지에 대한 새로운 기준을 제시하며, 적절한 기성 기술(off-the-shelf technology)과 영리한 소프트웨어의 조합을 통해 우리가 과학의 한계를 어디까지 밀어붙일 수 있는지를 보여줍니다.