Semperf: An LLM-assisted Performance Diagnosis for Extreme-Scale Parallel Programs

수천 명의 작은 일꾼들이 거대한 퍼즐 조각 하나씩을 들고 거대한 미스터리를 함께 풀어나가려 하는 세상을 상상해 보십시오. 이것이 바로 슈퍼컴퓨터가 작동하는 방식입니다. 슈퍼컴퓨터는 기상 예측이나 핵폭발 시뮬레이션과 같은 거대하고 복잡한 문제를 수만 개의 프로세서(이를 '랭크(rank)'라고 부릅니다)로 나눕니다. 목표는 모든 이가 동시에 작업을 마쳐서 전체 그림이 즉각적으로 완성되도록 하는 것입니다. 하지만 때때로 문제가 발생합니다. 어떤 일꾼은 무거운 작업을 하느라 정체되고, 다른 이들은 그동안 아무것도 못 하고 기다리게 될 수 있습니다. 혹은 몇몇 일꾼이 통신의 미로 속에서 길을 잃을 수도 있습니다. 이를 '성능 병목 현상(performance bottleneck)'이라고 합니다.

수십 년 동안 이러한 병목 현상을 해결하는 것은 도시 크기만 한 건초더미 속에서 손전등 하나만을 들고 떨어진 바늘 하나를 찾는 것과 같았습니다. 전문가들은 왜 컴퓨터가 느려지는지 추측하기 위해 숫자 속에 숨겨진 아주 작은 단서들을 찾으려고 산더ка 같은 가공되지 않은 데이터를 뚫어지게 쳐다봐야 했습니다. 이는 느리고 소모적이며, 매우 높은 수준의 전문 지식을 필요로 합니다. 이제, 만약 당신이 그 거대한 건초더미 전체를 전달받아 즉시 패턴을 포착하고, 어떤 일꾼이 막혀 있는지 정확히 짚어내며, 왜 그런지를 평이한 언어로 설명해 줄 수 있는 아주 똑똑하고 호기심 많은 탐정에게 건네줄 수 있다면 어떨까요? 그것이 바로 대규모 언어 모델(LLM)이라는 유형의 인공지능을 사용하여 그 탐정 역할을 수행하는 Semperf라는 새로운 도구의 약속입니다.

탐정의 도구 상자: Semperf

이 논문은 극한 규모의 병렬 프로그램에서 발생하는 성능 문제를 진단하기 위해 설계된 새로운 툴킷인 Semperf를 소개합니다. 연구진인 리창 카오(Liqiang Cao), 쉬 리우(Xu Liu), 샤오웬 쉬(Xiaowen Xu)는 까다로운 문제에 직면했습니다. LLM은 추론과 설명에는 뛰어나지만, 10만 개의 프로세서로 구동되는 슈퍼컴퓨터가 생성하는 엄청난 양의 데이터를 처리할 수는 없다는 점입니다. 만약 그 방대한 데이터를 AI에게 직접 쏟아부으려 한다면, 그것은 마치 소방 호스로 물을 들이붓는 것과 같아서 AI가 정보에 질식해 버릴 것입니다.

이를 해결하기 위해 Semperf는 영리한 필터이자 번역기 역할을 합니다. 데이터를 AI에게 통째로 쏟아붓는 대신, Semperf는 먼저 혼란스러운 데이터를 깔끔하고 관리 가능한 구조로 정리합니다. 연구진은 이를 **'랭크 프로파일 행렬(rank-profile matrix)'**이라고 부릅니다. 이것은 수천 명의 일꾼(랭크)을 나타내는 행과, 그들이 수행한 특정 작업이나 함수를 나타내는 열로 이루어진 거대한 스프레드시트라고 생각하면 됩니다. 각 셀의 숫자는 각 일꾼이 각 작업에 소비한 시간을 보여줍니다.

이 거대한 스프레드시트가 구축되면, Semperf는 **클러스터링(clustering)**이라는 수학적 기법을 사용하여 유사한 일꾼들을 그룹화합니다. 이는 학생들을 이름순이 아니라 시험을 치르는 동안의 행동 양식에 따라 분류하는 것과 같습니다. 알고리즘은 예를 들어 2,760명의 학생이 모두 일정한 정상 속도로 작업하고 있는 반면(그룹 A), 아주 적은 수의 120명은 다른 문제들을 풀기 위해 미친 듯이 글씨를 휘갈기고 있는 상태(그룹 B)임을 찾아낼 수 있습니다. 이러한 그룹을 식별함으로써, Sem々と Semperf는 모든 일꾼을 일일이 살펴볼 필요 없이, 각 그룹에서 이야기를 들려줄 '대표자' 한 명만 뽑으면 됩니다.

일하는 AI 탐정

이러한 대표 그룹들이 식별되면, Semperf는 AI 탐정(이 경우에는 LLM인 DeepSeek-V4)을 위해 간결한 '성적표'를 준비합니다. 이 성적표에는 그룹의 성능 패턴이 포함되며, AI에게 다음과 같이 질문합니다. "이 단서들을 바탕으로, 무엇이 속도 저하를 일으키고 있습니까?"

AI는 단순히 추측하는 것이 아니라, 증거를 바탕으로 자신의 믿음을 업데이트하는 방법인 **베이지안 추론(Bayesian reasoning)**을 사용합니다. AI는 데이터를 살펴보고 이렇게 말합니다. "아, 작은 그룹은 기하학 계산에 시간의 36%를 쓰고 있는 반면, 큰 그룹은 스핀 락(spin lock, 일종의 디지털 대기실)에서 기다리는 데 시간의 24%를 쓰고 있군요. 이는 작은 그룹이 모든 무거운 짐을 짊어지고 있으며, 이로 인해 큰 그룹이 아무것도 못 하고 대기하게 만들고 있음을 시사합니다."

연구진은 세 가지 시나리오에서 이 시스템을 테스트했습니다:

1. JEuler3D.m: 2,880개의 프로세서에서 실행되는 복잡한 유체 역학 시뮬레이션입니다. Semperf는 소수의 랭크가 작업을 병렬로 처리하지 않고 직렬화(하나씩 순차적으로 처리)하여 나머지 시스템을 굶주리게 만들고 있다는 점을 정확히 식별했습니다.
2. BT 벤치마크: 81개의 프로세서에서 실행되는 균형 잡힌 테스트 케이스입니다. 여기서 AI는 중대한 병목 현상이 없다고 정확히 보고했는데, 이는 AI가 문제가 없는 곳에 문제를 지어내지 않는다는 것을 증证明합니다.
3. JUPITER: 102,400개의 프로세서로 실행되는 거대한 시뮬레이션입니다. 이것이 바로 '극한 규모' 테스트입니다. Semperf는 10만 개 이상의 파일에서 데이터를 처리하여, 이를 256개의 작은 그룹과 102,144개의 거대한 그룹으로 클러스터링했습니다. 그리고 작은 그룹이 과부하되어 전체 시스템을 멈추게 만든 심각한 통신 병목 현상을 진단해 냈습니다.

이 논문이 배제한 것과 입증한 것

저자들은 자신들의 방법이 실제로 필요한지를 확인하기 위해 신중하게 테스트를 진행했습니다. 그들은 기계의 부품을 하나씩 제거하며 여전히 작동하는지 확인하는 실험인 '절제 연구(ablation studies)'를 수행했습니다.

첫째, "데이터를 정말 클러스터링해야 할까요? 그냥 무작위로 일꾼을 뽑으면 안 될까요?"라고 물었습니다. 그들은 AI에게 1% 또는 2%의 프로세서에서 추출한 무작위 샘플 데이터를 제공해 보았습니다. AI가 가끔 정답을 맞히기는 했지만, 확신이 떨어졌고 정답을 맞히기 위해 훨씬 더 많은 데이터(더 큰 '프롬프트')가 필요했습니다. 이 논문은 클러스터링이 거대 시스템에서도 압축적이고 신뢰할 수 있는 진단을 내리는 데 필수적임을 시사합니다.

둘째, "정말로 AI가 필요할까요? 단순한 수학 규칙만 사용하면 안 될까요?"라고 물었습니다. 그들은 평균 대기 시간만을 계산하는 규칙 기반 시스템과 비교했습니다. 규칙 기반 시스템은 일부 일꾼이 기다리고 있다는 사실은 볼 수 있었지만, 왜 그런지는 설명하지 못했습니다. 그 시스템은 작은 그룹이 기하학 작업을 수행하느라 다른 이들을 기다리게 만들었다는 더 깊은 연관성을 놓쳤습니다. 이 논문은 구조화된 특징(structured features)만으로는 충분하지 않다는 것을 보여줍니다. 즉, 데이터 포인트 사이의 관계를 추론할 수 있는 LLM의 능력이 있어야만 인간이 읽을 수 있는 설명을 생성할 수 있습니다 있습니다.

결론

논문은 Semperf가 성능 문제를 진단하는 확장 가능하고 해석 가능한(scalable and interpretable) 방법이라고 결론짓습니다. Semperf는 구조화된 데이터 축소와 AI 추론을 성공적으로 결합하여 최대 102,400개의 프로세스를 가진 애플리케이션을 처리했습니다. 저자들은 이 접근 방식이 가공되지 않은 압도적인 데이터와 인간의 이해 사이의 간극을 메워준다고 제안합니다. 그러나 그들은 한계에 대해서도 솔직하게 밝힙니다. 모든 가능한 AI 모델을 테스트한 것은 아니며, 성능 진단은 종종 인간과 AI가 함께 협력하는 반복적인 과정임을 인정합니다. 그들은 이 기술이 성능 분석 문제를 영원히 '해결'했다고 주장하는 것이 아니라, 전문가들이 건초더미 속에서 바늘을 훨씬 더 빠르게 찾을 수 있도록 돕는 강력한 새로운 조수를 만들었다고 말합니다.

요약하자면, Semperf는 혼란스러운 숫자의 산을 명확하고 실행 가능한 이야기로 바꾸어, 대도시의 인구보다 더 많은 프로세서를 사용하는 환경에서도 슈퍼컴퓨터가 더 매끄럽고 빠르게 작동하도록 돕습니다.