When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs

기술 요약: 동시성 Go 프로그램을 위한 분포 인식 실행 모델링

문제 정의
동시성 프로그램에서 다음 단계를 예측하도록 언어 모델을 학습시키는 것은 순차적 코드와 근본적으로 다릅니다. 순차적 실행에서는 특정 상태와 문장이 단일한 결정론적 다음 상태를 생성합니다. 그러나 동시성 Go 프로그램의 경우, 동일한 실행 접두사(prefix)가 스케줄러가 고루틴을 어떻게 인터리빙(interleaving)하느냐에 따라 여러 가지 서로 다른 다음 이벤트(예: 블록, 시작 또는 언블록)로 정당하게 이어질 수 있습니다.

단일 정답 레이블을 가정하고 교차 엔트로피 손실(cross-entropy loss)로 학습되는 표준 코드 월드 모델(CWM)은 동시성 트레이스에 적용될 때 문제가 발생합니다. 이는 모델이 무작위 프로세스의 임의적인 결과 하나를 암기하도록 강요하며, 근본적인 역학을 포착하는 데 실패하게 만듭니다. 이러한 한계는 매우 치명적인데, 왜냐하면 동시성 버그(데드락, 데이터 레이스, 고루틴 누수)는 본질적으로 스케줄에 의존하며 순차적 대응물이 없기 때문입니다. 기존의 벤치마크와 모델들은 이러한 비결정성을 구조적 특성이 아닌 노이즈로 취급함으로써 이를 제대로 다루지 못하는 경우가 많습니다.

방법론
저자들은 다음 이벤트 예측을 점 예측(point prediction)이 아닌 **분포 추정(distribution estimation)**으로 재구성할 것을 제안합니다. 모델이 단일 다음 이벤트를 추측하도록 학습시키는 대신, 동일한 프로그램의 여러 실행에서 관찰된 다음 이벤트들을 집계하여 경험적 분포를 형성합니다.

• 데이터 수집: 본 연구는 수작업으로 제작된 패턴, 합성된 코드, 그리고 실제 운영 시스템(CockroachDB, Kubernetes, gRPC, etcd)에서 추출한 66개의 실제 동시성 버그 커널을 포함하여 총 130개의 동시성 Go 프로그램을 활용합니다. 각 프로그램은 런타임 트레이서를 통해 다섯 번 실행되어 스케줄러 이벤트를 캡처합니다.
• 타겟 정의: 주어진 프로그램 접두사에 대해 타겟은 단일 레이블이 아니라 6가지 이벤트 유형(GoBlock, GoCreate, GoEnd, GoSched, GoStart, GoUnblock)에 대한 경험적 분포 $\hat{p}_g$입니다. 이 분포는 반복 실행을 통해 관찰된 다음 이벤트의 빈도를 기반으로 도출됩니다.
• 모델 학습: 저자들은 두 가지 목적 함수를 사용하여 7B 파라미터 모델(Qwen2.5-Coder)을 미세 조정합니다:
  1. 교차 엔트로피 (CE): 분포를 근사하기 위해 이벤트 빈도에 비례하여 예시를 복제하는 베이스라인 방식입니다.
  2. KL 발산 (KL): 모델의 예측 분포와 경험적 타겟 사이의 쿨백-라이블러(Kullback-Leibler) 발산을 최소화하는 분포 인식 목적 함수입니다. KL 항은 이벤트 유형을 구별하는 토큰 위치에 특정하여 적용됩니다.
• 평가: 모델은 학습 과정에서 한 번도 보지 못한 66개의 실제 운영 버그(GoKer) 세트로 평가됩니다. 평가지표로는 top-1 정확도, 기대 교정 오차(Expected Calibration Error, ECE), 그리고 다단계 일관성(예측값을 다시 입력으로 피드로 하여 실행을 시뮬레이션함)이 사용됩니다.

주요 기여

1. 분포 인식 학습: 논문은 스케줄러의 비결정성을 신호(signal)로 취급하는 것이 모델이 Go 스케줄러에 의해 허용되는 "유효한 미래"를 학습하도록 돕는다는 점을 입증합니다. 1,000개 미만의 트레이스로 미세 조정된 7B 모델은 홀드아웃(held-out) 실제 운영 버그에 대해 36.2%의 정확도를 달성하여, 제로샷(zero-shot) 성능(28.6%) 및 Gemini 3.5 Flash 제로샷 성능(34.8%)을 능가했습니다.
2. 교정 개선: 분포 학습(KL 손실)은 교차 엔트로피와 유사한 정확도를 달성하면서도(35.8% vs 36.2%), 모델의 교정 능력을 크게 향상시킵니다. 기대 교정 오차(ECE)는 0.205에서 0.169로 감소했으며, 모델 엔트로피는 프로그램의 비결정성과 상관관계를 가져 모델이 적절한 곳에서 불확실성을 표현할 수 있게 합니다.
3. 공식 누수 시그니처: 저자들은 특정 클래스의 고루틴 누수, 즉 select-blocked 고루틴에 대한 공식 시그니처를 도출합니다. 이 경우 GoUnblock 이벤트의 확률은 모든 트레이스 깊이에서 정확히 0($P(\text{GoUnblock}) = 0$)임을 보여줍니다. 이는 학습된 통계적 패턴이 아니라 Go 스케줄러의 의미론(semantics)에 따른 결과입니다(만약 도달 가능한 어떤 고루틴도 select 조건을 충족할 수 없다면, 언블로킹은 불가능함).
4. 한계점 식별: 본 연구는 접근 방식의 경계를 명확히 규정합니다. 정확도는 모델 크기나 목적 함수에 관계없이 35~36% 부근에서 정체됩니다. 모델은 클래스 불균형과 분포 변화(distribution shift)로 인해 희귀 이벤트 유형(GoEnd, GoSched)을 예측하는 데 실패합니다. 또한, 모델이 단일 단계 전이만을 학습했기 때문에 다단계 예측 시 약 한 단계 이후에는 스케줄러 일관성을 잃게 됩니다.

결과 및 분석

• 정확도 천장: 성능 천장(~36%)은 두 가지 요인, 즉 클래스 불균형(GoEnd 및 GoSched와 같은 희귀 이벤트는 결코 정확히 예측되지 않음)과 분포 변화(실제 버그는 수작업 학습 세트보다 GoCreate 및 GoSched와 같은 이벤트 유형을 더 빈번하게 실행함)에 기인합니다.
• 이벤트별 성능: 모델은 일반적인 생명주기 이벤트(GoStart 47%, GoCreate 44%)는 잘 학습하지만 희귀 이벤트에는 실패합니다. 주목할 점은 GoCreate가 학습 데이터의 1.5%에 불과함에도 불구하고 44%의 정확도를 달성했다는 것인데, 이는 모델이 단순히 빈도에 의존하는 것이 아니라 프로그램 구조로부터 추론함을 시사합니다.
• 다단계 일관성: 자기회귀(autoregressively) 방식으로 사용할 때, 모델은 Go 불변성을 위반하기 전까지 약 한 단계 동안만 유효한 전이를 생성합니다. 이는 단일 단계 학습이 궤적(trajectory) 학습 없이는 다단계 시뮬레이션으로 전이되지 않음을 확인시켜 줍니다.
• 추론 능력: 베이스라인 모델(Gemini)에서 "생각하기(thinking)" 모드를 활성화해도 정확도가 향 향상되지 않았으며, 이는 해당 작업이 다단계 연역적 추론보다는 구조적 신호에 의존함을 나타냅니다.

의의 및 주장
저자들은 자신들이 배포 가능한 버그 탐지기나 상용 수준의 실행 시뮬레이터를 주장하는 것이 아님을 명시합니다. 본 연구의 의의는 다음과 같습니다:

• 정식화: 동시성 실행을 분포 추정으로 모델링하는 원칙적인 프레임워크를 제공함.
• 데이터셋 및 베이스라인: 동시성 트레이스 데이터셋, 학습된 어댑터, 그리고 이 특정 문제에 대한 베이스라인을 구축하기 위한 도구를 공개함.
• 한계 명시: 비결정성 인식 학습이 작동하고 교정을 개선한다는 점을 입증하는 동시에, 접근 방식이 더 효과적이 되기 위해 해결해야 할 중대한 과제들(희귀 이벤트, 분포 변화, 다단계 일관성)이 남아 있음을 명확히 함.

본 논문은 현재의 접근 방식이 동시성 코드를 위한 분포 인식 학습의 실행 가능성을 증명하지만, 향후 연구는 궤적 학습, 더 풍부한 상태 표현(채널 버퍼 및 뮤텍스 소유권 포함), 그리고 실제 이벤트 분포에 맞춘 학습 데이터 재균형에 집중해야 한다고 결론짓습니다.