The Correctness Illusion in LLM-Generated GPU Kernels

기술 요약: LLM 생성 GPU 커널의 정답성 착각 (The Correctness Illusion)

문제 정의
LLM이 생성한 GPU 커널을 평가하는 현재의 벤치마크(예: KernelBench, TritonBench, GEAK)는 정답 여부를 판별하기 위해 "고정된 형상, 소규모 샘플 기반의 allclose 방식" 오라클에 의존하고 있습니다. 이러한 벤치마크들은 일반적으로 단일 입력 형상과 데이터 타입(dtype) 및 수동으로 설정된 허용 오차를 테스트합니다. 저자들은 이 오라클이 체계적으로 낙관적이며, 버그가 있는 커널이 검증을 통과하면서도 실제로는 심각한 오류를 포함하고 있는 "정답성 착각(correctness illusion)"을 만들어낸다고 주장합니다. 구체적으로, 저자들은 현재의 평가 방식에서 세 가지 실패 모드를 식별했습니다:

1. 형상의 경직성 (Shape Rigidity): 연산당 단 하나의 형상만을 테스트하는 것은 테일 마스킹(tail masking), 오프 바이 원(off-by-one) 누적, 또는 특정 차원에서만 나타나는 블록 크기 가정과 관련된 버그를 감지하지 못합니다.
2. 데이터 타입의 경직성 (Dtype Rigidity): 기본 데이터 타입(예: fp32)만을 테스트하면 fp16 또는 bf16에서의 오버플로, 언더플로, 또는 누적 드리프트와 같은 혼합 정밀도 오류를 놓치게 됩니다.
3. 느슨한 허용 오차 (Loose Tolerances): 수동으로 선택된 절대 허용 오차(atol) 및 상대 허용 오차(rtol)는 종종 커널의 실제 오차 범위보다 수십 배 더 느슨하여, 실제 수치적 오류가 흡수되도록 허용합니다.

방법론
이 가설을 실증적으로 테스트하기 위해, 저자들은 제어된 코퍼스와 새로운 평가 파이프라인을 구축했습니다:

• 코퍼스 (The Corpus): 15개의 정상 제어 커널과 9개(이후 10개로 확장)의 "LLM 스타일 버그 변형"으로 구성된 24개의 커널 세트(교차 GPU 테스트를 위해 26개로 확장됨)를 포함합니다. 버그 변형은 실제 LLM 출력에서 가져온 것이 아니라, LLM 생성 코드에서 흔히 발생하는 문서화된 전사 오류(예: GELU에서 0.5 누락, softmax에서 잘못된 테일 마스킹, RMSNorm에서 sqrt 누락, matmul에서 누산기 덮어쓰기, attention 메커니즘에서의 잘못된 스케일링 등)를 저자가 직접 주입한 것입니다.
• 연산 스키마 인지형 퍼징 (Op-Schema-Aware Fuzzing): 무작위 형상 생성이 아닌, 연산의 스키마(예: matmul A[M, K] · B[K, N])를 사용하여 입력을 생성합니다. 이는 정규 값과 함께 경계 값(예: 1, 3, 7, 256, 1025)을 명시적으로 포함하는 후보 집합으로부터 기호적 차원(M, K, N)의 값을 샘플링합니다. 이를 통해 테일 블록과 같은 에지 케이스(edge case)에 대한 커버리지를 보장합니다.
• 고정밀 오라클 (High-Precision Oracle): 검증 오라클은 커널 출력을 타겟 dtype으로 반올림된 고정밀(fp64) CPU 참조값과 비교합니다. 결정적으로, 이 오라클은 PyTorch에서 사용하는 결합된 절대/상대 allclose 메트릭 대신, 연산 및 데이터 타입별(per-(op, dtype)) 절대 허용 오차를 사용합니다. 또한 전체 오차 분포(ULP 백분위수, NaN/Inf 탐지)를 기록합니다.
• 재현성 (Reproducability): 시스템은 완전히 재현 가능합니다. 플래그가 지정된 모든 실패 사례는 바이너리 입력 스냅샷과 시드(seed)를 저장하여, 바이트 단위로 실패를 재현할 수 있게 합니다.

주요 결과
연구는 단일 GPU(RTX 3060)에서 수행되었으며, 5개의 GPU 클래스(RTX 3060, A10, L40S, A100 SXM4, H100 NVL)로 확장되었습니다.

• 탐지율 (Detection Rate): 주입된 오라클은 9개 중 9개(이후 10개 중 10개)의 버그 커널을 성공적으로 찾아냈습니다.
• 오탐률 (False Positives): 오라클은 15개 중 15개(이후 16개 중 16개)의 정상 제어 커널을 오탐 없이 통과시켰습니다.
• 아키텍처 간 일관성 (Cross-Architecture Consistency): 검증 결과는 5개 GPU 클래스 모두에서 동일했으며, 이는 "착각"(표준 벤치마크에서는 통과하지만 엄격한 오라클에서는 실패하는 버그)이 하드웨어 아키텍처와 관계없이 일관됨을 확인시켜 줍니다.
• 버그 카테カテゴリ (Bug Categories): 저자들은 탐지된 버그를 두 가지 클래스로 분류합니다:
  1. 크기 균일 버그 (Magnitude-uniform bugs): 상수 누락이나 잘못된 스케일링 계수와 같이, 느슨한 허용 오차 때문에 거의 모든 형상에서 발생하지만 표준 벤치마크에서는 놓치는 오류.
  2. 형상 의존적 버그 (Shape-dependent bugs): 테일 마스크 누출(tail-mask leaks)이나 누산기 덮어쓰기(accumulation overwrites)와 같이, 경계 인식형 형상 생성이 없으면 보이지 않는 오류.

의의 및 주장
본 논문은 "단일 형상 기반의 allclose" 오라클이 LLM이 생성한 GPU 커널의 정답성을 인증하기에 불충분하다는 것을 입증한다고 주장합니다. "정답성 착각"은 현재의 벤치마크가 좁은 입력 도메인과 느슨한 오차 범위를 기준으로 커널을 정답으로 인증하기 때문에 발생합니다.

저자들은 자신들의 결과가 특정 배포된 LLM의 버그율 자체보다는, 현재의 오라클이 어떤 버그 패턴을 정답으로 인증하는지에 관한 것임을 강조합니다. 저자가 직접 주입한 버그를 사용함으로써, LLM 코드 생성에서 발생하는 것으로 알려진 특정 전사 오류에 대한 그라운드 트루스(ground truth)를 확립했습니다. 논문은 결론적으로, 이러한 문제를 해결하기 위해 필요한 대응책—경계 인식형 형상 집합, 연산/데이터 타입별 허용 오차 캘리브레이션, 원칙적인 입력 생성—이 현재 allclose 방식의 오라클을 사용하는 모든 프로젝트에서 실행 가능하다는 점을 밝히고 있습니다.

명시된 한계점
저자들은 버그 변형이 실제 LLM 출력에서 샘플링된 것이 아니라 문서화된 패턴을 바탕으로 저자에 의해 주입된 것이라고 명시했습니다. 즉, 본 연구는 일반적인 LLM의 실패율이 아니라 특정 알려진 오류 유형에 대한 오라클의 민감도를 측정하는 것입니다. 또한, 현재 구현은 동일 타입 비교(kernel-fp16 vs. reference-fp16)에 의존하며, 교차 데이터 타입 검증이나 네이티브 bf16 클라이언트 디코딩(fp16을 통해 프록시됨)을 아직 지원하지 않습니다.