Optimas: An Intelligent Analytics-Informed Generative AI Framework for Performance Optimization

"Optimas: 성능 최적화를 위한 지능형 분석 기반 생성형 AI 프레임워크"에 대한 상세한 기술 요약입니다.

1. 문제 제기

고성능 컴퓨팅 (HPC) 성능 최적화는 현재 깊은 아키텍처 전문 지식을 요구하는 수동적이고 시간이 많이 소요되는 과정입니다. 기존 도구 (프로파일러, 분석 모델) 는 성능 병목 지점 (예: 메모리 스톨, 낮은 오버커런시) 을 식별할 수 있지만, 실행 가능한 코드 변경 사항을 생성하는 데는 한계가 있습니다.

• 격차: 대형 언어 모델 (LLM) 은 코드 생성에 유망하지만, 소스 코드만 제공될 경우 성능 최적화에는 어려움을 겪습니다. 동적 성능 컨텍스트 (예: 스톨 동작, 워프 오버커런시, 메모리 처리량) 가 없으면 LLM 은 문법적으로 유효하지만 성능에 중립적이거나 해로운 코드를 생성합니다.
• 과제: 원시 멀티 기가바이트 성능 텔레메트리와 LLM 의 제한된 컨텍스트 윈도우 사이의 격차를 해소하면서, 생성된 코드가 의미적으로 정확하고 식별된 병목 지점을 구체적으로 대상으로 하도록 보장하는 것입니다.

2. 방법론: Optimas 프레임워크

Optimas 는 다중 에이전트 워크플로우를 기반으로 구축된 모듈식, 완전 자동화, 엔드투엔드 생성형 AI 프레임워크입니다. 이는 성능 최적화를 데이터 기반 추론 문제로 간주하여 복잡한 런타임 프로파일을 검증된 코드 변환으로 변환합니다.

핵심 워크플로우 구성 요소:

1. 데이터 추출 및 통찰력 생성:

   • 커널 선택: LLM 컨텍스트 제한에 맞추기 위해 런타임의 80% 이상을 차지하는 상위 2~3 개의 성능 중요 커널을 자동으로 식별합니다.
   • 루프라인 분석: 하드웨어 한계에 대한 산술 강도와 리소스 활용도 비율을 계산하여 커널을 연산 병목 또는 메모리 병목으로 분류합니다.
   • PC(프로그램 카운터) 샘플링: 스톨을 특정 소스 줄과 명령어 유형 (예: stall_membar, stall_dependency) 에 국한합니다. Optimas 는 원시 트레이스를 간결한 요약으로 집계하여 지배적인 스톨 (예: 정지된 사이클의 30% 이상에 기여하는 스톨) 만 유지함으로써 데이터 양을 약 99.9% 줄입니다.
   • 하드웨어 이벤트 상관관계: 앙상블 직교 매칭 추적 (Ensemble Orthogonal Matching Pursuit) 기반의 무작위 탐욕 알고리즘을 사용하여 수천 개의 사용 가능한 지표 중 가장 정보량이 많은 하드웨어 카운터를 선택하고 이를 자연어 설명에 매핑합니다.

2. 프롬프트 구성:

   • 주석이 달린 커널 코드와 구조화된 진단 요약 (루프라인, PC 샘플링, 하드웨어 카운터) 을 결합합니다.
   • 가드레일: 프롬프트는 관련 코드 영역으로 편집을 명시적으로 제한하고, 서명 변경을 금지하며, 모델이 모든 최적화에 대해 특정 진단 증거를 인용하도록 요구합니다.
   • 백엔드: 상용 API(GPT-5, Gemini) 와 로컬 모델 (Llama 3.1) 을 지원합니다.

3. 증거 정렬 추론 (EAR):

   • 생성된 코드를 컴파일하고 실행하며 참조 출력과 비트 단위 정확도를 검증하는 평가 에이전트가 포함된 폐루프 시스템입니다.
   • 피드백 루프: 컴파일이 실패하면 에이전트는 오류 로그를 사용하여 최대 3 회까지 재시도하며, 지속적인 실패는 수동 검토를 위해 플래그가 지정됩니다.

신규 지표:

이 논문은 LLM 추론의 품질을 평가하기 위해 증거 정렬 추론 (EAR) 지표를 도입합니다:

• 증거 커버리지: 모델이 정당화 과정에서 진단 단서를 명시적으로 참조하는지 측정합니다.
• 국소화 일치성: 코드 편집이 프로파일링에 의해 핫스팟으로 식별된 특정 줄에서 발생하는지 평가합니다.
• 방향성 일관성: 성능 변화 (예: 감소된 스톨 카운터) 가 진단이 시사하는 방향과 일치하는지 확인합니다.

3. 주요 기여

1. 멀티모달 데이터 마이닝 파이프라인: 복잡한 HPC 로그 (루프라인, PC 샘플링, 하드웨어 카운터) 를 LLM 을 위한 간결하고 실행 가능한 통찰력으로 정제하는 방법.
2. 증거 정렬 추론 (EAR) 지표: 진단 신호와 생성된 코드 편집 간의 일관성을 정량화하고 단순한 속도 향상 지표를 넘어선 새로운 프레임워크.
3. 대규모 평가: NVIDIA GPU 에서 10 개의 벤치마크와 두 가지 HPC 프록시 애플리케이션 (XSBench, SW4Lite) 을 대상으로 한 3,410 회 실험을 포함한 포괄적인 연구.
4. 오픈소스 코퍼스: 검색 증강 최적화 연구를 지원하기 위해 성능 진단, 코드 변환, 측정된 결과를 정렬한 큐레이션된 데이터셋.
5. Optimas 프레임워크: 성능 엔지니어링에 대한 접근성을 민주화하는 백엔드 무관 폐루프 시스템.

4. 결과

이 프레임워크는 NVIDIA H100 GPU 에서 GPT-5, Gemini-2.5-pro, Llama 3.1:70B 를 사용하여 평가되었습니다.

• 성능 향상: Optimas 는 **98.82%**의 실험에서 성능 개선을 달성했으며, 평균 향상 폭은 **8.02% 에서 79.09%**까지 다양했습니다.
• 정확성: 이 프레임워크는 모든 성공적인 실험에서 100% 정확한 코드(컴파일 가능 및 기능적으로 유효) 를 생성했습니다.
• 모델 비교:
  • GPT-5: 가장 높은 증거 커버리지 (83.1%) 와 가장 큰 속도 향상을 달성했으며, 특히 복잡한 멀티 커널 애플리케이션에서 두드러졌습니다. 그러나 때로는 포화 상태를 넘어선 가산 변환을 적용하여 "과최적화"하는 경우가 있었습니다.
  • Llama 3.1:70B: 낮은 증거 커버리지 (49.2%) 를 보였지만, 환각 현상 없이 안정적이고 보수적인 향상을 생성하여 엄격한 가드레일 하에서 오픈소스 모델이 효과적일 수 있음을 입증했습니다.
  • Gemini-2.5-pro: 대형 커널에서는 유사하게 수행되었지만, 컨텍스트 희석으로 인해 세밀한 스톨 민감성 커널에서는 어려움을 겪었습니다.
• 진단 시너지: 세 가지 진단 소스 (PC + IA + 루프라인) 를 모두 결합하면 혼합 병목 지점이 있는 복잡한 애플리케이션에 대해 가장 좋은 결과를 얻었습니다. 그러나 이 이점은 엄격하게 단조롭지는 않았으며, 소스가 충돌할 때 안전 가드레일이 안전하지 않은 재작성을 방지했습니다.
• 일반화: 기본 구성에서 생성된 최적화는 대부분의 애플리케이션에 대해 68 개의 서로 다른 입력 구성에서 성공적으로 일반화되었습니다 (예: Accuracy 커널은 모든 입력에서 안정적인 43~45% 의 향상을 보임).
• 오버헤드: 최적화 과정은 매우 효율적입니다. 프로파일링에는 수시간이 소요되지만 (예: SW4Lite 의 경우 16~24 시간), Optimas 반복 (요약, 추론, 컴파일, 검증) 은 10 분 미만이 소요되어 데이터 수집 시간의 1.5% 미만을 차지합니다.

5. 의의

• HPC 의 민주화: Optimas 는 성능 최적화를 전문가 전용 작업에서 자동화된 워크플로우로 전환하여, 깊은 아키텍처 지식이 없는 개발자도 상당한 속도 향상을 달성할 수 있게 합니다.
• 루프 폐쇄: 다양한 분석 소스를 자동화된 코드 최적화 엔진에 직접 통합하여 진단과 해결 사이의 격차를 효과적으로 메우는 최초의 프레임워크입니다.
• 교육적 가치: 모델이 진단 증거를 인용하도록 요구함으로써, 이 시스템은 하드웨어 진단과 코드 변환 간의 인과 관계를 명시적으로 만들어 교육 도구 역할을 합니다.
• 확장성: 이 시스템은 지진파 전파 및 몬테카를로 중성자 수송과 같은 실제 복잡 HPC 애플리케이션을 성공적으로 처리하여 단순 마이크로벤치마크를 넘어선 타당성을 입증했습니다.

결론적으로, Optimas 는 LLM 이 엄격하고 멀티모달 런타임 진단에 의해 안내될 때 신뢰할 수 있는 고성능 코드 변환을 생성할 수 있으며, HPC 최적화에 필요한 수동 노력을 크게 줄일 수 있음을 보여줍니다.