1. 문제 정의 (Problem Statement)

고성능 컴퓨팅 (HPC) 소프트웨어 개발은 대규모 코드베이스, 복잡한 의존성, 저수준 병렬성, 그리고 엄격한 성능 제약 조건으로 인해 유지보수와 수정이 매우 어렵습니다. 기존 AI 코딩 도구들은 일반적인 제안은 가능하지만, HPC 환경에서 요구되는 **의미적 이해 (Semantic Understanding)**와 **정확성 보장 (Correctness Guarantees)**이 부족하여, 안전하지 않은 수정이나 성능 저하를 초래할 수 있습니다. 특히, 프로젝트 특유의 패턴을 따르거나 구조적 일관성을 유지하면서 코드를 생성하거나 편집하는 데에는 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 AstraAI라는 명령줄 인터페이스 (CLI) 기반의 코딩 프레임워크를 제안했습니다. 이 프레임워크는 대규모 언어 모델 (LLM) 을 **검색 증강 생성 (RAG)**과 추상 구문 트리 (AST) 기반 구조 분석과 결합하여, 복잡한 과학적 코드베이스에 대한 문맥 인식형 코드 생성을 가능하게 합니다.

핵심 아키텍처 및 워크플로우

1. 전처리 단계 (Pre-inference Preparation):

   • 모델 배포: 로컬 호스팅 (Hugging Face 의 오픈소스 모델, GGUF 포맷, Ollama 런타임) 또는 API 기반 (American Science Cloud 를 통한 프런티어 모델) 을 지원합니다.
   • 코드 청크 생성 (RAG): 소스 파일을 세분화하여 메타데이터 (작업 유형, 사용자 의도, 키워드, 입출력 정보 등) 와 함께 JSON 형식으로 저장합니다. all-MiniLM 임베딩 모델을 사용하여 벡터화하며, 사용자의 의도 (user_intent) 에 초점을 맞춰 검색 효율성을 높입니다.

2. 추론 파이프라인 (Inference Pipeline):

   • 의도 추출: 사용자의 프롬프트를 분석하여 목표를 파악합니다.
   • RAG (검색 증강 생성): 사용자 프롬프트를 벡터화하여 사전 인덱싱된 코드베이스에서 관련 코드 스니펫을 검색합니다. 이를 통해 프레임워크 특유의 API 사용 패턴과 구현 예시를 제공합니다.
   • AST 분석 (구조 추출): intercept-build 와 clang-query 를 사용하여 컴파일 명령어를 캡처하고 AST 를 추출합니다. 이를 통해 클래스 멤버 변수, 접근 지정자, 함수 시그니처, 소스 범위 (줄 번호) 등 구조적 정보를 추출합니다.
   • 고충실도 프롬프트 구성 (High-Fidelity Prompt Construction): 시스템 지침, RAG 를 통해 검색된 관련 코드, AST 에서 추출된 구조적 정보, 그리고 사용자 요청을 결합하여 LLM 에게 전달합니다. 이는 모델이 프로젝트의 구조적 규칙을 따르도록 유도합니다.
   • 코드 생성 및 편집: LLM 이 생성한 코드는 GitHub 충돌 스타일 마커를 사용하여 포맷팅되며, 개발자가 검토 후 통합할 수 있도록 합니다.

3. 주요 기여 (Key Contributions)

• HPC 특화 통합 프레임워크: LLM 에 RAG 와 AST 분석을 결합하여, 단순한 텍스트 기반 제안을 넘어 구조적 정확성과 프로젝트 일관성을 보장하는 최초의 HPC 전용 도구 중 하나입니다.
• 문맥 인식형 스코프 수정: 생성된 코드가 기존 프로젝트 구조, 데이터 구조, 함수 시그니처와 완벽하게 호환되도록 하여, HPC 워크플로우의 안전성과 유지보수성을 높입니다.
• 유연한 배포 환경: 로컬 GPU 환경 (NERSC 의 Perlmutter 등) 과 클라우드 API 를 모두 지원하여 다양한 HPC 환경에 적용 가능합니다.
• AMReX 프레임워크 검증: DOE 에서 지원하는 엑사스케일 애플리케이션용 소프트웨어 인프라인 AMReX를 대상으로 구체적인 구현 사례를 제시했습니다.

4. 평가 결과 (Results)

연구진은 AMReX 프레임워크 내에서 6 가지 주요 작업 (3D 중첩 루프 변환, MultiFab 복사, 라플라시안 커널 등) 을 수행하며 CodeLlama-13B/34B, GPT-OSS-120B, Claude-Sonnet-4.6-High 등 다양한 모델을 평가했습니다.

• 평가 지표: 생성된 코드와 검증된 벤치마크 코드 간의 **코사인 유사도 (Cosine Similarity)**를 측정했습니다. 변수 이름의 차이를 제거하기 위해 AST 기반 정규화를 적용했습니다.
• 성능 향상:
  • 베이스라인 (프롬프트만): CodeLlama-13B 와 같은 소형 모델은 AMReX 에 대한 사전 학습이 부족하여 낮은 유사도 (예: 0.32~0.77) 를 보였습니다.
  • AstraAI 적용 (RAG + AST): RAG 와 AST 정보를 추가한 결과, 소형 모델들의 성능이 획기적으로 개선되었습니다. 예를 들어, CodeLlama-13B 는 3D 루프 변환 작업에서 0.32 에서 0.78로, 7 점 유한 차분 라플라시안 커널에서 0.88 에서 0.80(일부 작업은 1.00 에 근접) 으로 향상되었습니다.
  • 프런티어 모델: Claude-Sonnet-4.6-High 나 GPT-OSS-120B 같은 대형 모델은 베이스라인에서도 높은 성능을 보였으나, AstraAI 를 통해 특정 작업 (예: Multigrid Poisson 솔버) 에서 1.00의 완벽한 유사도를 달성하거나 일관성을 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 소형 모델의 활용성 증대: 공개된 학습 데이터가 부족한 폐쇄형 코드베이스나 특정 프레임워크 (AMReX) 에서도, RAG 와 AST 정보를 통해 소형 오픈소스 모델이 대형 모델에 버금가는 정확도로 코드를 생성할 수 있음을 입증했습니다.
• 신뢰성 있는 HPC 개발: AI 가 생성한 코드가 컴파일되고 수치적으로 정확한지 확인하는 단계까지 포함하여, 개발자의 생산성을 높이면서도 HPC 의 엄격한 정확성 요구사항을 충족시킵니다.
• 미래 전망: 향후 DeepSpeed 를 활용한 대규모 모델 병렬 추론 지원, 다중 파일 편집 및 자동 리팩토링 기능 추가, 그리고 컴파일 성공률과 수치 결과 정확도에 대한 포괄적인 평가를 통해 더욱 발전할 예정입니다.

이 연구는 AI 보조 프로그래밍이 HPC 분야에 도입될 때, 단순한 코드 생성을 넘어 구조적 이해와 문맥 기반의 신뢰성을 확보하는 새로운 패러다임을 제시한다는 점에서 의의가 큽니다.