기술 요약: 컴파일러 중간 표현의 LLM 번역

문제 제기

현대 소프트웨어 인프라는 GCC 와 LLVM 이라는 두 가지 지배적이지만 상호 호환되지 않는 컴파일러 생태계에 크게 의존합니다. 두 시스템 모두 최적화와 코드 생성을 위해 중간 표현 (IR) 을 활용하지만, GCC 의 GIMPLE과 LLVM 의 LLVM IR은 설계 철학, 구조, 의미론에서 근본적으로 다릅니다.

• 구조적 차이: GIMPLE 은 문장 지향적이며 고수준 제어 구조를 보존하는 반면, LLVM IR 은 표현 지향적이며 제어 흐름을 기본 블록, 분기, $\phi$-노드로 낮춥니다.
• 의미론적 차이: 메모리 모델 (가상 연산자 대 명시적 로드/스토어), 타입 시스템의 엄격성, 예외 처리 방식에서 차이가 발생합니다.
• 장벽: 이러한 불일치는 크로스 툴체인 상호작용에 상당한 장애물을 만들어 언어 및 생태계 전반에 걸쳐 프론트엔드, 백엔드, 최적화 파이프라인의 재사용을 방해합니다.
• 기존 솔루션의 한계: 전통적인 규칙 기반 번역기 (예: DragonEgg, Wyrm) 는 이러한 격차를 해소하려 시도했으나 높은 유지보수 비용, 컴파일러 버전 변경에 대한 취약성, 그리고 좁은 프로그램 하위 집합을 넘어선 일반화 불가능성으로 고통받고 있습니다.

방법론

본 논문은 수동으로 제작된 규칙에 의존하기보다, 짝지어진 예제들로부터 GIMPLE 과 LLVM IR 간의 복잡한 의미론적 매핑을 직접 학습하는 데이터 기반 접근법인 IRIS-14B를 제안합니다.

1. 모델 아키텍처 및 학습

• 기반 모델: 저자들은 관리 가능한 크기와 코드에 대한 강력한 사전 학습을 갖춘 140 억 파라미터 디코더 전용 트랜스포머인 Qwen3-14B를 미세 조정했습니다.
• 학습 데이터: 짝지어진 GIMPLE 과 LLVM IR 의 두 가지 큐레이션된 데이터셋이 구축되었습니다:
  • TheStack-IRIS: GitHub 의 31 만 개 C 코드 샘플에서 파생되어 정렬된 IR 쌍을 추출하기 위해 컴파일되었습니다.
  • GNU-IRIS: GNU 유틸리티에서 추출된 13,049 개의 정렬된 함수 쌍 데이터셋으로, 컨텍스트 제한에 맞게 처리되었습니다.
• 학습 절차: 모델은 AdamW 옵티마이저와 코사인 스케줄러를 사용하여 14 억 토큰의 짝지어진 IR 데이터로 학습되었습니다. 학습은 4 개의 H100 GPU 가 탑재된 15 개의 노드에서 약 35 시간 동안 수행되었습니다.

2. 번역 파이프라인

제안된 방법론은 컴파일러 자체를 수정하지 않고 기존 컴파일러 툴체인에 IRIS-14B 를 통합합니다:

1. 입력: 소스 코드 파일이 GCC 에 의해 컴파일되어 최적화되지 않은 GIMPLE 덤프가 생성됩니다 (-fdump-tree-gimple 를 통해).
2. 번역: GIMPLE 텍스트가 IRIS-14B 에 입력되어 해당 LLVM IR이 생성됩니다.
3. 출력: 생성된 LLVM IR 이 LLVM 툴체인에 의해 컴파일되어 실행 파일이 생성됩니다.
   이 접근법은 번역을 텍스트 대 텍스트 작업으로 간주하여 모델을 컴파일러 내부 구조와 분리하고, 컴파일러 패스를 다시 작성하지 않고도 IR 구문 변경에 적응할 수 있도록 합니다.

주요 기여

1. IRIS-14B: IR 대 IR 번역 (GIMPLE 에서 LLVM IR 로) 을 위해 명시적으로 학습된 최초의 오픈 소스 LLM.
2. 새로운 방법론: 하이브리드 신경 - 심볼릭 컴파일러 아키텍처 내에서 상호운용성 계층으로서 LLM 을 통합하기 위한 프레임워크로, 기존 컴파일러 패스를 변경하지 않고 크로스 툴체인 워크플로우를 가능하게 합니다.
3. 데이터셋: TheStack-IRIS와 GNU-IRIS(학습 세트) 및 ExeBench-IRIS와 CodeForces-IRIS(평가 세트) 의 공개로, 최초로 공개된 정렬된 GIMPLE-LLVM IR 코퍼스를 제공합니다.
4. 종합 평가: 구문적 정확성 (컴파일 성공) 과 기능적 동등성 (I/O 테스트 통과) 을 모두 측정하는 엄격한 평가 파이프라인.

결과

모델은 13B 에서 1,000B 파라미터에 이르는 최첨단 범용 및 코딩 LLM 들에 대해 두 가지 벤치마크인 ExeBench-IRIS(실제 세계 코드) 와 CodeForces-IRIS(경쟁적 프로그래밍) 에서 평가되었습니다.

• 성능: IRIS-14B 는 모든 베이스라인을 크게 능가했습니다.
  • CodeForces-IRIS에서 **73.24%**의 컴파일 성공률과 **63.26%**의 기능적 동등성 (I/O 통과율) 을 달성했습니다. 이는 가장 강력한 베이스라인 (gpt-oss-120b) 대비 최대 44 퍼센트 포인트의 개선입니다.
  • ExeBench-IRIS에서 **86.89%**의 컴파일률과 **79.06%**의 I/O 정확도를 기록하여 최상위 경쟁자보다 6 퍼센트 포인트 이상 앞섰습니다.
• 모델 크기 대 성능: 결과는 IR 데이터에 대한 짝지어진 태스크별 미세 조정이 모델 규모보다 더 중요함을 나타냅니다. 전문화된 14B 모델은 파라미터 수가 최대 두 자릿수 더 많은 범용 모델보다 우수한 성능을 발휘했습니다.
• 오류 분석: 모델은 고복잡도 코드 (50 줄 이상, 깊은 중첩) 와 struct 사용, 메모리 연산 (malloc/free), 배열 쓰기 등 특정 구조에서 가장 어려움을 겪습니다. struct 키워드의 존재는 실패율을 거의 35% 증가시켰습니다.
• 데이터 소스 영향: 경쟁적 프로그래밍 코드 (CodeForces-IRIS) 만으로 학습하는 것보다 다양하고 실제 세계의 코드 (TheStack-IRIS) 로 학습하는 결과가 훨씬 더 좋았으며, 이질적 데이터의 중요성을 강조합니다.

중요성 및 주장

본 논문은 IRIS-14B 가 컴파일러 상호운용성이라는 longstanding 문제를 해결하기 위해 LLM 을 사용하는 것의 타당성을 입증한다고 주장합니다.

• 개념 증명: 데이터 기반 방법이 규칙 기반 번역기의 한계를 극복하고 이질적인 IR 간 번역에서 높은 정확성을 달성할 수 있음을 입증합니다.
• 실용적 적용: 이 접근법은 Ada 의 Scalar_Storage_Order 또는 Modula-2 와 같은 레거시 또는 GCC 특정 코드를 LLVM 툴체인을 사용하여 컴파일할 수 있게 하여, 프론트엔드를 재구현하지 않고도 기능 격차를 효과적으로 해소합니다.
• 미래 역할: 저자들은 IRIS-14B 를 전통적 컴파일러의 대체물이 아닌 하이브리드 신경 - 심볼릭 아키텍처의 보완적 구성 요소로 위치시킵니다. 이 비전에서 결정론적 컴파일러 인프라는 표준 컴파일을 처리하는 반면, LLM 은 크로스 생태계 번역 및 최적화 교차 수분용 상호운용성 계층으로 작용합니다.
• 견고성: 모델은 컴파일러 버전 진화에 대한 회복력을 보입니다. 이전 IR 버전 (GCC 11/LLVM 14) 으로 학습된 모델이 새로운 버전 (GCC 15/LLVM 22) 에서 테스트되었을 때 여전히 효과적이었으며, 이는 핵심 IR 패턴이 데이터 기반 접근법에 충분히 안정적으로 유지됨을 시사합니다.