Generative AI for Systems: 소프트웨어부터 실리콘까지의 재발견과 설계 원칙

논문 요약 (한국어)

이 논문은 생성형 AI(GenAI) 가 컴퓨팅 스택 전반 (소프트웨어, 하드웨어 아키텍처, 칩 설계) 에 걸쳐 시스템 설계, 최적화, 구축 방식을 어떻게 재편하고 있는지 분석합니다. 저자들은 기존 연구들이 소프트웨어, 아키텍처, 칩 설계 커뮤니티 간에 단절되어 있다는 점을 지적하며, 스택의 각 계층을 개별적으로 분석하는 대신 교차 스택 (cross-stack) 관점에서 공통된 구조적 문제와 해결책을 도출했습니다.

1. 문제 정의 (Problem)

컴퓨팅 시스템 최적화에 머신러닝을 적용하는 연구는 급격히 증가하고 있으나 (2017~2025 년 간 20 배 이상 성장), 다음과 같은 근본적인 한계에 직면해 있습니다:

• 연구의 단절 (Fragmentation): 소프트웨어, 하드웨어 아키텍처, 칩 설계 (EDA) 커뮤니티가 서로 다른 언어와 도구로 연구하여 기술 이전이 어렵고, 공통된 한계를 파악하지 못함.
• 확장성 한계: 시스템이 복잡해짐에 따라 기존 휴리스틱과 수동 최적화는 더 이상 확장 불가능해짐.
• 검증 및 일반화 부재: 학습된 모델이 새로운 아키텍처나 워크로드에서 일반화되지 못하며, 형식적 검증 기법이 적용하기 어려워 신뢰성 확보가 어려움.
• 피드백 루프의 비효율성: 생성 속도는 빠르지만 평가 (시뮬레이션, 테스트) 속도가 느려 학습 루프가 막히는 현상이 전 계층에서 발생.

2. 방법론 (Methodology)

저자들은 다음과 같은 체계적인 분석 방식을 사용했습니다:

• 광범위한 문헌 조사: 2017 년부터 2025 년까지 arXiv 에 게재된 7,800 편 이상의 'AI for Systems' 관련 논문을 수집하고, 그중 275 편 이상의 핵심 논문을 심층 분석했습니다.
• 교차 스택 분석 (Cross-Stack Perspective): 소프트웨어 (코드 생성, 성능 최적화), 하드웨어 아키텍처 (성능 예측, 설계 공간 탐색), 칩 설계 (RTL 합성, 물리적 배치, 검증) 의 3 계층을 아우르며, 각 계층에서 반복적으로 나타나는 구조적 패턴을 식별했습니다.
• 도메인 중립적 접근: 특정 하위 도메인의 기술적 세부사항보다는, 모든 계층에서 공통적으로 발생하는 '문제 (Challenges)'와 '해결 원칙 (Principles)'에 초점을 맞춰 통합된 프레임워크를 구축했습니다.

3. 주요 기여 (Key Contributions)

A. 5 가지 반복적 도전 과제 (Recurring Challenges)

전 계층에서 공통적으로 발생하는 5 가지 구조적 문제를 정의했습니다:

1. 피드백 루프 위기 (Feedback Loop Crisis): 생성 속도는 빠르지만 평가 (시뮬레이션, 테스트) 는 느리고 비싸며 불완전함. (예: RTL 시뮬레이션, 커널 성능 측정)
2. 암묵적 지식 문제 (Tacit Knowledge Problem): 시스템 설계에 필요한 중요한 지식 (빌드 시스템 규칙, 성능 신화, 검증 폐쇄 프로세스 등) 이 문서화되지 않고 전문가의 머릿속이나 도구 기본값에 숨어 있어 학습이 어려움.
3. 신뢰 및 검증 (Trust and Validation): 생성된 결과의 정확성을 독립적으로 검증할 수 있는 인프라가 부족하여 배포가 지연됨.
4. 경계 간 공동 설계 (Co-Design Across Boundaries): 성능이 여러 계층 (예: 모델과 시스템 정책, 배치와 라우팅) 의 상호작용에 의존하는데, 기존 도구와 조직은 계층별로 분리되어 있어 최적화가 어려움.
5. 결정론에서 동적 시스템으로의 전환 (From Determinism to Dynamism): 정적 규칙에서 워크로드와 상황에 따라 적응하는 동적 정책으로의 전환이 일어나고 있으나, 예측 가능성과 디버깅이 어려워짐.

B. 5 가지 설계 원칙 (Design Principles)

위 문제들에 효과적으로 대응하기 위해 각 커뮤니티에서 독립적으로 등장한 5 가지 공통 해결 전략을 도출했습니다:

1. 하이브리드 접근법 수용 (Embrace Hybrid Approaches): 학습 모델을 기존 시스템 구조 (정적 분석, 형식적 검증, 분석적 경계) 와 결합하여 신뢰성과 효율성을 동시에 확보.
2. 지속적 피드백을 위한 설계 (Design for Continuous Feedback): 생성을 한 번에 끝내는 것이 아니라, 테스트, 프로파일링, 시뮬레이션을 루프에 포함시켜 저렴하고 구조화된 반복을 가능하게 함.
3. 역할에 따른 관심사 분리 (Separate Concerns by Role): 생성 (Generator) 과 검증 (Verifier) 역할을 분리하여 오류를 국소화하고 책임을 명확히 함.
4. 문제 구조에 맞는 방법 매칭 (Match Approach to Problem Structure): 문제의 구조 (검색 공간, 제약 조건, 관측 가능성) 에 따라 학습 방법 (지도 학습, 강화 학습, 휴리스틱 등) 을 선택.
5. 수십 년의 시스템 지식 기반 구축 (Build on Decades of Systems Knowledge): 기존 시스템의 추상화, 벤치마크, 불변량을 재사용하고 이를 학습에 확장함.

C. 도전 과제 - 원칙 매핑 (Challenge-Principle Map)

위 5 가지 도전 과제와 5 가지 원칙을 연결한 진단 및 설계 지도를 제시했습니다. 이는 특정 시스템이 현재 어떤 병목 현상 (예: 피드백 위기) 에 직면했는지 진단하고, 다른 계층에서 검증된 원칙을 적용하여 해결책을 모색할 수 있도록 돕습니다.

4. 결과 및 발견 (Results & Findings)

• 수렴 현상 (Convergence): 도메인과 도구의 다양성에도 불구하고, 시스템 최적화 분야에서 효과적인 해결책은 매우 제한적이며 공통적으로 수렴하고 있음.
• 성숙도 경로: 시스템은 보통 '피드백 루프 위기 (C1)'를 해결한 후 '신뢰 및 검증 (C3)' 문제로 이동하고, 최종적으로 '경계 간 공동 설계 (C4)' 문제를 해결하는 성숙도 경로를 따름.
• 현실적 배포: 현재 산업계 (Google, NVIDIA 등) 에서는 하이브리드 접근법 (학습 + 기존 도구) 과 역할 분리 (생성/검증) 를 통해 점진적으로 GenAI 를 도입하고 있음. 완전 자동화보다는 '보조 도구 (Copilot)' 또는 '검증된 파이프라인 내의 에이전트' 형태로 통합됨.
• 데이터 부족: 칩 설계 (RTL) 및 하드웨어 아키텍처 분야는 소프트웨어에 비해 공개 데이터가 극히 부족하여 (Verilog 레포지토리 비율 0.5% 미만) 학습 모델의 일반화 능력이 제한적임.

5. 의의 및 시사점 (Significance)

• 공통 언어와 방법론의 부재 해소: 각 커뮤니티가 고립되어 동일한 문제를 반복적으로 발견하는 것을 방지하고, 공유된 어휘와 교차 계층 벤치마크를 통해 연구 진전을 가속화할 수 있는 기반을 마련함.
• 체계적 엔지니어링의 필요성 강조: GenAI 를 시스템에 적용할 때 '임의의 구축 (Ad hoc construction)'이 아닌, 피드백 루프 설계, 검증 인프라, 역할 분리 등을 고려한 '체계적 엔지니어링 (Systematic Engineering)'이 필수적임을 주장.
• 미래 연구 방향 제시:
  • 교차 계층 평가: 한 계층의 개선이 최종 사용자 지표 (Time-to-train, Tail latency 등) 에 미치는 영향을 측정하는 통합 벤치마크 필요.
  • 검증 가능한 생성: 생성자와 검증자의 계층적 구조와 불확실성 정량화를 통한 신뢰성 확보.
  • 동적 환경 적응: 변화하는 워크로드와 하드웨어 환경에서도 일반화되고 안전하게 적응하는 시스템 설계.

이 논문은 생성형 AI 가 단순히 검색이나 합성을 개선하는 것을 넘어, 컴퓨팅 스틸 전반의 설계 루프를 적응적이고 정책 주도적으로 변화시키고 있음을 보여주며, 이를 신뢰할 수 있고 체계적으로 구현하기 위한 로드맵을 제시합니다.