🤖 machine learning

LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models

LLMForge 는 무한 헤드 어텐션과 멀티 백엔드 비용 모델을 활용하여 특정 엣지 장치 제약 조건에 맞춘 최적화된 서브십억 파라미터 언어 모델을 자동으로 생성하는 하드웨어 인식 신경 아키텍처 탐색 프레임워크로, 기존 베이스라인 대비 에너지 효율성, 지연 시간 및 모델 정확도에서 상당한 개선을 달성합니다.

원저자: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

스마트폰이나 스마트워치에서 실행될 수 있는 완벽하고 작은 로봇 두뇌를 구축하려고 상상해 보세요. 언어를 이해할 만큼 똑똑하면서도, 배터리를 고갈시키거나 전화를 뜨겁게 만들지 않고 주머니에 들어갈 만큼 작아야 합니다.

문제는 이러한 두뇌를 위한 표준 "청사진"(트랜스포머라고 함) 이 거대한 슈퍼컴퓨터를 위해 설계되었다는 점입니다. 이를 엣지 장치를 위해 축소하려고 하면 종종 교통 체증에 걸리거나, 메모리가 부족해지거나, 에너지를 너무 많이 소비하게 됩니다.

LLMForge는 연구자들이 이를 해결하기 위해 만든 새로운 도구입니다. 이는 단순히 두뇌를 축소하는 것이 아니라, 두뇌가 거주할 장치의 특정 "지형"에 기반하여 청사진을 완전히 재설계하는 초지능적이고 하드웨어를 인지하는 건축가로 생각할 수 있습니다.

LLMForge 가 작동하는 방식을 세 가지 간단한 부분으로 나누어 설명합니다:

1. 무한 헤드 어텐션 (IHA): 규칙 깨기

전통적인 로봇 두뇌는 엄격한 규칙서를 따릅니다. "생각하는 헤드"(문장의 다른 부분을 살펴보는 프로세서) 의 수를 늘리려면 각 헤드를 더 작게 만들어야 합니다. 피자처럼 생각해보세요: 더 많은 조각으로 자르면 모든 조각이 작아집니다. 이는 두뇌가 얼마나 똑똑할 수 있는지를 제한합니다.

LLMForge 의 혁신: 그것은 엄격한 규칙서를 폐기합니다. 무한 헤드 어텐션을 통해 건축가는 두뇌의 각 레이어마다 조각의 수, 조각의 크기, 토핑의 종류를 독립적으로 변경할 수 있습니다.

비유: 보통 동일한 크기의 방을 지어야 하는 건설 팀을 상상해 보세요. LLMForge 는 그들에게 마법 도구를 제공하여 거대한 볼룸 옆에 작은 옷장을 짓고, 그다음 중간 크기의 사무실을 짓는 등 동일한 평면도 내에서 이를 가능하게 합니다. 이는 가능한 청사진의 수를 400 배 확장하여 특정 장치의 제약 조건에 완벽하게 들어맞는 형태를 찾을 수 있게 합니다.

2. 포지포머 (Forge-Former): 수정구슬

새로운 두뇌 청사진을 처음부터 구축하고 테스트하는 것은 비싸고 느립니다. 레시피가 작동하는지 확인하기 위해 케이크를 구운 다음 버리는 것과 같습니다. 수천 가지 레시피를 테스트해야 한다면 파산할 것입니다.

LLMForge 의 해결책: 그들은 수정구슬이라고 불리는 Forge-Former를 구축했습니다.

작동 방식: 모든 케이크를 구워보는 대신, 수정구슬은 레시피 (청사진) 를 보고 케이크가 얼마나 맛있을지 (모델이 얼마나 똑똑할지) 그리고 얼마나 많은 에너지를 사용할지 정확히 예측합니다.
결과: 이 수정구슬은 이전의 "추측" 도구들보다 훨씬 정확합니다. 이를 통해 시스템은 과거에 몇 가지를 테스트하는 데 걸렸던 시간 동안 수천 가지 설계를 테스트할 수 있어 막대한 시간과 에너지를 절약합니다.

3. 포지-DSE: 멀티툴 내비게이터

장치는 서로 다른 문제를 가지고 있습니다. 고성능 그래픽 카드 (GPU) 는 데이터 이동 속도에 의해 제한될 수 있는 반면, 스마트워치에 있는 작은 칩은 처리할 수 있는 열량에 의해 제한될 수 있습니다. 한 장치에 완벽한 설계가 다른 장치에는 끔찍할 수 있습니다.

LLMForge 의 접근 방식: Forge-DSE 엔진은 멀티툴을 갖춘 내비게이터처럼 작동합니다.

그것은 단순히 "가장 똑똑한" 모델을 찾는 것이 아니라, 똑똑함, 속도, 에너지 효율성 사이의 최상의 절충안 ("파레토 프론트") 을 찾습니다.
그것은 설계를 네 가지 다른 유형의 하드웨어(고속 GPU, 전용 칩, 링 모양 칩 등) 에 대해 테스트합니다.
결과: 시스템은 "한 사이즈가 모두에게 맞지 않는다"는 것을 깨닫습니다. 각 장치마다 서로 다른 고유한 청사진을 생산합니다.
- 속도 중심 장치의 경우, 넓고 얕은 두뇌를 구축합니다.
- 에너지 중심 장치의 경우, 깊고 좁은 두뇌를 구축합니다.

결과: 현실 세계의 승리

연구자들은 약 1 억 개와 3 억 개의 파라미터를 가진 두 가지 크기의 모델에서 이 시스템을 테스트하고, SmolLM2 와 Qwen 과 같은 기존 인기 모델들과 비교했습니다.

"정확도" 모델: 그들의 새로운 설계 중 하나는 파라미터가 더 적음(더 작음) 에도 불구하고 경쟁사보다 더 똑똑했습니다 (오류율이 낮음).
"에너지" 모델: 다른 설계는 생성된 단어당 40% 적은 에너지를 사용했습니다.
"속도" 모델: 세 번째 설계는 말하기 시작 (Time-to-First-Token) 과 문장을 완성하는 속도가 43% 더 빨랐습니다.

요약

LLMForge는 모든 장치에 "한 사이즈가 모두에게 맞는" 두뇌를 강요하는 것을 중단하는 시스템입니다. 대신 유연한 설계 언어, 빠른 예측 수정구슬, 그리고 지능형 내비게이터를 사용하여 각 특정 하드웨어에 맞는 맞춤형 두뇌를 설계합니다. 그 결과 주머니에 실제로 들어가는 더 작고, 빠르며, 에너지 효율이 높은 AI 가 탄생합니다.

기술 요약: LLMForge

문제 정의

수십억 파라미터 미만의 트랜스포머 언어 모델은 프라이버시, 지연 시간, 비용 이점을 활용하기 위해 점점 더 엣지 장치에 배포되고 있습니다. 그러나 장치 내 추론은 엄격한 메모리 대역폭, 에너지, 열 예산에 의해 제한됩니다. 기존 접근 방식은 종종 양자화, 가지치기 등의 사후 학습 압축에 의존하여 근본적인 아키텍처 자유도를 탐색하지 못합니다. furthermore, 현재 트랜스포머용 하드웨어 인식 신경 아키텍처 탐색 (NAS) 파이프라인은 다음과 같은 세 가지 한계를 겪고 있습니다:

제한된 탐색 공간: 어텐션 파라미터화는 종종 헤드당 차원을 고정하고 키/밸류 용량을 연결하여, 실현 가능한 모양 구성을 단일 헤드 수 선택으로 제한합니다.
평가 병목 현상: 처음부터 학습하여 후보를 평가하는 것은 계산 비용이 많이 듭니다.
거친 비용 모델링: 하드웨어 비용은 종종 단일 가속기 클래스나 거친 대리 지표 (예: 파라미터 수) 를 통해 모델링되어, 기판 의존적인 후보 재순위를 가립니다.

방법론

저자들은 LLMForge를 제시합니다. 이는 세 가지 구성 가능한 기여를 단일 NSGA-II 진화 검색 루프에 통합하는 하드웨어 인식 NAS 프레임워크입니다.

1. 무한 헤드 어텐션 (IHA)

IHA 는 어텐션 모양 파라미터 ( $n_h$ , $n_{kv}$ , $d_{qk}$ , $d_v$ ) 를 독립적인 레이어별 변수로 분리합니다. 표준 멀티헤드 어텐션 (MHA) 또는 그룹화 쿼리 어텐션 (GQA) 은 나누기 제약 ( $d_{model} = n_h \cdot d_h$ ) 과 Q/K–V 결합 ( $d_h = d_{qk} = d_v$ ) 을 강제하는 반면, IHA 는 이러한 제약을 완화합니다. IHA 는 GQA 그룹화 조건 ( $n_{kv} | n_h$ ) 만 유지합니다.

영향: 이는 정의된 검색 범위 내에서 GQA 하의 27 개 구성에서 IHA 하의 11,250 개 구성으로, 레이어별 어텐션 구성 공간을 약 400 배 확장합니다.

2. Forge-Former (정확도 대리 모델)

평가 병목 현상을 해결하기 위해 저자들은 Forge-Former를 도입합니다. 이는 트랜스포머 인코더 기반의 대리 모델입니다.

아키텍처: 이는 아키텍처를 레이어 토큰 시퀀스로 인코딩하며, 각 토큰은 레이어의 IHA 파라미터를 연결합니다. 스칼라 필드는 선형 레이어를 통해 승격되어 위치 임베딩과 합산됩니다. 사전 LN 트랜스포머 인코더는 피드포워드 서브레이어를 통한 레이어 내 상호작용과 셀프 어텐션을 통한 레이어 간 상호작용을 포착합니다.
성능: IHA 테스트 분할에서 Forge-Former 는 스피어만 $\rho = 0.75$ 및 켄달 $\tau = 0.58$ 을 달성하여 MLP 및 랜덤 포레스트 베이스라인보다 1.4 배에서 2.5 배 더 우수한 성능을 보입니다. 이는 처음부터 학습하는 비용의 일부로 NSGA-II 선택을 가능하게 합니다.

3. Forge-DSE (디자인 공간 탐색 엔진)

Forge-DSE는 Forge-Former 를 멀티 백엔드 하드웨어 비용 모델과 짝짓는 다목적 검색 엔진입니다.

검색 루프: 비우세 정렬 및 군집 거리 생존을 사용하는 NSGA-II 를 통해 IHA 파라미터화 아키텍처의 개체군을 진화시킵니다. 커스텀 돌연변이 연산자 (삭제, 복제, 회전, 수치적 교란) 와 실현 가능성 복구 단계를 사용합니다.
대리 모델 공진화: 프레임워크는 현재 개체군에서 정보 샘플을 재학습하고 경험 재생을 통해 대리 모델을 미세 조정하여 분포 변화를 보정함으로써 검색 중에 Forge-Former 를 선택적으로 정제합니다.
하드웨어 백엔드: 시스템은 세 가지 고유한 백엔드를 지원합니다:
1. 백엔드 A: ZEUS 를 사용하여 NVIDIA A100 GPU 에서 측정한 비용.
2. 백엔드 B: Timeloop 를 통한 분석적 비용 (시스틱 (Gemmini), 행 정지 (Eyeriss), 퓨즈드 어텐션 (FLAT) 데이터플로우).
3. 백엔드 C: 엣지 가속기를 위한 멀티 칩 링 데이터플로우 시뮬레이터 (rDXE) 로, 아키텍처 및 칩 공동 검색을 수행합니다.

주요 결과

대리 모델 검증

IHA 데이터셋에서 Forge-Former 는 순위 충실도 및 상위 X% 복구 측면에서 베이스라인을 크게 능가합니다. MLP 및 랜덤 포레스트 베이스라인 대비 상위 5% 아키텍처에 대한 평균 절대 오차 (MAE) 를 약 5 배 감소시킵니다. t-SNE 분석은 Forge-Former 임베딩이 성능 유사성을 더 잘 반영하여 고손실 꼬리를 단단하게 군집화함을 확인시켜 줍니다.

멀티 백엔드 검색 성능

네 가지 하드웨어 기판 (A100, Gemmini, Eyeriss, FLAT) 에서 검색은 각 기판의 특정 비용 병목 현상을 추적하는 고유한 파레토 프론트 아키텍처로 수렴합니다:

A100 (대역폭 풍부): 평평한 MLP 폭과 가장 넓은 어텐션 헤드로 이어집니다.
Eyeriss/Gemmini (KV 캐시 제한): $n_{kv}$ 를 공격적인 그룹화 쿼리 어텐션으로 축소하고 더 넓은 MLP 용량으로 보상합니다.
FLAT (유연함): 얕은 깊이와 좁은 헤드를 가진 가장 작은 모델을 생성합니다.
개선: SmolLM2-135M 베이스라인과 비교하여 검색은 검증 손실에서 5–7%, 토큰당 에너지에서 16–63%, 지연 시간 지표 (TTFT/TPOT) 에서 16–59% 의 감소를 가져옵니다.

rDXE 에 대한 확장 검증

저자들은 rDXE 멀티 칩 링 기판에서 아키텍처 및 칩 공동 검색을 수행하여, 선택된 후보를 FineWeb-Edu-10BT(131 억 토큰) 에서 SmolLM2 및 Qwen 베이스라인 대비 재학습했습니다:

정확도 변형 (3.47 억 파라미터): SmolLM2-3.6 억 및 Qwen-0.5B 보다 적은 파라미터로 가장 낮은 검증 손실 (2.798) 과 경쟁력 있는 벤치마크 성능을 달성했습니다.
에너지 변형 (2.94 억 파라미터): 토큰당 에너지를 40% 감소시켰습니다.
지연 시간 변형 (3.65 억 파라미터): 첫 번째 토큰 도달 시간 (TTFT) 및 출력 토큰당 시간 (TPOT) 을 43% 감소시켰습니다.

중요성 및 주장

이 논문은 LLMForge 가 단일 "최고" 아키텍처가 아닌 기판 조건부 파레토 프론트를 생성할 수 있음을 보여준다고 주장합니다. IHA 를 통해 어텐션 파라미터를 분리하고 고정밀 인코더 기반 대리 모델을 활용함으로써, 이 프레임워크는 특정 하드웨어 병목 현상에 맞추어 레이어별 폭 및 깊이 프로파일을 효과적으로 재구성합니다.

저자들은 LLMForge 를 배포 인식 아키텍처 및 칩 구성 쌍의 발견을 가능하게 하는 방법론적 기여로 위치시킵니다. 그들은 에너지 및 지연 시간 감소가 미미하지만, 주로 반복적인 엣지 추론의 운영 비용 및 탄소 프로파일에 혜택을 준다고 지적합니다. 이 작업은 대리 모델용 학습 코퍼스 생성의 계산 비용으로 인해 수십억 파라미터 미만 규모 ( $\le$ 5 억) 로 제한되며, 수십억 파라미터 모델로의 확장은 향후 단계로 식별되었습니다.