💻 computer science

Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU

이 논문은 본래 합성곱 신경망에서 검증된 GaaR 진화적 아키텍처 탐색 프레임워크가 DirectML을 통해 소비자용 AMD GPU 상의 자기회귀 트랜스포머 언어 모델로 성공적으로 전이됨을 입증하며, 이를 통해 경쟁력 있는 성능을 달성하고 규제된 착취(regulated exploitation)가 구조화된 지형에서 무작위 탐색보다 우수하며 고정된 단계 예산 하에서는 넓고 얕은 아키텍처를 선호한다는 점을 밝혀낸다.

원저자: Leon Sandler

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Leon Sandler

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 말하기, 그리기, 또는 퍼즐 풀기를 가르치려 한다고 상상해 보세요. 이를 위해 당신은 로봇을 위한 '두뇌'를 만들어야 하는데, 과학자들은 이를 신경망(neural network)이라고 부릅니다. 하지만 까다로운 점은, 그 두의 크기가 정확히 얼마여야 하는지, 몇 개의 층(layer)이 필요한지, 혹은 설정을 어떻게 조절해야 하는지 알 수 없다는 것입니다. 여기서 **신경 구조 탐색(Neural Architecture Search, NAS)**이 등장합니다. NAS를 다양한 두뇌 설계를 시도하여 어떤 것이 가장 잘 작동하는지 확인하는, 매우 체계적이고 지칠 줄 모르는 로봇 건축가라고 생각하면 됩니다.

보통 이 작업은 특정 회사의 강력한 칩인 NVIDIA의 그래픽 카드로 채워진, 거대하고 비싼 데이터 센터에서 수행됩니다. 이는 수천 달러의 전기와 시간이 소요되는 일입니다. 마치 거대한 크레인 함대를 사용하여 마천루를 짓는 것과 같습니다. 하지만 만약 여러분이 이미 소유하고 있는 일반적인 노트북이나 게이밍 컴퓨터로 이 일을 할 수 있다면 어떨까요? 이것이 바로 이 논문이 다루는 핵심 질문입니다. 우리는 왜 굳이 저 비싸고 화려한 데이터 센터를 필요로 하지 않고, 다른 회사의 일반적이고 저렴한 AMD 그래픽 카드를 사용하여 완벽한 AI 두뇌 설계를 찾아낼 수 있을까요? 이 질문에 대한 답은 중요한 의미를 갖습니다. 학생부터 작은 예산을 가진 연구자까지, 누구나 큰 비용을 들이지 않고도 AI 설계를 실험할 수 있게 해줄 수 있기 때문입니다.

경제적인 AI 건축가의 이야기

GaaR(Goal-Aware Adaptive Regulation)을 만나보세요. GaaR을 당신의 컴퓨터 안에 살고 있는 영리하고 단일 파일로 구성된 로봇 건축가라고 생각해보세요. 이전의 모험에서, 이 로봇은 일반 소비자용 AMD 그래픽 카드만을 사용하여 시각 시스템(이미지를 '보는' 두뇌)을 성공적으로 설계했습니다. 이 로봇은 45분 만에 이미지를 인식하는 데 94.36%의 정확도를 가진 설계를 찾아냈으며, 모든 단계를 단순한 로컬 데이터베이스에 기록했습니다.

이제 저자인 레온 샌들러(Leon Sandler)는 다음과 같이 묻습니다. "이 똑똑한 로봇 건축가가 완전히 다른 작업도 처리할 수 있을까?" AI에게 '보는 것'(이전의 이미지 작업처럼)을 가르치는 대신, AI에게 '말하는 법'을 가르칠 수 있을까요? 이 새로운 작업에는 챗봇과 텍스트 생성기를 구동하는 기술인 **트랜스포머 언어 모델(Transformer Language Models)**이 포함됩니다. 이들은 이미지를 식별하는 것보다 문장에서 다음 단어를 예측하는 방식으로 작동하므로, 이미지 두뇌와는 매우 다릅니다.

실험: 아주 작은 셰익스피어 연극

이를 테스트하기 위해 연구자는 동일한 오래된 AMD 그래픽 카드(8GB 메모리를 가진 RX 5700)에서 경주를 설정했습니다. 이 카드는 대부분의 AI 도구가 사용하는 일반적인 "CUDA" 소프트웨어와 잘 맞지 않으며, DirectML이라는 다른 경로를 사용해야 합니다. 로봇 건축가는 거대한 데이터 도구들의 도움 없이 이 경로를 헤쳐 나가야 했습니다.

과제는 간단하지만 엄격했습니다:

목표: AI가 셰익스피어 전집(특히 "Tiny Shakespeare" 버전)의 텍스트에서 다음 글자를 예측하도록 가르치는 것입니다.
규칙: 로봇은 각 설계에 대해 학습 단계를 정확히 300단계로 제한하여 매우 짧은 시간 동안만 시도할 수 있었습니다. 무한정 실행할 수 없었기에, 매우 효율적이어야 했습니다.
변수: 로봇은 AI의 두뇌에 대해 여섯 가지 요소를 조정할 수 있었습니다: 너비(width), '헤드'(attention mechanism)의 개수, 깊이(depth), 한 번에 기억할 수 있는 텍ual 양(context), 한 번에 보는 예시의 수, 그리고 학습 속도입니다.

결과: 속도 대 크기

로봇은 8세대의 설계를 거치며 작업을 수행했습니다. 실제 시간으로 단 3분 16초 만에, 로봇은 우승 설계안을 찾아냈습니다.

우승자: 가장 좋은 설계는 0.8백만 개의 파라미터(두뇌 크기의 척도)를 가졌습니다.
점수: 이 설계는 AI의 '혼란'(검증 손실, validation loss)을 2.171에서 2.021로 줄였습니다. 쉽게 말해, AI가 이야기의 다음 글자를 더 잘 맞히게 된 것입니다.
놀라운 점: 로봇은 가장 크고, 깊고, 복잡한 두뇌를 선택하지 않았습니다. 대신, 넓지만 얕은 두께와 짧은 기억력(context)을 가진 두뇌를 선택했습니다.

왜일까요? 바로 예산 효과(Budget Effect) 때문입니다. 모든 설계가 학습을 위해 단 300단계만을 가질 수 있었기 때문에, 그 단계들을 가장 빨리 처리할 수 있는 설계가 승리했습니다. 거대하고 깊은 두뇌는 학습 속도가 느립니다. 반면, 넓고 얕은 두뇌는 빠릅니다. 시간이라는 예산 안에서, 로봇은 "빠르고 단순한 것"이 "느리고 복잡한 것"을 이긴다는 것을 배웠습니다. 이는 모두가 정확히 100미터를 달려야 하는 경주와 같습니다. 아무리 힘이 세더라도 가장 빨리 달릴 수 있는 사람이 승리하는 것과 같습니다.

현실 점검: 로봇이 실제로 승리하는 시점은 언제인가?

여기 가장 정직한 부분이 있습니다. 연구자는 단순히 "로봇은 천재다!"라고 말하지 않았습니다. 그들은 로봇의 "탐욕적(greedy)" 전략(지금까지 가장 좋았던 것을 선택하고 이를 수정하는 방식)을 무작위로 추측하는 사람과 비교하여 10번의 경주를 진행했습니다.

결과: 단 8번의 시도(본 실험에서 사용된 작은 예산)만으로는, 로봇과 무작위 추측자는 동등한 성능을 보였습니다. 로봇은 무작위 추측자를 이기지 못했고, 둘은 동점을 기록했습니다.
교훈: 로봇의 "스마트한" 전략은 문제가 충분히 크거나 예산이 패턴을 볼 수 있을 만큼 길 때만 작동합니다. 아주 작고 매끄러운 환경에서 적은 횟수로 승부할 때는, 똑똑하게 행동하는 것이 큰 도움이 되지 않습니다.
증거: 로봇이 정말 똑똑할 수 있다는 것을 보여주기 위해, 연구자는 훨씬 더 크고 복잡한 문제(6,000개의 가능한 설계가 있는 물리 시뮬레이션)에서 테스트를 진행했습니다. 그곳에서 로봇은 **70%**의 확률로 완벽한 솔루션을 찾아낸 반면, 무작위 추측자는 **0%**의 확률을 기록했습니다.

이것이 당신에게 의미하는 바

이 논문은 교차 모달 NAS(서로 다른 유형의 AI에 동일한 검색 엔진을 사용하는 것)가 저렴한 소비자용 하드웨어에서도 작동한다는 것을 증명합니다. 이는 여러분이 슈퍼컴퓨터 없이도 표준 AMD 그래픽 카드로 텍스트 생성 AI를 몇 분 만에 설계할 수 있음을 보여줍니다.

하지만 또한 명확한 경계선도 설정합니다. 만약 설계를 테스트할 시간이나 돈이 아주 적다면, "스마트한" 검색 전략이 그냥 무작위로 추측하는 것보다 나을 수 없습니다. 전략이 마법을 발휘할 수 있도록 충분한 여유를 주어야 합니다.

저자는 누구나 이 실험을 재현할 수 있도록 모든 코드, 로그, 그리고 데이터베이스를 공유했습니다. 메시지는 분명합니다. AI 연구는 비싼 문 뒤에 갇혀 있을 필요가 없습니다. 적절한 도구만 있다면, 소비자용 컴퓨터도 더 똑똑하고 효율적인 AI 두뇌를 만드는 강력한 실험실이 될 수 있습니다.

기술 요약: 모달리티를 가로지르는 목표 인식 적응형 조절 (Goal-Aware Adaptive Regulation)

문제 정의
신경 구조 탐색(Neural Architecture Search, NAS)은 전통적으로 수천 GPU-일(GPU-days)의 연산량과 특정 NVIDIA/CUDA 하드웨어를 요구하는 데이터 센터 워크로드에 의해 지배되어 왔습니다. 이러한 의존성은 그러한 인프라에 접근할 수 없는 연구자들을 배제하며, 공식적인 ROCm이나 CUDA 지원이 부족한 Windows 기반의 AMD GPU와 같은 광범앙한 소비자용 하드웨어 기반을 간과합니다. 이전 연구들이 컴퓨터 비전(CNN) 분야에서 진화적 탐색이 소비자용 하드웨어에서 실행될 수 있음을 입증했으나, 이 가볍고 목표 인식적인 엔진이 아키텍처, 손실 표면(loss surfaces), 하드웨어 압박 지점이 크게 다른 자기회귀 트랜스포머(Autoregressive Transformer) 언어 모델이라는 별개의 모달리티로 전이될 수 있는지는 아직 검증되지 않았습니다.

방법론
본 연구는 단일 소비자 기기에서 로컬 실행, 재개 가능성 및 감사 가능성을 위해 설계된 단일 파일 진화 탐색 엔진인 GaaR (Goal-Aware Adaptive Regulation) 프레임워크를 활용합니다. 방법론은 최소한의 구조적 변경만으로 이 엔진을 트랜스포머 언어 모델링으로 전이하는 과정을 포함합니다:

엔진 일관성: 핵심 GaaR 루프는 수정 없이 유지됩니다. 이는 "최적해 착취/변이 탐색(exploit-best/explore-mutation)" 전략에 따라 작동합니다. 즉, 가장 높은 점수를 받은 게놈을 부모로 읽어 들여, 제한된 변이를 적용하고, 후보 표현형(phenotype)을 인스턴스화하며, 고정된 예산 하에 훈련시킨 후 결과를 로컬 SQLite 데이터베이스에 기록합니다.
표현형 및 게놈: 표현형은 수정되지 않은, 처음부터 구현된 PyTorch 트랜스포머 구현체(train-llm-from-scratch 프로젝트 기반)입니다. 게놈은 임베딩 폭( $n\_embed$ ), 헤드 수( $n\_head$ ), 블록 수( $n\_blocks$ ), 컨텍스트 길이, 배치 크기, 학습률의 6개 유전자로 구성됩니다. 분할 가능성 수리 연산자(divisibility repair operator)는 $n\_embed$ 가 $n\_head$ 의 배수가 되도록 보장합니다.
하드웨어 및 이식성: 모든 실험은 Windows 10 환경에서 DirectML(via torch-directml)을 사용하는 단일 **AMD Radeon RX 5700 (8 GB)**에서 수행되었습니다. 이 장치는 CUDA 경로가 없으며 공식적인 ROCm 지원도 제공하지 않습니다. 설정은 fp32로 작동하며(혼합 정밀도는 사용 불가), 엔진 수정 없이 연산자 폴백(예: AdamW의 fused lerp가 CPU로 폴백되는 현상)을 처리합니다.
적합도 함수 (Fitness Function): 적합도는 캐릭터 수준의 Tiny Shakespeare 코퍼스(어휘 사전 크기 65)에 대해 정확히 300번의 AdamW 최적화 단계를 거친 후의 음의 검증 손실(negative validation loss)로 정의됩니다. 이 "고정 단계 예산"은 원래 GaaR 설계와 일치시키기 위해 선택되었으나, 논문에서는 이것이 처리량(throughput)에 미치는 영향에 대해 언급합니다.

주요 결과

탐색 궤적: 8세대에 걸친 예시적 탐색에서, 엔진은 시드 모델의 캐릭터 수준 검증 손실을 2.171(퍼플렉서티 8.8)에서 0.8M 파라미터 모델 기준 챔피언 모델의 2.021(퍼플렉서티 7.5)까지 개선했습니다. 전체 탐색은 3분 16초의 실제 시간(wall time) 내에 완료되었습니다.
처리량 및 예산 효과: 탐색 결과 "예산 효과"가 드러났는데, 고정 단계 제약이 암묵적으로 "넓고 얕으며 짧은 컨텍스트"를 가진 게놈을 선호한다는 점입니다. 이러한 아키텍처들은 더 높은 단계 처리량(깊은 모델의 6.1 steps/s 대비 최대 23.5 steps/s) 덕분에 고정된 300단계를 더 효과적인 학습으로 전환했습니다.
무작위 탐색 베이스라인: 8회의 평가 예산 동안 GaaR의 탐욕적 규칙(greedy rule)과 균등 무작위 탐색(uniform random search)을 비교한 제어된 10-시드 실험 결과, 통계적 동등성이 나타났습니다(평균 최적 검증 손실: GaaR 2.047 vs. 무작위 탐색 2.042; 각각 5승씩). 이는 이 특정 지형(landscape)과 매우 작은 예산 하에서는 탐욕적 규칙이 무작위 샘플링에 비해 측정 가능한 이점을 제공하지 않음을 나타냅니다.
구조화된 지형과의 대조: 반대로, 더 큰 규모의 구조화된 6,000개 구성의 물리 시뮬레이션 지형에서는 동일한 탐욕적 규칙이 무작위 탐색을 압도하여, 무작위 탐색이 0%의 성공률을 보인 것에 비해 70%의 반복 횟수에서 정확한 전역 최적해(global optimum)를 찾아냈습니다.

의의 및 주장
본 논문은 범용 하드웨어에서의 교차 모달리티 NAS가 재현 가능하고 에너지 효율적인 아키텍처 연구를 위한 실질적인 토대라고 주장합니다. 주요 기여는 다음과 같습니다:

모달리티 전이: 게놈 재정의만으로 GaaR 엔진이 CNN에서 트랜스포머로 전이될 수 있으며, 지원되지 않는 AMD GPU 상에서 DirectML을 통해 완전히 실행될 수 있음을 입증했습니다.
이식성 범위: 엔진 변경 없이 소비자용 AMD 하드웨어에서의 NAS 제약 조건(fp32 전용, 연산자 폴백 등)을 정의했습니다.
정직한 한계 설정: 탐욕적 착취 규칙의 한계를 명확히 규정하는 통제된 베이스라인을 제공했습니다. 저자들은 규제된 착취(regulated exploitation)가 더 크고 구조화된 지형이나 충분한 순차적 깊이가 있을 때는 보상을 주지만, 매끄러운 지형의 극도로 작은 예산에서는 무작위 탐색과 차별화되는 이점을 제공하지 않는다고 주장합니다.
재현성: 탐색 과정의 정확한 재현을 가능하게 하기 위해 코드, 생성 로그 및 구성 파일을 모두 공개했습니다.

저자들은 결과로 나온 언어 모델의 절대적 품질(퍼플렉서티 7.5)이 최첨단(SOTA) 모델과 경쟁할 수준은 아니지만, 본 실험이 **타당성(feasibility)과 전이 가능성(transferability)**을 성공적으로 입증했다는 점을 강조합니다. 이는 아키텍처 발견이 단일 소비자 기기에서 몇 분 만에 엔드 투 엔드로 수행될 수 있음을 증명함으로써, 데이터 센터 자원이 없는 연구자들에게 NAS에 대한 접근성을 민주화하는 데 기여합니다.