기술 요약: LEMUR 2 – AI를 위한 신경망 다양성 확보

문제 정의

NAS-Bench 및 NATS-Bench와 같은 기존의 신경 구조 탐색(Neural Architecture Search, NAS) 벤치마크는 좁은 범위라는 한계를 지니고 있습니다. 이들은 일반적으로 특정 작업에 정의된 설계 공간(예: 이미지 분류를 위한 고정된 셀 기반 탐색 공간)만을 다루며, 교차 도메인 또는 배포 인지적 평가가 부족합니다. 또한, 이러한 저장소들은 건축적 명세로부터 디바이스 레벨 배포까지의 엔드 투 엔드 경로를 거의 제공하지 않으므로, 정확도-지연 시간(accuracy-latency) 트레이드오프를 연구하거나 다양한 모달리티에 걸쳐 모델을 재사용하는 것을 어렵게 만듭니다. 현재 분야에는 수동적인 직관을 넘어 구조적 규칙성과 일반화 가능한 설계 원칙을 데이터 기반으로 발견할 수 있도록 지원하는 대규모의 재사용 가능한 신경망 모델 컬렉션이 부족한 실정입니다.

방법론

LEMUR 2는 원래의 LEMUR 프레임워크를 생성적, 평가적, 배포 파이프라인을 통합하는 모듈형 확장 시스템으로 확장합니다. 이 방법론은 이질적인 생성 소스를 통합하고 14,000개 이상의 서로 다른 아키텍처를 체계적으로 평가할 수 있는 공유 보고 형식을 기반으로 구축되었습니다.

1. 생성 전략

아키텍처의 다양성을 달取得하기 위해, LEMUR 2는 단일 백본 패밀리를 넘어 여섯 가지의 뚜렷한 자동 생성 방법론을 채택합니다:

• AST 기반 변이(AST-Based Mutations): torch.fx를 기반으로 한 심볼릭 트레이서(symbolic tracer)가 기존 모델의 소스 코드를 수정하여, 텐서 형상 호환성을 유지하면서 합성곱 및 선형 레이어의 채널 차원을 변경합니다. 이를 통해 구조적으로 일관된 변형 모델들을 생성합니다.
• 강화 학습(Reinforcement Learning, RL): RL 파이프라인은 LLM을 정책(policy)으로 사용하여 "마스킹된" 모델 스켈레톤을 완성합니다. LLM은 누락된 레이어 인스턴스화를 위한 코드 완성(액션)을 생성합니다. 모델은 컴파일 및 포워드 패스를 통해 검증된 후, CIFAR-10에서 미니 에포크(mini-epoch) 동안 학습됩니다. 복합 보상(검증 성공 및 정확도 향상 기반)은 그룹 상대 정책 최적화(GRPO)를 사용하여 정책을 업데이트합니다.
• 유전 알고리즘(Genetic Algorithms): 유전 알고리즘은 CIFAR-10 상에서 AlexNet 스타일의 아키텍처를 진화시킵라. 이 알고리즘은 하이퍼파라미터(필터 수, 커널 크기)로 제한된 탐색 공간과, 블록 수준의 구조적 선택(풀링, 활성화, 배치 정규화)을 포함하는 탐색 공간 두 가지를 탐색합니다.
• 프랙탈 기반 생성(Fractal-Inspired Generation): 생성기는 프랙탈 깊이와 컬럼 너비에 의해 제어되는 자기 유사적이고 재귀적으로 정의된 멀티 컬럼 네트워크(FractalNet 스타일)를 구축하여, 깊이와 너비의 균형 잡힌 성장을 가능하게 합니다.
• 검색 증강 생성(Retrieval-Augmented Generation, NN-RAG): 이 시스템은 공개 코드베이스를 마이닝하여 독립적인 PyTorch 모듈(torch.nn.Module 서브클래스)을 추출합니다. LibCST를 사용하여 파싱하고 범위 민감형 의존성 해결사(scope-sensitive dependency resolver)를 사용하여 900개 이상의 재사용 가능한 검증된 컴포넌트 라이브러리(예: timm, torchvision, transformers 등에서 추출)를 생성합니다.
• 퓨샷 프롬프팅(Few-Shot Prompting): LLM에 고성능 아키텍처의 작은 세트를 예시로 제공하여, LEMUR 인터페이스와 일치하는 새로운 모델을 생성하도록 유도합니다. 생성된 아키텍처는 MD5 해싱을 통해 정규화 및 중복 제거 과정을 거친 후 학습됩니다.

2. 태스크 확장

본 프레임워크는 표준 이미지 분류를 넘어 멀티모달 태스크를 지원합니다:

• 이미지 캡셔닝(Image Captioning): 자동화된 파이프라인(NN-Caption)이 인코더-디코더 아키텍처(CNN과 LSTM, GRU 또는 Transformer의 결로)를 생성하고 MS COCO 데이터셋에서 학습시킵니다.
• 텍스트-이미지 생성(Text-to-Image): 통합 프레임워크는 자연어에 조건화된 확산 모델(Diffusion Models, UNet-D), GAN, 그리고 CVAE-GAN을 학습시키며, CLIP 기반의 텍스트-이미지 유사도로 평가합니다.
• 텍스트-텍스트(Text-to-Text): 순환 언어 모델(RNN 및 LSTM)이 WikiText 상에서 퍼플렉서티(perplexity)와 BLEU 메트릭을 통해 학습 및 평가됩니다.
• 전문가 혼합(Mixture-of-Experts, MoE): 전문가 구성 및 라우팅 전략을 연구하기 위해 CIFAR-10 상에서 동종(homogeneous) 및 이종(heterogeneous) MoE 아키텍처를 구축하고 평가합니다.

3. 배포 및 벤치마킹

LEMUR 2는 두 가지 자동화된 파이프라인을 통해 이론적 지표와 실제 성능 사이의 간극을 메웁니다:

• NN-Lite: PyTorch 모델을 안드로이드 디바이스에 배포하기 위한 자동화 파이프라인입니다. 이는 모델을 TensorFlow Lite로 변환하고(NCHW에서 NHWC 레이아웃 차이 처리), 안드로이드 가상 디바이스(AVD)를 관리하며, 추론을 실행하고, 지연 시간 및 리소스 메트릭을 수집합니다.
• NN-VR: Unity 기반 가상 현실 환경에서 Barracuda 추론 엔진을 사용하여 모델을 검증하고 배포하는 시스템입니다. 이는 GPU 메모리를 프로파일링하고, 연산자 커버리지를 확인하며, 90 Hz(11 ms/frame) 예산 대비 추론 지연 시간을 측정합니다.

주요 기여

1. 대규모 데이터셋: 14,000개 이상의 독특한 아키텍처와 750,000개 이상의 구조화된 학습 기록을 포함하는 데이터셋을 공개합니다. 이 기록들은 여러 데이터셋과 태스크에 걸친 모델 성능, 하이퍼파라미터 및 태스크 결과를 문서화합니다.
2. 다양한 생성 프레임워크: 프로그램 방식의 편집, 진화적 탐색, 프랙탈 구축, 그리고 LLM 기반 합성(NN-RAG 포함)을 결합하여 이질적인 모델 코퍼스를 생성하는 통합 프레임워크를 도입합니다.
3. 배포 인지 메타데이터: NN-Lite를 통해 안드로이드 상의 7,500개 이상의 모델, NN-VR을 통해 VR 컨텍스트 상의 10,000개 이상의 모델에 대한 실제 디바이스 성능 메타데이터(지연 시간, 메모리 사용량)를 제공합니다.
4. 교차 도메인 분석: 이미지 캡셔닝, 텍스트-이미지 생성, 언어 모델링과 같은 멀티모달 태스크를 지원하여 도메인 간 아키텍처 전이 가능성을 연구할 수 있게 합니다.
5. 데이터 변환 파이프라인: 최적의 전처리를 가이드하기 위해 6,000개의 데이터 증강 파이프라인을 체계적으로 생성하고 평가합니다.

결과

제한된 학습 예산 하에서, 논문은 다음과 같은 정량적 조사 결과를 보고합니다:

• 생성 성능: 최적화 유도형 생성기(유전 알고리즘, 프랙탈 네트워크)가 가장 일관되고 높은 성능의 이미지 분류 결과를 생성했습니다. 예를 들어, 프랙탈 네트워크는 CIFAR-10에서 0.8018의 최고 정확도를 달성한 반면, 유전 알고리즘은 0.8004에 도달했습니다.
• LLM 및 RL 성능: LLM 기반 퓨샷 프롬프팅과 강화 학습은 더 높은 분산을 보였습니다. 최고의 퓨샷 모델은 CIFAR-10에서 0.3874의 정확도를 기록한 반면, RL 기반 접근 방식은 0.6799에 도달했습니다.
• MoE 성공 사례: 튜닝된 동종 MoE는 해당 카테고리에서 가장 높은 정확도(93.9%, CIF-10 기준)를 달성하여, 개별적으로 학습된 모든 백본을 능가했습니다.
• 태스크별 결과:
  • 이미지 캡셔닝: 최상의 생성 변형(ResNet-50 + Transformer)은 0.317의 BLEU-4 점수를 달성했습니다.
  • 텍스트-이미지 생성: CLIP 인코딩을 사용하는 CVAE-GAN은 피크 CLIP 점수 0.2751을 달성했습니다.
  • 데이터 증강: 증강 파이프라인의 조합 탐색 결과, RandomPosterize를 사용하는 설정이 LLM 생성 파이프라인보다 우수함을 확인했으며, CIFAR-10에서 **61.24%**의 정확도에 도달했습니다.
• 배포: NN-Lite 파이프라인은 7,500개 이상의 모델을 성공적으로 처리했으며, NN-VR은 10,000개 이상의 모델을 검증하였고, VR 애플리케이션을 위한 프레임 타임 준수율 95%를 기록했습니다.

의의 및 주장

본 논문은 LEMUR 2를 재현 가능하고 데이터 중심적인 AI 설계를 위한 기초 자원으로 포지셔닝합니다. 그 주요 의의는 다음과 같습니다:

• 다양성 확보: 전통적인 NAS 벤치마크의 "방법론적 균질성"을 가진 컬렉션을 넘어, 다양한 아키텍처 기원과 모달리티를 아우르는 코퍼스를 제공합니다.
• LLM 기반 AutoML: 다양한 아키텍처 기원과 대규모 경험적 검증을 결합하여, LLM 기반의 아키텍처 생성 및 일반화라는 새로운 패러다임을 지원하는 토대를 마련합니다.
• 실용적 관련성: 아키텍처 데이터와 실제 디바이스 배포 메트릭을 연결함으로써, 본 프레임워크는 정확도-지연 시간 트레이드오프 연구를 가능하게 하고 엣지 및 몰입형 컴퓨팅에 적합한 차세대 아키텍처 개발을 지원합니다.
• 신경 구조 마이닝: 이질적인 소스 코드로부터 의존성이 닫힌(dependency-closed) 신경 프리미티브를 추출하여, 자동화된 ML 워크플로우를 위한 표준화되고 실행 가능한 기질(substrate)로 만드는 과정을 공식화합니다.

저자들은 현재 최적화 기반 생성기가 가장 강력한 결과를 내고 있지만, 본 프레임워크의 진정한 가치는 아키텍처 설계 공간을 체계적으로 탐색하고 미래의 자동화된 모델 발견을 위한 데이터 인프라를 제공하는 능력에 있다고 언급합니다.