기술 요약: 코드 차이를 통한 델타 기반 신경 아키텍처 탐색

문제 정의

신경 아키텍처 탐색 (NAS) 은 심층 신경망의 설계를 자동화하는 것을 목표로 합니다. 최근 대규모 언어 모델 (LLM) 을 활용하여 실행 가능한 PyTorch 코드를 생성하는 접근 방식은 가능성을 보여주었으나, 전체 생성 패러다임이라는 치명적인 한계를 안고 있습니다. 기존 방법들은 모든 반복 단계에서 LLM 이 처음부터 완전한 모델 구현을 합성하도록 요구합니다. 이 방식은 계산 비용이 많이 들며, 방대한 출력 (일반적으로 200 줄 이상의 코드) 을 생성하고, 기존 작동 아키텍처에 내재된 구조적 지식을 활용하지 못합니다. 또한, 이전 LLM 기반 NAS 연구는 대부분 단일 데이터셋 평가 (예: CIFAR-10) 또는 제한된 다중 데이터셋 범위에 국한되어 일반화 능력 평가에 제약을 가했습니다.

방법론: 델타 코드 생성

저자들은 델타 코드 생성을 제안합니다. 이는 미세 조정된 LLM 이 전체 모델을 합성하는 대신 기존 베이스라인 아키텍처를 정제하기 위해 소형 **통합 차이 (delta)**를 생성하는 패러다임입니다. 이 접근 방식은 소프트웨어 공학에서 코드가 재작성되는 것이 아니라 패치를 통해 수정되는 관행에서 영감을 받았습니다.

핵심 파이프라인

이 프레임워크는 22 사이클의 반복 프로토콜을 통해 작동합니다:

1. 베이스라인 선택: 시스템은 LEMUR 데이터셋에서 베이스라인 아키텍처를 샘플링합니다. LEMUR 데이터셋은 여러 데이터셋에 걸친 성능 주석이 달린 신경망의 선별된 컬렉션입니다.
2. 델타 생성: LLM 은 베이스라인 소스 코드와 데이터셋 설명자를 수신합니다. 전체 파일을 출력하는 대신, 구조화된 XML 출력을 생성합니다:
   • <delta>: 표준 패치 형식 (컨텍스트 줄, 추가, 삭제) 의 통합 차이.
   • <hp> 및 <tr>: 하이퍼파라미터 및 데이터 변환을 위한 구조화된 태그 (NNGPT 규약 준수). 다만, 평가는 아키텍처 변경 사항을 격리하기 위해 베이스라인의 원래 하이퍼파라미터를 사용합니다.
3. 적용 및 검증: 생성된 차이는 표준 패치 유틸리티를 사용하여 베이스라인 코드에 적용됩니다. 성공적인 패치는 구문 검증, 인스턴스화 확인, 단일 에포크 훈련을 거칩니다.
4. 필터링: 구조적 다양성과 품질을 유지하기 위해 승인된 아키텍처는 두 가지 필터를 통과해야 합니다:
   • 정확도 필터: 모델은 한 에포크 후 최소 **40%**의 top-1 검증 정확도를 달성해야 합니다.
   • 신규성 필터: MinHash-Jaccard 유사도를 사용하여 생성된 코드는 기존 코퍼스와의 구조적 비유사성이 최소 90% ($\tau_{nov} = 0.90$) 이어야 모드 붕괴를 방지합니다.
5. 미세 조정: LLM 은 정적이며 선별된 LEMUR 코퍼스에서 LoRA(Low-Rank Adaptation) 를 통해 반복적으로 미세 조정됩니다. 중요한 점은 LoRA 의 훈련 데이터는 고정된다는 것입니다. 생성된 아키텍처의 확장된 풀은 LLM 자체의 훈련 데이터가 아니라 향후 델타 생성을 위한 다양한 베이스라인 세트로만 활용됩니다.

실험 설정

본 연구는 여섯 가지 다양한 이미지 분류 데이터셋(CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA) 에서 세 가지 7B 급 LLM 을 평가합니다:

• DeepSeek-Coder-7B-Instruct-v1.5(코드 특화)
• Qwen2.5-Coder-7B-Instruct(코드 특화)
• Mistral-7B-Instruct-v0.3(일반 지시, 비코드 특화)

모든 모델은 사이클당 50 개의 후보를 사용하여 22 번의 미세 조정 사이클을 거칩니다 (LLM 당 총 1,100 개의 후보). 성능은 이전 LLM 기반 NAS 문헌과 일관되게 첫 번째 에포크 검증 정확도를 대리 지표로 사용하여 측정됩니다.

주요 결과

1. 효율성 및 출력 길이

델타 패러다임은 토큰 소비를 대폭 줄입니다. 세 가지 LLM 모두에서 출력 길이는 균일하게 소형화됩니다:

• DeepSeek: 30.4 줄 (전체 생성 대비 85% 감소)
• Qwen: 31.4 줄 (84% 감소)
• Mistral: 49.5 줄 (75% 감소)
  이는 전체 생성 베이스라인의 전형적인 200 줄 이상과 비교하여 **7585% 감소**를 의미하며, 출력 토큰에서 약 5.4 배의 집계 절감을 실현합니다.

2. 생성 신뢰도 및 정확도

균형 잡힌 6 개 데이터셋 베이스라인 풀을 공유하는 클러스터 프로토콜 하에서, 세 가지 LLM 모두 전체 생성 베이스라인 (Khalid et al. [24]) 과 반복적 고정 LLM 접근법 (Gu et al. [13]) 보다 현저히 우수한 성과를 거둡니다:

• 유효 생성률: DeepSeek(75.3%), Qwen(72.1%), Mistral(66.6%) 대 전체 생성 (50.6%).
• 평균 첫 번째 에포크 정확도: DeepSeek(65.8%), Qwen(64.6%), Mistral(66.1%) 대 전체 생성 (42.3%).
• 최고 첫 번째 에포크 정확도 (CIFAR-10): Mistral(85.5%), DeepSeek(85.2%), Qwen(80.6%) 대 전체 생성 (63.98%) 및 Gu et al.(71.5%).

3. 다중 데이터셋 일반화

CIFAR-10 또는 세 가지 데이터셋으로 제한된 이전 연구와 달리, 델타 접근 방식은 까다로운 세밀 분류 (CIFAR-100) 및 얼굴 속성 (CelebA) 을 포함한 모든 여섯 가지 데이터셋에서 성공적으로 일반화됩니다. 세 가지 LLM 모두 MNIST 에서 **99.5%**의 최고 첫 번째 에포크 정확도와 SVHN 에서 **약 95%**의 정확도를 달성했습니다.

4. 모델 중립성

성능 향상은 특정 LLM 선택이 아닌 **패러다임 (델타 생성)**에 의해 주도됩니다. 사전 학습 (코드 특화 대 일반 지시) 의 차이에도 불구하고, 세 모델은 모든 주요 지표에서 밀집하게 군집화되며 신뢰 구간이 겹칩니다. 약간 더 긴 차이를 생성하는 범용 Mistral-7B 조차도 최고 CIFAR-10 정확도 (85.5%) 를 달성합니다.

중요성 및 주장

본 논문은 델타 기반 신경 아키텍처 탐색을 전체 모델 합성에 대한 토큰 효율적, 다중 도메인, LLM 중립적 대안으로 위치시킵니다. 저자들은 연구의 중요성과 관련하여 세 가지 주요 주장을 합니다:

1. 모델보다 패러다임: 전체 파일 생성에서 차이 기반 생성으로의 전환이 성능 향상의 주요 동인입니다. 이는 동일한 기본 LLM(DeepSeek-Coder-7B) 과 동일한 반복 프로토콜에 대해 출력 형식을 대체했을 때, 유효 생성률이 전체 생성 베이스라인의 신뢰 구간 밖으로 이동한다는 사실로 입증됩니다.
2. 디자인 차원으로서의 교차 데이터셋 커버리지: 차이를 기반으로 작동함으로써 파이프라인은 베이스라인의 작동하는 데이터셋별 발판을 보존하여, 도메인별로 LLM 을 재학습하지 않고도 여섯 가지 다양한 데이터셋으로의 일반화를 가능하게 합니다. 이는 거의 전적으로 CIFAR-10 에서 평가된 이전 연구와 대조됩니다.
3. 점근적 효율성: 75~85% 의 출력 길이 감소는 반복을 통해 누적되어, LLM 추론이 지배적인 비용인 소비자 GPU 에서의 로컬 배포를 훨씬 더 실현 가능하게 만듭니다.

저자들은 모든 정확도 주장이 첫 번째 에포크 검증 대리 지표에 의존한다고 명시하며, 이는 상위 20 개 아키텍처에 대한 50 에포크 전체 훈련 연구를 통해 검증되었습니다. 이 연구는 1 에포크 대리 지표가 성능 순위를 신뢰할 수 있게 유지함을 확인합니다 (Mistral 의 경우 Spearman $\rho = 0.926$), 이를 문헌에 보고된 NAS 대리 지표 상관관계의 상단에 위치시킵니다.

이 연구는 차이 형식이 고유한 "컨텍스트 불일치" 실패 모드를 도입하지만, 효율성, 구조적 무결성, 다중 도메인 일반화에서의 전반적인 이점이 델타 기반 생성을 LLM 주도 NAS 의 견고한 진보로 확립한다고 결론지었습니다.