기술 요약: 반자동 설계 지식을 활용한 오픈엔디드 NAS 구조화

문제 제기

현재의 신경 아키텍처 탐색 (NAS) 방법들은 탐색 공간의 유연성과 탐색 효율성 사이에서 근본적인 트레이드오프에 직면해 있습니다. 전통적인 NAS 접근법은 3x3 합성곱과 같은 고정된 연산자의 조합과 같은 폐쇄적이고 사전 정의된 탐색 공간에 의존하여 새로운 아키텍처의 발견을 제한합니다. 반면, 최근의 대규모 언어 모델 (LLM) 지원 NAS 방법은 직접 모델 소스 코드를 생성함으로써 새로운 블록과 위상을 만들 수 있는 "오픈엔디드" 탐색을 가능하게 합니다. 그러나 이러한 오픈엔디드 접근법은 종종 비효율적인 탐색으로 고통받습니다. 이들은 LLM 사전 지식이나 원시 논문 마이닝에서 파생된 비구조화된 지식 풀에 자주 의존하여 다음과 같은 문제점을 초래합니다:

1. 편향되고 저품질의 아이디어: 탐색 공간이 시각 백본에 적용되지 않는 과도하게 도메인 특화적, 작업 특화적, 또는 관련 없는 설계 개념 (예: 손실 함수 설계 또는 3D 포인트 클라우드 처리) 으로 오염될 수 있습니다.
2. 비효율적인 샘플링: 구조화된 조직이 없으면 설계 아이디어의 샘플링이 다양성을 결여하여, 컴팩트하면서도 고성능인 모델을 간과하거나 파레토 프런티어의 유망한 영역을 탐색하지 못하게 됩니다.
3. 하드웨어 제약 위반: 단순한 변이 전략은 종종 하드웨어 예산 (FLOPs, 파라미터 수) 을 초과하는 모델을 생성하여 즉시 폐기당하게 하고, 후보 다양성을 감소시킵니다.

방법론

저자들은 이러한 비효율성을 해결하기 위해 반자동 모델 설계 속성 구조화와 FairNAD 프레임워크라는 두 가지 접근법을 제안합니다.

1. 반자동 모델 설계 속성 구조화

고품질이고 다양한 설계 지식을 선별하기 위해, 저자들은 계층적 **모델 설계 속성 트리 ($D_{attr}$)**를 도입합니다.

• 구조: 트리는 세분성 (Granularity) (연산, 블록/연결성, 네트워크), 주요 카테고리 (예: 특징 추출, 정규화), 하위 카테고리 (예: 그룹 합성곱, 레이어 정규화) 의 세 수준으로 조직화됩니다.
• 구축: 상위 두 수준은 광범위한 커버리지를 보장하기 위해 전문가들이 사전 정의합니다. 하위 속성은 참조 최신 (SOTA) 모델 코드 (예: ResNet, ViT, EfficientNet) 와 사전 정의된 속성 템플릿으로 LLM 을 프롬핑팅하여 반자동으로 생성됩니다.
• 지식 추출: 이 구조화된 트리는 학술 논문에서 설계 아이디어를 필터링하고 추출하는 데 사용됩니다. 논문은 먼저 속성 트리와 일치하는지 확인하기 위해 스크리닝됩니다. 유효한 논문은 정교한 아이디어를 추출하기 위해 처리되며, 해당 아이디어는 $D_{attr}$의 해당 속성으로 태그됩니다. 이 과정은 관련 없거나 과도하게 구체적인 지식을 필터링하여 선별된 **모델 설계 지식 데이터베이스 ($D_{kn}$)**를 생성합니다.

2. FairNAD 프레임워크

FairNAD 는 구조화된 지식 데이터베이스를 활용하여 효율적인 오픈엔디드 신경 아키텍처 설계 (NAD) 를 수행하는 진화적 탐색 프레임워크입니다. 이는 다중 유형 변이 전략과 피드백 루프를 사용합니다:

• 공정한 아이디어 샘플링을 통한 변이: 편향 없는 탐색을 보장하기 위해 아이디어는 속성 태그 (세분성, 주요 카테고리) 를 기반으로 $D_{kn}$에서 균일하게 샘플링됩니다. 이는 인기 있지만 잠재적으로 최적이 아닌 트렌드 (예: 과도한 어텐션 메커니즘) 에 탐색이 지배되는 것을 방지합니다. 세분성 태그는 변이 대상 (예: 연산 수정 대 네트워크 구조 수정) 을 결정합니다.
• 파레토 인식 변이: 컴팩트한 모델을 간과하는 문제를 해결하기 위해, 이 단계는 파레토 프런티어 (정확도와 하드웨어 제약 간의 균형) 에서 부모 모델을 샘플링합니다. 이는 이중 전략을 사용합니다:
  • 업스케일링: 하드웨어 예산 임계값 미만의 모델은 확장됩니다 (폭/깊이 증가).
  • 하이퍼파라미터 조정: 임계값 근처이거나 초과하는 모델은 하이퍼파라미터 튜닝 (예: 커널 크기, 스트라이드) 을 거칩니다.
• LLM 주도 반복 변이: 수렴을 가속화하기 위해, 프레임워크는 고성능 모델에 대한 반복적 정제를 수행합니다. LLM 은 성공적인 변이의 역사를 분석하고 유사한 속성 카테고리 내에서 새로운 아이디어를 생성하여 유망한 후보를 더 최적화합니다.
• 피드백 루프: 다양성과 유효성을 유지하기 위한 핵심 구성 요소입니다. 생성된 코드는 세 가지 검증 단계를 거칩니다:
  1. 실행 검증: 코드가 컴파일 가능하고 실행 가능한지 확인합니다. 오류가 발생하면 LLM 에 디버깅을 요청합니다.
  2. 예산 검증: FLOPs 와 파라미터 크기를 확인합니다. 제약이 위반되면 모델이 폐기되는 대신 자동으로 다운스케일링됩니다 (예: 깊이 또는 폭 감소).
  3. 구조 검증: 모델이 다층 구조이며 부모와 구조적으로 구별되는지 확인합니다.

주요 기여

1. 반자동 지식 구조화: 이 논문은 논문에서 비구조화된 설계 지식을 계층적 속성 트리로 조직화하는 방법을 소개합니다. 이를 통해 노이즈가 많고 도메인 특화적인 아이디어를 필터링하고 NAS 를 위한 다양하고 고품질의 지식 기반을 생성할 수 있습니다.
2. FairNAD 프레임워크: 다중 유형 변이 (공정한 아이디어 샘플링, 파레토 인식, LLM 주도 반복) 와 피드백 루프를 통합한 새로운 탐색 프레임워크입니다. 이 접근법은 하드웨어 제약을 존중하면서 탐색 (다양성) 과 활용 (성능) 사이의 균형을 맞춥니다.
3. 최첨단 성능: 이 방법은 표준 벤치마크에서 기존 수동 제작 및 LLM 기반 NAS 방법보다 상당한 개선을 보여줍니다.

실험 결과

저자들은 CIFAR-10, CIFAR-100, ImageNet16-120 데이터셋을 사용하여 NAS-Bench-201 벤치마크에서 FairNAD 를 평가했습니다. 탐색은 특정 파라미터 수 (1.5M) 와 FLOPs 제한으로 제한되었습니다.

• 성능 향상: 현재 최첨단 오픈엔디드 NAS 방법 (NADER) 과 비교하여 FairNAD 는 다음과 같은 테스트 정확도 개선을 달성했습니다:
  • CIFAR-10 에서 0.84%
  • CIFAR-100 에서 2.17%
  • ImageNet16-120 에서 2.35%
• 애블레이션 연구:
  • 구조화된 지식: (원시 논문 영감 또는 LLM 사전 지식 대비) 구조화된 영감을 사용하면 CIFAR-100 에서 테스트 정확도가 0.37 포인트 향상되었습니다.
  • 공정한 샘플링: 공정한 아이디어 샘플링을 구현하면 정확도가 1.81 포인트 향상되어 다양한 속성 탐색의 중요성을 강조합니다.
  • 다중 유형 변이: 파레토 인식 및 LLM 주도 반복 변이의 조합이 최상의 결과를 낳았습니다. 특히, LLM 주도 변이만으로는 해로운 것으로 나타났으며, 이는 파레토 샘플링이 제공하는 다양성이 필요함을 확인시켜 줍니다.
  • 피드백 루프: 예산 검증기를 제거하면 성능과 통과율이 크게 저하되어, 그렇지 않으면 폐기될 다양한 후보를 보존하는 데 있어 그 역할을 입증했습니다.

중요성과 주장

이 논문은 설계 지식의 구조화가 효율적인 탐색에 필수적임을 입증함으로써, 오픈엔디드 NAS 의 미래 연구에 중요한 토대를 마련했다고 주장합니다. 저자들은 단순히 LLM 의 "오픈엔디드" 능력에만 의존하는 것은 불충분하며, 탐색 과정은 선별된 계층적 지식에 의해 안내되고 다단계 변이 전략에 의해 균형을 이루어야 한다고 주장합니다.

발견된 아키텍처는 표준 NAS 에서 일반적으로 발견되지 않는 고유한 특성을 보입니다:

• 맞춤형 어텐션 메커니즘 (예: 평균 풀링과 최대 풀링을 모두 사용하는 DPCA).
• 동적 특징 공유 메커니즘 (예: FeaturePool).
• 비표준 채널 크기와 레이어 깊이 (예: 2 의 거듭제곱 대신 51, 102, 204 채널 사용).
• CNN 과 위치 인코딩 또는 특수 활성화 함수 (예: BandLimitedReLU) 를 결합한 하이브리드 접근법.

저자들은 이 작업을 수동 전문가 설계에 대한 의존성을 줄이고, 구조화되고 체계적인 방식으로 외부 지식을 활용하여 더 강력하고 효율적이며 새로운 신경 아키텍처를 발견하기 위한 한 걸음으로 위치시킵니다. 그들은 탐색의 높은 계산 비용을 인정하지만, 기존 방법으로는 달성할 수 없는 성능 수준을 달성하기 위한 필수적인 투자로 규정합니다.