HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search

본 논문은 배포 가능하고 평생 학습이 가능한 AI 시스템 개발을 안내하기 위해 하드웨어 효율성, 견고성, 그리고 지속적 학습이라는 핵심 목표를 통합하는 신경망 구조 탐색을 위한 새로운 프레임워크이자 분류 체계인 HERCULES 를 소개합니다.

핵심

당신이 집을 짓는 임무를 맡은 건축가라고 상상해 보세요. 오랫동안 중요한 것은 집이 잘 보이게 만드는 것 (높은 정확도) 뿐이었습니다. 하지만 이러한 "집들"(AI 모델) 을 설계도에서 실제 세계로 옮기기 시작하자, 잘 보이는 것만으로는 부족하다는 것을 깨달았습니다.

HERCULES라는 제목의 이 논문은, 진정한 성공적인 AI 집을 짓기 위해서는 세 가지 어려운 목표를 동시에 균형 있게 달성해야 한다고 주장합니다.

1. 효율성: 집은 스마트워치나 센서와 같은 작고 배터리로 구동되는 장치에 들어갈 만큼 작아야 하며, 매우 적은 에너지를 사용해야 합니다.
2. 견고성: 집은 폭풍, 지진, 혹은 침입을 시도하는 사람 (적대적 공격 또는 하드웨어 노이즈) 에 맞서 견딜 만큼 튼튼해야 합니다.
3. 지속적 학습: 집은 시간이 지남에 따라 성장하고 변화할 수 있어야 합니다. 새로운 가족 구성원 (새로운 작업) 이 이사 오면, 집은 이전 방들을 무너뜨리지 않고 (이전 지식을 망각하지 않고) 그들을 수용할 수 있도록 확장되어야 합니다.

문제: "실리" 접근법

저자들은 현재의 AI 연구자들이 보통 이 세 가지 중 하나에만 초점을 맞춰 집을 짓고 있다고 지적합니다.

• 어떤 이들은 에너지 효율이 뛰어나지만 폭풍에 무너지는 작은 집을 짓습니다.
• 어떤 이들은 매우 튼튼하지만 이동하기엔 너무 무거운 요새 같은 집을 짓습니다.
• 어떤 이들은 새로운 방을 쉽게 추가할 수 있는 집을 짓지만, 너무 커서 배터리를 즉시 방전시킵니다.

이 논문은 실제 세계에서는 세 가지 모두를 동시에 수행하는 집이 필요하다고 주장합니다.

해결책: HERCULES 프레임워크

저자들은 HERCULES(Hardware-Efficient, Robust, and Continual LEarning Search, 하드웨어 효율적, 견고하며 지속적 학습 탐색) 라는 새로운 프레임워크를 제안합니다. 그들은 그리스 영웅 헤라클레스의 이름을 따서 명명했는데, 그 영웅처럼 이 임무는 "압도적인" 것이기 때문입니다.

HERCULES 를 정적인 설계도만 그리는 것이 아니라, 두 가지 특별한 기능을 갖춘 "살아있는" 집을 설계하는 마스터 건축가로 생각해보세요.

1. "스마트 스위치" (동적 적응성):
   스마트 조명 시스템이 있는 집을 상상해 보세요. 복도를 지나갈 때는 불이 어둡게 켜져 에너지를 절약하지만, 복잡한 요리를 할 때는 밝게 켜져 더 나은 결과를 위해 더 많은 전력을 사용합니다.

   • 논문에서: 이것은 동적 신경망이라고 불립니다. AI 는 쉬운 작업에는 "빠른 추측"을 선택하여 에너지를 절약하고, 어려운 작업에는 "깊은 탐구"를 선택하여 정확도를 보장할 수 있습니다. 또한 하드웨어가 오작동을 시작하면 내부 배선을 재라우팅할 수도 있습니다.

2. "모듈식 확장" (지속적 학습):
   마법 같은 기초를 가진 집을 상상해 보세요. 새로운 가족 구성원이 도착하면, 집은 기존 것을 허물지 않고 자연스럽게 새로운 날개를 추가할 수 있습니다.

   • 논문에서: 이것은 "파괴적 망각"을 해결합니다. AI 는 이전 기억을 덮어쓰는 대신 구조를 약간 확장하여 새로운 작업을 학습합니다.

HERCULES 의 "12 가지 노고"

헤라클레스가 12 가지 불가능한 과업을 수행해야 했듯이, 저자들은 이 완벽한 AI 를 구축하기 위해서는 12 가지 특정 과제(또는 "노고") 를 극복해야 한다고 말합니다. 일상적인 용어로 번역된 가장 중요한 것들 몇 가지를 소개합니다.

• 노고 1: 실제 세계 테스트 (하드웨어 - 소프트웨어 공동 설계).
  종이 위에서 필요한 벽돌 수만 계산하지 마세요. 집이 서 있을 실제 지형에서 집을 테스트해야 합니다. AI 설계는 그것이 실행될 칩의 특정 특징을 고려해야 합니다.
• 노고 2: 폭풍 테스트 (확장 가능한 견고성).
  집이 안전한지 확인하기 위해 허리케인을 기다릴 수는 없습니다. 설계 단계에서 폭풍을 빠르게 시뮬레이션하여 집이 무너지지 않도록 하는 방법이 필요합니다.
• 노고 3: 균형 잡기 (가소성 대 안정성).
  이것이 가장 어려운 부분입니다. 집이 새로운 방을 추가할 만큼 유연해야 하지만 (가소성), 새로운 방이 기초를 갈라놓지 않을 만큼 안정적이어야 합니다 (안정성). 프레임워크는 완벽한 균형을 찾아야 합니다.
• 노고 12: 장기적 관점 (수명 주기 지속 가능성).
  대부분의 AI 는 "배포 후 망각"입니다. HERCULES 는 묻습니다. "5 년 후 하드웨어가 노후화되거나 데이터가 변경되면 어떻게 됩니까?" 설계는 첫날뿐만 아니라 장기적으로 지속 가능해야 합니다.

왜 이것이 중요한가

이 논문은 효율성, 강도, 성장을 위한 별도의 도구에 더 이상 의존할 수 없다고 결론지었습니다. 우리는 통합된 접근법이 필요합니다.

HERCULES는 다음과 같은 AI 를 구축하기 위한 로드맵입니다.

• 스마트폰이나 센서에서 실행될 만큼 가벼운
• 나쁜 데이터나 하드웨어 오작동을 처리할 만큼 튼튼한
• 이전 것을 망각하지 않고 영원히 새로운 것을 학습할 만큼 적응 가능한

이것은 "정적인" AI 를 짓는 것을 멈추고, 거칠고 변화하며 자원을 많이 요구하는 실제 세계에서 생존할 수 있는 "살아있는" AI 를 짓기 시작하라는 호소입니다.

기술 요약

기술 요약: HERCULES – 하드웨어 효율적, 강건한, 지속 학습 신경 아키텍처 탐색

1. 문제 정의

신경 아키텍처 탐색 (NAS) 은 전통적으로 정확도와 하드웨어 효율성 (예: 지연 시간, 메모리, 에너지) 간의 균형을 최적화하는 데 중점을 두어 왔습니다. 그러나 AI 시스템이 정적 벤치마크에서 실제 배포로 전환됨에 따라, 이러한 이중적 초점은 더 이상 충분하지 않습니다. 현대 AI 응용 프로그램은 세 가지 직교적이면서도 상호 연결된 도전에 직면해 있습니다:

1. 효율성: 엣지 장치에서 에너지, 메모리, 연산과 같은 엄격한 자원 제약 내에서 작동해야 할 필요성.
2. 강건성: 적대적 교란, 하드웨어로 인한 노이즈 (예: 신종 메모리에서의 전도도 드리프트), 분포 변화 등을 포함한 환경적 변동성 하에서도 신뢰성을 유지해야 할 요구사항.
3. 지속 학습 (CL): 파국적 망각 없이 순차적 작업에 적응할 수 있는 능력으로, 새로운 지식을 학습하는 가소성과 기존 지식을 유지하는 안정성 사이의 균형을 맞추는 것.

현재 NAS 문헌은 주로 이러한 목표들을 고립적으로 다룹니다. 하드웨어 인식 NAS, 강건한 NAS, 또는 지속 학습 NAS 에 대한 조사는 존재하지만, 세 가지를 모두 동등하게 근본적인 것으로 취급하는 통합적 관점을 제공하는 연구는 없습니다. 또한, 기존 솔루션들은 종종 시간에 따라 변화하는 데이터 스트림과 하드웨어 열화에 적응해야 하는 실제 배포의 동적 특성을 고려하지 못합니다. 다루어지는 핵심 연구 질문은 다음과 같습니다: 엄격한 에너지 예산과 진화하는 작업 요구사항을 준수하면서 하드웨어 노이즈와 데이터 변화 하에서 성능 신뢰성을 유지하는 신경망 아키텍처의 설계를 자동화할 수 있는가?

2. 방법론 및 분류 체계

본 논문은 효율성, 강건성, 지속 학습이라는 "세 가지 렌즈"를 통해 NAS 접근법의 포괄적인 분류 체계를 제안합니다. 기존 방법들을 세 가지 주요 기둥으로 분류하고 그 교차점을 분석합니다:

A. 효율성 (하드웨어 인식 NAS)

이 조사는 자원 제약 환경에 최적화된 방법들을 검토하며, 다음과 같이 분류됩니다:

• 모델 압축: 가지치기, 양자화, 아키텍처 스케일링을 검색 루프에 직접 통합 (예: MSuNAS, CNAS, APQ).
• 동적 신경망: 입력 복잡도에 따라 계산을 적응시키는 아키텍처로, 조기 종료 네트워크 (EENNs), 전문가 혼합 (MoE), 다중 분기 네트워크 등이 포함됨 (예: EExNAS, HADAS, InstaNAS).
• 하드웨어 - 소프트웨어 공동 설계: 신경 아키텍처와 가속기 파라미터 (예: FPGA/ASIC 구성, 데이터 흐름) 를 공동으로 최적화하여 어느 한쪽을 고정하는 것만으로는 달성할 수 없는 파레토 최적 해를 도출 (예: Codesign-NAS, DNA, NACIM).

B. 강건성

본 논문은 강건성 인식 NAS 를 다섯 가지 교란 원천으로 분류합니다:

• 평탄화 최적화: 일반화와 안정성을 향상시키기 위해 손실 지형에서 평탄한 최소점을 탐색 (예: R-DARTS, GeNAS, A2M).
• 적대적 강건성: 적대적 학습 및 Lipschitz 정규화 등의 기법을 사용하여 의도된 교란에 대해 최적화 (예: ADVRUSH, RNAS, WsrNAS).
• 하드웨어 노이즈 강건성: RRAM 및 PCM 과 같은 메모리 내 연산 (IMC) 장치의 비이상성, 즉 전도도 드리프트 및 확률적 스위칭 등을 해결 (예: CMQ, UAE, AnalogNAS).
• 자원 변화 강건성: 동적 에너지 가용성 (예: 에너지 수확 시나리오) 에 적응.
• 멀티모달 강건성: 다양한 모달리티 및 도메인 변화 전반에 걸쳐 안정성을 보장 (예: NAS-OOD, MFAS, Harmonic-NAS).

C. 지속 학습

이 조사는 소수의 NAS 연구만이 지속 학습을 고립적으로 최적화한다는 점을 지적합니다. 대부분의 지속 학습 중심 NAS 방법은 효율성과의 공동 최적화 맥락에서 검토됩니다. 주요 접근법은 다음과 같습니다:

• 확장 기반: 새로운 작업이 도착함에 따라 네트워크의 너비나 깊이를 동적으로 확장 (예: Continual NAS, CLEAS, BNS).
• 정규화 기반: 이전 작업에 대한 가중치 업데이트의 간섭을 방지하기 위해 페널티 사용 (예: REC).
• 증류 기반: 이전 모델에서 새로운 모델로 지식 전달.

D. 격차

본 논문은 기존 솔루션의 중요한 약점을 강조합니다:

• 정적 관점: 대부분의 하드웨어 인식 NAS 는 정적이고 노이즈가 없는 환경을 가정하여, 시간에 따른 하드웨어 열화나 분포 변화를 예측하지 못함.
• 시간적 무지: 강건성 중심 NAS 는 종종 적응성 필요성을 무시하여, 강건하지만 경직되어 (새로운 작업을 학습하지 못함) 있는 모델을 생성함.
• 하드웨어 오버헤드: 강건한 아키텍처는 종종 상당한 파라미터 오버헤드를 초래하여 TinyML 예산에는 부적합함.
• 고립: 효율성, 강건성, 지속 학습은 거의 공동으로 최적화되지 않아 실제 배포에 부적절한 하위 최적 균형을 초래함.

3. 주요 기여: HERCULES 프레임워크

이러한 격차를 해결하기 위해 저자들은 차세대 NAS 를 위한 새로운 프레임워크이자 분류 체계인 HERCULES(하드웨어 효율적, 강건한, 지속 학습 탐색) 를 제안합니다.

프레임워크 아키텍처

HERCULES 는 동적 기능 (구성 공간 $\Gamma_\theta$에서) 을 기본 아키텍처 (검색 공간 $\Gamma_x$에서) 에 통합하는 Arch Adapter 모듈을 도입하여 기존 NAS 를 확장하고, 정제된 검색 공간 $\Gamma_{\tilde{x}}$를 생성합니다.

• 입력: 데이터셋, 아키텍처 집합, 동적 행동 하이퍼파라미터, 평가 파라미터, 사전 정보 (예: 하드웨어 노이즈 프로파일, 에너지 수확 패턴), 그리고 제약 조건.
• 출력: 정적이거나 동적 (런타임 적응성 포함) 인 파레토 최적 신경망 집합.
• 최적화 목적: 다음을 균형 잡는 비용 함수 $G$를 최소화하는 제약 다목적 함수:
  • $F_A(\tilde{x})$: 정확도 (또는 지속 학습을 위한 평균 점진적 정확도 $F_{AIA}$).
  • $F_C(\tilde{x})$: 자원 비용 (지연 시간, 에너지, 메모리).
  • $F_R(\tilde{x}, \rho, \Delta)$: 다양한 환경적 교란에 대한 강건성.

HERCULES 의 12 가지 노고

본 논문은 배포 가능하고 평생 학습이 가능한 AI 시스템을 실현하기 위해 필요한 12 가지 기술적 과제 (요구 사항) 를 정의합니다:

1. 하드웨어 - 소프트웨어 공동 설계: 실제 성능을 위해 NAS 를 컴파일러 및 런타임과 통합.
2. 확장 가능한 강건성 추정: prohibitive 한 오버헤드 없이 강건성 지표를 효율적으로 추정.
3. 가소성 - 안정성 균형: 새로운 작업 학습과 기존 지식 유지 간의 균형을 명시적으로 최적화.
4. 배포 충실도: 사전 정보를 사용하여 검색 시간 평가가 실제 운영 조건을 충실히 근사하도록 보장.
5. 목적 모델링: 효율성, 강건성, 지속 학습을 직교적이고 1 급의 목적으로 취급.
6. 동적 적응성: 정적 모티프와 런타임 적응 정책 모두를 최적화.
7. 표현력 있는 검색 공간: 세 가지 기둥 전반에 걸쳐 최적화할 수 있는 아키텍처 블록 포함.
8. 다목적 검색 전략: 세 가지 목적의 비볼록 파레토 프론티어를 탐색하는 알고리즘 개발.
9. 환경 정렬: 특정 배포 환경에 맞는 검색 공간 및 전략 맞춤화.
10. 벤치마크 재현성: 점진적 학습, OOD 강건성, 하드웨어 변이성을 결합한 통합 HERCULES-Bench 제안.
11. 검색 효율성: NAS 프로세스 자체의 계산 비용 최적화.
12. 수명 주기 지속 가능성: 노후화된 하드웨어 하에서의 재학습 및 유지보수를 포함한 장기 배포 비용 고려.

4. 결과 및 증거

본 논문은 새로운 알고리즘으로부터의 실험 결과를 제시하지는 않지만, 기존 문헌에 대한 포괄적인 조사 및 종합을 제공합니다.

• 표 I–VIII: 본 논문은 세 가지 기둥에 걸쳐 50 개 이상의 NAS 방법을 체계적으로 분류하고 요약합니다. 각 방법의 목적, 검색 비용, 데이터셋, 성능 지표를 상세히 기술합니다.
• 격차 분석: 이 조사는 개별 기둥은 잘 연구되었으나, 공동 최적화는 드물다는 것을 보여줍니다. 예를 들어, 지속 학습을 고립적으로 최적화하는 연구는 드물며, 대부분 효율성과 공동으로 수행됩니다. 마찬가지로, 강건성은 종종 효율성 비용을 치르며, 동적 적응성은 이제야 강건성과 효율성과 통합되기 시작했습니다.
• 종합: 이 분석은 필드가 공동 최적화의 필요성으로 수렴하고 있음을 밝혀내어 HERCULES 프레임워크의 필요성을 입증합니다.

5. 중요성 및 주장

본 논문은 신경 아키텍처 탐색 분야의 로드맵으로서의 중요성을 주장합니다.

• 통합적 관점: 효율성, 강건성, 지속 학습을 동등하게 근본적이고 직교적인 목표로 명시적으로 취급하는 최초의 조사로, 기존 연구의 고립된 관점을 넘어섭니다.
• 패러다임 전환: 환경적 및 시간적 역동성을 고려하는 "평생 학습" 동적 NAS 로부터 "배포 후 잊기" 정적 NAS 로의 전환을 주장합니다.
• 기초 프레임워크: HERCULES 와 그 12 가지 노고를 정의함으로써, 진정한 배포 가능 AI 시스템 개발을 안내하는 미래 연구를 위한 구조화된 요구 사항 집합을 제공합니다.
• 미래 방향: 본 논문은 HERCULES 가 동적 네트워크 설계를 위한 프레임워크를 제공하지만, 미래 작업은 적응성을 검색 프로세스 자체에 통합 (동적 NAS) 하고 "자동 진화" 시스템을 달성하기 위해 실제 하드웨어 피드백과 폐쇄 루프를 형성해야 한다고 겸손하게 제안합니다.

요약하자면, 본 논문은 AI 배포의 미래가 단순히 정확한 아키텍처에 의존하는 것이 아니라, 본질적으로 회복탄력적이고, 자원을 인식하며, 운영 환경과 함께 진화할 수 있는 아키텍처에 달려 있다고 주장합니다. HERCULES 는 이러한 목표를 달성하기 위한 개념적 및 기술적 기초로 제안됩니다.