OASI: Objective-Aware Surrogate Initialization for Multi-Objective Bayesian Optimization in TinyML Keyword Spotting

이 논문은 제한된 리소스 환경에서 TinyML 키워드 감지 모델의 다목적 최적화 시 초기화 민감도를 해결하기 위해, 다목적 시뮬레이션 어닐링을 통해 생성된 파레토 편향 솔루션으로 대리 모델을 초기화하는 'OASI'를 제안하여 수렴성과 배포 가능성을 향상시킨다는 내용입니다.

핵심

🎧 1. 배경: "작은 집"에 "무거운 가구"를 넣는 문제

우리가 집에 사는 '스마트 스피커 (예: 알렉사, 구글 홈)'를 생각해 보세요. 이 기기들은 항상 대기 상태가 되어 있어야 하므로, 무거운 서버 대신 작은 칩 (마이크로컨트롤러) 안에 AI 를 심어둡니다.

하지만 여기서 큰 문제가 생깁니다.

• 목표: 목소리를 정확히 알아듣게 하려면 AI 가 똑똑해야 (정확도 높음) 합니다.
• 제약: 하지만 칩의 **창고 (메모리)**는 매우 작습니다. 너무 똑똑한 AI 를 넣으면 창고가 터져서 (메모리 부족) 기기가 아예 작동하지 않습니다.

즉, "최대한 똑똑하면서도, 최대한 작아야 하는" 딜레마에 빠진 것입니다.

🎲 2. 기존 방법의 한계: "눈 가리고 아웅"

기존에는 이 문제를 해결하기 위해 **베이지안 최적화 (Bayesian Optimization)**라는 방법을 썼습니다. 이는 "어떤 설계를 하면 좋을지"를 예측하는 AI 비서 같은 역할을 합니다.

하지만 이 비서는 **출발점 (초기화)**을 어떻게 잡느냐에 따라 성적이 크게 달라집니다.

• 기존 방식 (랜덤, 격자 무늬 등): 비서가 "아무거나 무작위로 골라보자"라고 하며 시작합니다.
  • 문제: 작은 창고에 들어갈 수 없는 거대한 가구를 먼저 골라내서, 창고 문이 닫히는 순간 (메모리 초과) 에너지를 다 써버립니다. 결국 좋은 답을 찾기 전에 지쳐버립니다.

✨ 3. 새로운 방법 (OASI): "현명한 설계사"의 도움

이 논문은 OASI라는 새로운 방법을 제안합니다. 이를 **"현명한 설계사"**에 비유할 수 있습니다.

• OASI 의 핵심: 무작위로 시작하는 대신, **이미 '적당한 크기'와 '적당한 성능'을 가진 가구들 (파레토 해법)**을 미리 준비해 둡니다.
• 어떻게 하나요? '모의 담금질 (Simulated Annealing)'이라는 기술을 써서, "이 정도 크기는 들어가고, 이 정도 성능은 나가는" 최적의 조합들을 먼저 찾아냅니다.
• 효과: 비서 (AI) 가 이 '현명한 설계사'가 준비한 좋은 가구들을 보고 시작하므로, 창고 문이 닫히는 실수를 하지 않고 바로 좋은 답을 찾아냅니다.

🏆 4. 실험 결과: "작은 칩"에서의 승리

연구팀은 이 방법을 실제 STM32라는 작은 칩에 적용해 보았습니다.

• 결과: 기존 방법들은 메모리가 부족해서 실패하거나 (창고 폭파), 성능이 떨어지는 경우가 많았습니다.
• OASI 의 승리: OASI 를 쓴 모델들은 메모리 한도 안에 딱 들어오면서도, 목소리 인식 정확도는 가장 높았습니다. 마치 작은 아파트에 살면서도 고급스러운 인테리어를 완벽하게 구현한 것과 같습니다.

💡 5. 핵심 요약 (한 줄 정리)

"작은 칩에 AI 를 심을 때, 무작위로 시작하지 말고 '적당한 크기'를 먼저 찾아주는 현명한 설계사 (OASI) 를 붙이면, 메모리 폭발 없이 최고의 성능을 낼 수 있다."

이 방법은 앞으로 우리가 사용하는 모든 사물인터넷 (IoT) 기기들이 더 똑똑해지고, 배터리도 더 오래 가게 만드는 데 큰 기여를 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 음성 기반 인터페이스 (예: Amazon Echo, Google Home) 는 클라우드 서버로 오디오를 전송하는 대신, 엣지 디바이스 (마이크로컨트롤러) 에서 키워드 감지 (Keyword Spotting, KWS) 를 수행하여 지연 시간, 대역폭, 개인정보 보호 문제를 해결합니다.
• 제약 조건: TinyML 환경, 특히 마이크로컨트롤러 (MCU) 에서는 모델의 정확도뿐만 아니라 엄격한 메모리 (Flash, SRAM) 및 에너지 제약이 핵심입니다. 특히 추론 중 피크 SRAM 사용량은 모델이 이론적으로 작동하더라도 실제 하드웨어에서 실행 불가능 (OOM, Out-of-Memory) 하게 만드는 주요 병목 현상입니다.
• 현재의 한계:
  • 기존 KWS 최적화 방법 (프루닝, 양자화 등) 은 주로 단일 목적 (accuracy only) 에 초점을 맞추거나, 다목적 최적화 시 초기화 (Initialization) 전략이 비효율적입니다.
  • 베이지안 최적화 (Bayesian Optimization, BO) 는 정확도와 효율성 간의 트레이드오프를 다루기에 적합하지만, **초기 샘플링 (Initialization)**에 매우 민감합니다.
  • 기존 방법 (랜덤 샘플링, LHS, Sobol 시퀀스 등) 은 탐색 공간을 균일하게 채우지만, 목표 (Objective) 를 고려하지 않아 초기 단계에서 SRAM 제약을 위반하는 비실용적인 구성을 많이 생성하거나, 수렴 속도가 느려집니다.

2. 제안된 방법론: OASI (Objective-Aware Surrogate Initialization)

저자들은 **목표 인지형 대리 모델 초기화 (OASI)**를 제안하여 다목적 베이지안 최적화 (MOBO) 의 초기화 문제를 해결합니다.

• 핵심 아이디어: MOBO 의 대리 모델 (Surrogate Model) 을 학습시키기 위한 초기 데이터 세트를 생성할 때, 무작위나 공간 채우기 (Space-filling) 방식 대신 **다목적 시뮬레이티드 어닐링 (MOSA, Multi-Objective Simulated Annealing)**을 활용하여 파레토 최적 (Pareto-optimal) 에 편향된 (biased) 솔루션을 생성합니다.
• 작동 원리:
  1. MOSA 기반 시드 생성: 여러 개의 짧은 확률적 체인 (Stochastic chains) 을 실행하여 정확도 (Accuracy) 와 모델 크기 (Size) 간의 균형을 맞춘 후보 집합을 생성합니다.
  2. 수용 기준: 새로운 이웃 해가 정확도를 높이거나 모델 크기를 줄이는 방향으로 이동할 확률적 수용 기준을 적용합니다.
  3. 초기 데이터 선택: 생성된 후보 집합 (IA) 에서 최대 - 최소 (Maximin) 규칙을 사용하여 탐색 공간 (H) 을 넓게 커버하면서도 파레토 프론트에 가까운 초기 데이터 세트 ($D_0$) 를 선택합니다.
  4. MOBO 연동: 이렇게 초기화된 데이터 세트를 사용하여 가우시안 프로세스 (GP) 대리 모델을 학습시키고, 획득 함수 (Acquisition Function, 예: EHVI) 를 통해 다음 최적화 후보를 탐색합니다.
• 차별점: 기존 방법은 제약 조건을 무시하고 공간을 채우는 반면, OASI 는 SRAM 제약 위반을 사전에 방지하고 초기 단계부터 실현 가능한 (Feasible) 파레토 프론트 근처로 탐색을 유도합니다.

3. 주요 기여 (Key Contributions)

1. OASI 프레임워크 제안: TinyML 키워드 감지 문제에서 정확도 - 모델 크기 트레이드오프를 고려한 MOSA 기반 MOBO 초기화 전략을 최초로 제안했습니다.
2. 성능 입증: 제한된 평가 예산 (Budget) 하에서 기존 방법 (LHS, Sobol, Random) 보다 더 안정적인 수렴과 더 우수한 파레토 프론트를 달성함을 증명했습니다.
3. 하드웨어 검증 (Hardware-in-the-Loop): STM32 마이크로컨트롤러에서 실제 실험을 통해, OASI 로 선택된 모델들이 메모리 제약을 준수하면서도 경쟁력 있는 정확도를 유지하며 **실제 배포 가능 (Deployable)**함을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋 및 환경: Google Speech Commands v2 (10 클래스), DS-CNN 아키텍처 사용. 최적화 알고리즘은 NSGA-II, MOSA, 기존 MOBO 와 비교.
• 성능 비교 (Tchebycheff Scalarization):
  • OASI-MOBO는 정확도 **90.1%**와 모델 크기 0.103 MB를 달성하여 가장 낮은 Tchebycheff 점수 (0.0040) 를 기록했습니다.
  • 기존 MOBO (랜덤 초기화) 는 88.5% 정확도, NSGA-II 는 88.9% 정확도를 기록했으나 OASI 보다 성능이 떨어졌습니다.
• 초기화 전략 비교:
  • Hypervolume (HV): OASI 가 0.062748 로 가장 높았으며, 이는 파레토 프론트를 더 잘 포착했음을 의미합니다.
  • Generational Distance (GD): OASI 는 0.000000을 기록하여 참 파레토 프론트와의 거리가 거의 없음을 보였습니다. 반면 LHS, Sobol, Random 은 더 큰 거리를 보였습니다.
  • 수렴 안정성: OASI 는 반복 실행 간 분산이 적어 수렴이 매우 안정적이었습니다.
• 하드웨어 배포 (HIL) 결과:
  • STM32H7, F469, F401 등 다양한 MCU 에서 테스트.
  • OASI 2 모델은 피크 RAM 51.0 KB, Flash 62.8 KB 만 사용하여 메모리가 부족한 NUCLEO-F401RE 에서도 성공적으로 배포되었습니다.
  • 반면, 정확도가 가장 높은 OASI 3 모델은 SRAM 한계를 초과하여 OOM 오류가 발생했습니다.
  • 배포 지수 (Deployability Index, DI): OASI 2 는 모든 하드웨어 계층에서 가장 높은 DI 값을 기록하여 실제 배포 가능성을 입증했습니다.

5. 의의 및 결론 (Significance and Conclusion)

• TinyML 최적화의 패러다임 전환: 단순히 모델을 압축하는 것을 넘어, 최적화 과정 자체를 하드웨어 제약 (특히 SRAM) 에 민감하게 (Objective-Aware) 설계해야 함을 강조합니다.
• 비용 대비 효과: 초기화 단계에서 약간의 오버헤드 (MOSA 실행 시간) 가 발생하지만, 전체 최적화 예산 내에서 더 적은 평가 횟수로 더 좋은 해를 찾고, 배포 실패 (OOM) 를 방지함으로써 전체 개발 비용을 절감합니다.
• 실용성: 제안된 방법은 이론적인 성능뿐만 아니라 실제 임베디드 하드웨어에서 작동 가능한 모델을 보장하며, 엣지 AI 시스템 설계에 있어 하드웨어 인식형 (Hardware-aware) 최적화의 표준으로 자리 잡을 수 있는 가능성을 제시합니다.

요약하자면, 이 논문은 OASI라는 새로운 초기화 기법을 통해 TinyML 환경에서 다목적 베이지안 최적화의 효율성과 실현 가능성을 획기적으로 향상시켰으며, 이를 통해 정확도와 메모리 제약 사이의 최적 균형점을 찾는 모델을 성공적으로 배포할 수 있음을 증명했습니다.