WASHH: An Anchor-Aware Whale-Guided Selection Hyper-Heuristic for Continuous Optimization and SVC Configuration

기술 요약: WASHH – 앵커 인식 고래 유도 선택 하이퍼-휴리스틱

문제 정의
이 논문은 알고리즘 구성, 하이퍼파라미터 최적화, 시뮬레이션 기반 설계와 같은 시나리오에서 엄격한 평가 예산 하의 연속 블랙박스 최적화 문제를 다룹니다. 이러한 환경에서는 평가 이전에 탐색 지형이 종종 알려지지 않으며, 한 단계에서 효과적인 탐색 행동이 다른 단계에서는 비효율적일 수 있습니다. 단일 메타휴리스틱 (예: 고래 최적화 알고리즘 또는 입자 군집 최적화) 에 의존하는 것은 신뢰할 수 없을 수 있는데, 이는 문제의 서로 다른 단계가 탐욕 (exploitation), 기억, 다양성, 그리고 지역 정제에 대한 서로 다른 균형을 요구하기 때문입니다. 또한, 학습 지원 알고리즘 설계 (LEAD) 환경에서는 오프라인 훈련 데이터가 제한적일 수 있으므로, 무거운 학습 구성 요소로 예산을 소모하지 않고 온라인 관측에 기반하여 적응하는 최적화가 필요합니다.

방법론: WASHH
저자들은 WASHH(고래 유도 적응 선택 하이퍼-휴리스틱) 를 제안합니다. 이는 다양한 탐색 메커니즘을 상호 배타적인 최적화기가 아닌 단일 적응 컨트롤러 내에서 선택 가능한 행동으로 취급하는 프레임워크입니다.

1. 연산자 포트폴리오: WASHH 의 핵심은 이질적인 탐색 행동 포트폴리오입니다:

   • WOA 유도 이동: 탐욕을 위한 incumbent 중심의 포위 및 나선 탐색을 제공합니다.
   • PSO 스타일 기억: 개인 및 전역 최선 정보를 재사용합니다.
   • GWO 스타일 리더 평균화: 최상위 3 개 개체를 사용하여 업데이트 방향을 안정화합니다.
   • DE 스타일 변이: 개체군 다양성을 위해 차분 변이를 도입합니다.
   • 지역 좌표 탐색: 지역 정제를 수행합니다.
   • 앵커 유도 정제: 박스 중심, 기본 하이퍼파라미터, 또는 역사적으로 효과적인 설정과 같은 저비용 참조 구성 (앵커) 을 활용하는 새로운 구성 요소입니다.

2. 적응 선택 컨트롤러: 온라인 보상 컨트롤러는 이러한 행동 간에 평가 예산을 할당합니다. 관찰된 개선에서 파생된 정규화된 보상 점수에 기반하여 연산자를 샘플링합니다. 점수는 영구적으로 어떤 행동이 폐기되지 않도록 작은 탐색 바닥값으로 지수적으로 평활화됩니다.

3. 앵커 유도 정제: 이 메커니즘은 블랙박스 평가를 우회하지 않고 탐색을 안내하기 위해 참조 구성 집합 ($A$) 을 사용합니다. 제안된 솔루션은 $x' = a + \gamma(x^* - a) + \epsilon$ 형태를 따르며, 여기서 $a$는 앵커, $x^*$는 현재 전역 incumbent, $\epsilon$은 지역 섭동입니다. 결정적으로, 앵커에서 파생된 것을 포함하여 모든 제안된 솔루션은 원래 블랙박스 목적 함수에 의해 평가됩니다. 예산이 거의 끝날 무렵, 알고리즘은 결정론적 앵커-이웃 및 좌표 탐색을 위해 평가의 일부를 예약합니다.

주요 기여

• 알고리즘 설계: WOA 유도 탐욕을 온라인 행동 선택 및 앵커 기반 정제와 통합하는 적응 선택 하이퍼-휴리스틱의 도입.
• 벤치마킹: 단형, 다형, 기만적, 그리고 조건이 나쁜 지형을 포함하는 10 개의 30 차원 벤치마크 함수에 대한 WOA, GWO, PSO, DE, LWOA(WOA 변형), 그리고 RandomHH 에 대한 재현 가능한 비교.
• 응용 사례 연구: 고정된 300 회 평가 예산 하에 유방암 진단을 위한 서포트 벡터 분류기 (SVC) 하이퍼파라미터 구성에서 WASHH 의 시연.

실험 결과

• 벤치마크 성능: 12,000 회 평가와 10 회 독립 실행을 가진 10 개의 30 차원 함수에서 WASHH 는 1.10의 최우수 평균 순위 달성했습니다. 이는 10 개 함수 모두에서 최상이거나 최상과 동률을 이뤘습니다.
  • Sphere, Bent Cigar, Zakharov, Rosenbrock, Ackley, Schwefel, Levy, Michalewicz 등 8 개 함수에서 기본 WOA 를 엄격하게 개선했습니다.
  • Rastrigin 과 Griewank 에서는 수치적 최적 (평균 0) 에서 WOA 와 동률을 이뤘습니다.
  • 복잡한 지형에서 유의미한 향상이 관찰되었습니다 (예: Zakharov 의 평균 목적 함수를 $3.73 \times 10^2$에서 $0.00$으로 감소).
• 절제 연구: 앵커 정제를 제거하면 가장 심각한 성능 저하가 발생했습니다 (평균 순위가 2.10 에서 3.50 으로 증가하고, 최상/동률 횟수가 10 회에서 3 회로 감소). 이는 결정론적 벤치마크에서 성능의 주된 기여자임을 나타냅니다. 적응 선택을 제거하면 영향은 작았지만, 메모리 기반 행동을 선택하는 것이 기본 WOA 경로보다 우월한 Michalewicz 와 같은 함수에서 성능이 저하되었습니다.
• SVC 구성: 유방암 진단 작업에서 WASHH 는 모든 다른 최적화기 (예: WOA: 0.077961, PSO: 0.076361) 에 비해 최저 평균 검증 로그 손실 (0.076273) 을 달성하여 10 개의 시드 전반에 걸친 안정성을 입증했습니다.

의의 및 주장
이 논문은 WASHH 가 LEAD 시스템을 위한 실용적이고 경량인 방향을 대표한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 무거운 학습 없이 적응성 달성: 기존 탐색 행동 간에 온라인 보상에 기반하여 시도를 재할당함으로써 적응성을 달성하며, 복잡한 대리 모델 훈련의 비용을 피합니다.
2. 선지식 활용: "앵커 인식" 구성 요소는 기본 설정과 같은 저비용 참조점을 효과적으로 활용하여 블랙박스 평가 루프의 무결성을 유지하면서 탐색 집중을 안내합니다.
3. 강건성: 여러 보완적 편향 (탐욕, 기억, 변이, 정제) 을 결합함으로써 단일 고정 업데이트 규칙에 매몰되는 함정을 피하고, 단일 방법 베이스라인보다 다양한 지형 유형에서 더 강건하게 만듭니다.

저자들은 현재 평가가 통제된 환경 (결정론적 벤치마크 및 특정 HPO 사례) 이지만, 그 결과들은 사전 구성이 존재하지만 작업별 최적화가 필요한 경우 앵커 인식 선택 하이퍼-휴리스틱이 타당한 전략임을 시사한다고 결론지었습니다. 향후 연구는 잡음, 제약, 그리고 회전된 지형에서 이 방법을 평가할 것을 제안합니다.