기술 요약: 제노-합성 알고리즘

1. 문제 제기

실제 세계의 최적화 문제는 종종 자연스러운 동질 실수 벡터로 표현될 수 없는 이질적인 설계 객체를 포함합니다. 대신 이러한 문제는 정수 (예: 룩백 기간), 실수 (예: 임계값), 불리언 스위치, 범주형 선택, 복소수 값 기술자, 그리고 임베딩 공간 표현과 같은 복합 파라미터로 구성됩니다.

표준 진화 알고리즘은 일반적으로 이러한 이질적 구성 요소를 단일 염색체로 "평탄화"함으로써 이를 해결합니다. 이 접근 방식은 일반적인 변이 연산자, 반올림, 수리 메커니즘, 또는 사후 제약 조건 수정에 의존합니다. 해당 논문은 이러한 평탄화가 표현적 충실도를 희생한다고 주장합니다.

• 이산 정수와 연속 실수와 같은 서로 다른 위상학을 상호 교환 가능한 좌표로 취급합니다.
• 특정 데이터 유형에 부적합한 변이 의미론을 적용합니다 (예: 불리언 스위치에 가우스 잡음을 추가하는 경우).
• 복소수 값 기술자의 대수적 구조나 임베딩 벡터의 의미론적 매니폴드를 존중하지 못합니다.
• 종종 무효 변이, 비효율적인 탐색, 그리고 취약한 수렴을 초래합니다.

2. 방법론: 제노 - 합성 알고리즘 (GSA)

제노 - 합성 알고리즘 (GSA) 은 유형 분해형 공진화 최적화 프레임워크로 소개됩니다. 단일 평탄화된 염색체를 진화시키는 대신, GSA 는 표현 유형에 기반하여 유전형을 동질적이거나 의미론적으로 일관된 유전자 패밀리로 분할합니다.

핵심 아키텍처

1. 유형 곱 탐색 공간: 탐색 공간은 유형 하위 공간들의 곱 ($\mathcal{G} = \mathcal{G}_1 \times \dots \times \mathcal{G}_K$) 으로 정의되며, 여기서 각 $\mathcal{G}_k$는 특정 데이터 유형 (예: $\mathbb{Z}^d$, $\mathbb{R}^d$, $\mathbb{B}^d$, $\mathbb{C}^d$, 또는 임베딩 공간 $\mathcal{E}^d$) 에 해당합니다.
2. 병렬 하위 집단 진화: 각 유전자 패밀리는 유형 native 진화 연산자를 사용하여 자체 하위 집단 내에서 진화합니다.
   • 실수형: 차분 진화, 가우스 변이, 또는 공분산 적응.
   • 정수형: 경계 정수 변이 또는 순서 보존 교차.
   • 불리언: 비트 플립 변이 또는 마스크 재조합.
   • 복소수: 크기와 위상의 분리된 변이.
   • 임베딩: 매니폴드 인식 섭동 또는 코사인 보존 변이.
3. *형질 조립: 중앙 조립 연산자($\mathcal{A}$) 는 진화된 부분 유전체를 실행 가능한 완전한 형질로 합성적으로 결합합니다. 이는 수동적인 디코딩 단계가 아니라, 유형 간 제약을 강제하고, 불리언 스위치에 기반하여 유전자를 활성화/비활성화하며, 최종 시스템 (예: 거래 전략 또는 LLM 프롬프트) 을 인스턴스화하는 능동적 합성 함수입니다.
4. 공동 적합도 평가: 조립된 형질은 실제 목적 함수에 대해 평가됩니다.
5. 신용 할당: 적합도 피드백은 구성 하위 집단들로 역전파됩니다. 논문은 세 가지 방식을 평가합니다.
   • 직접 번들: 모든 참여 부분 유전체에 전체 형질 적합도를 할당합니다.
   • 엘리트 컨텍스트: 다른 집단들의 엘리트 대표자에 대한 하위 유전체를 평가합니다.
   • 앙상블 컨텍스트: 다른 집단들로부터 샘플링된 여러 컨텍스트에 대한 하위 유전체를 평가합니다.

스케줄링

GSA 는 동기식 진화 (모든 패밀리가 세대당 진화함) 와 비동기식 진화 (패밀리가 독립적인 시계에서 진화함) 를 모두 지원합니다. 후자는 유전자 패밀리가 이질적인 평가 비용을 가질 때 유리합니다.

3. 주요 기여

1. GSA 의 형식화: 표준 혼합 변수 최적화와 구별되는 명시적 형질 조립 연산자를 갖춘 유형 곱 공간 탐색 절차.
2. 아키텍처 확장성: GSA 는 부동 소수점으로 표현될 수 없는 유전자 패밀리, 특히 복소수 값 기술자와 임베딩 벡터를 최적화하는 것으로 입증된 유일한 방법입니다. 평탄화된 인코딩은 이러한 경우 결정론적으로 실패합니다.
3. 실증적 검증: 여덟 가지 GSA 변형과 다섯 가지 기준선 (평탄화 DE, 평탄화 EA, 협력 공진화 포함) 을 다음에 걸쳐 비교한 재현 가능한 실증 연구:
   • 여섯 가지 합성 벤치마크 (유형 덧셈, 에피스타시스, 기만, 잡음, 그리고 기울기 활성화 문제를 포함).
   • 외부 COCO BBOB-MixInt 스위트.
4. 절대 실험 통찰:
   • 유형 native 연산자: 성능에 필수적이며, 이를 일반적인 가우스 변이로 대체하면 결과가 크게 저하됩니다.
   • 신용 할당: 엘리트 컨텍스트 신용은 앙상블 평균이 항상 우월하다는 직관과 모순되게 고정된 예산에서 앙상블 컨텍스트 신용을 일관되게 능가합니다.
   • 조립 전략: 조건부 구조가 필요한 벤치마크에서 능동적 형질 조립 (조립 로직이 입력을 게이트하는 방식) 은 수동적 연결보다 통계적으로 우월합니다.
   • 비동기식 스케줄링: 균일 비용 문제의 고정 평가 예산에서는 최적이지 않습니다. 이는 구조 유전자로부터 자원을 재할당하여 수렴을 방해합니다.

4. 실증 결과

이 논문은 GSA 의 성능에 대해 미묘한 시각을 제시하며, 보편적 지배력을 주장하지 않습니다.

• 아키텍처 확장성 (H1): "유형 - 혼합 기울기"벤치마크에서 유전자 패밀리가 복소수 및 임베딩 유형을 포함하도록 확장됨에 따라, 모든 평탄화된 기준선이 충돌합니다. GSA 는 계속 최적화를 수행하는 유일한 방법입니다.
• 작은 예산 (5,000 평가): 매끄러운 다중 패밀리 합성 문제에서 **평탄화 차분 진화 (DE)**가 여전히 가장 강력한 기준선입니다. GSA 는 (별도 하위 집단 진화와 신용 할당으로 인한) 회당 오버헤드를 발생시켜 엄격한 예산 내에서 달성 가능한 세대 수를 제한합니다.
• 외부 스위트에서의 큰 예산 (100,000 평가): COCO BBOB-MixInt 스위트에서 성능 교차점이 발생합니다. 100,000 평가 시 GSA_DIRECT는 평탄화 DE 와 통계적으로 구별되지 않게 됩니다 ($\hat{A}_{12} = 0.499, p = 0.61$), 반면 평탄화 EA 는 순위가 크게 하락합니다. 이는 GSA 의 유형 연산자 이점이 시간이 지남에 따라 상쇄되어 인정된 외부 벤치마크에서 가장 강력한 기준선과 일치할 수 있음을 시사합니다.
• 단일 패밀리/불리언 사례: GSA 는 불리언 전용 (OneMax) 및 단일 패밀리 실수형 문제에서 강력한 기준선과 일치하거나 이를 초과하여, 이질성이 없을 때 성능이 저하되지 않음을 보여줍니다.

5. 중요성 및 주장

이 논문은 GSA 를 차분 진화나 유전 알고리즘의 대체제가 아닌 이질적 최적화를 위한 전문 아키텍처로 위치시킵니다.

• 주요 주장: GSA 의 가치는 아키텍처 확장성에 있습니다. 평탄화된 인코딩이 표현할 수 없는 유전자 패밀리 (복소수, 임베딩) 를 포함하는 설계 객체의 최적화를 가능하게 합니다.
• 부차적 주장: 평탄화된 인코딩이 가능한 문제에서 GSA 는 큰 평가 예산 (COCO 규모) 에서 가장 강력한 기준선 (평탄화 DE) 과 동등성을 제공하며, EA 스타일 기준선보다 우월성을 보입니다.
• 기대치 정교화: 이 논문은 GSA 가 평탄화 DE 가 거의 최적인 작은 예산이나 매끄러운 덧셈적 풍경에서 지배한다는 아이디어를 명시적으로 반박합니다. 대신, DE 가 강력한 벤치마크에서는 파국적 실패가 아닌 우아한 저하를 주장하며, 평탄화할 수 없는 유전자 유형에 대한 유일한 실행 가능한 경로를 제공합니다.

이 방법은 머신러닝 기반 투자 시스템인 WALLACE의 개발에서 비롯되었지만, 저자들은 그 적용 범위가 프롬프트 최적화(텍스트, 소프트 프롬프트, 라우팅 규칙의 혼합) 와 대규모 언어 모델 시스템의 하이브리드 잠재 공간을 포함한 현대적 표현 학습 문제로 확장된다고 주장합니다.