기술 요약: DEI – 품질-다양성 탐색을 위한 진화적 추론의 다양성

1. 문제 제기

진화 알고리즘은 전통적으로 솔루션 공간을 탐색하기 위해 돌연변이 연산자에 의존해 왔습니다. 대규모 언어 모델 (LLM) 은 의미적 돌연변이와 프로그램 생성이 가능한 효과적인 창의적 연산자로 부상했지만, LLM 기반 탐색에 대한 기존 분산 접근법들은 종종 확장을 인지적 문제라기보다는 순수한 계산 문제로 취급합니다.

FunSearch 와 같은 현재 방법론들은 일반적으로 동일한 LLM 모델을 호출하는 여러 작업자로 구성된 동질적 앙상블을 배포합니다. 이러한 설정에서 다양성은 단일 귀납적 편향 내의 확률적 샘플링에서만 발생합니다. 결과적으로, 모델의 생성 분포에 존재하는 '맹점'은 검색 아카이브에 영구적인 공백으로 남게 됩니다. 또한, 디지털 레드 퀸 (DRQ) 과 같은 기존 프레임워크는 적대적 압력을 도입하지만, 종종 단일 노드 및 단일 모델 컨텍스트 내에서 작동합니다. 본 논문이 다루는 과제는 동질적 병렬 처리보다 더 효과적으로 품질 - 다양성 (QD) 탐색을 주도하기 위해 이질적 LLM 들의 고유한 귀납적 편향을 어떻게 활용할 수 있는지, 그리고 동기화 병목 현상 없이 이질적 지연 시간의 시스템 수준 복잡성을 관리하는 방법에 관한 것입니다.

2. 방법론

2.1. 핵심 프레임워크: DEI

저자들은 이질적 LLM 을 피어 노드 간에 돌연변이 연산자로 할당하는 분산 QD 탐색 프레임워크인 **DEI(진화적 추론의 다양성)**를 제안합니다. 동질적 병렬 탐색과 달리 DEI 는 각 LLM 의 고유한 학습 데이터와 정렬을 행동적 새로움의 보완적 원천으로 간주합니다.

이 시스템은 LLM 을 MAP-Elites(고전적인 QD 알고리즘) 에 통합하는 디지털 레드 퀸 (DRQ) 프레임워크를 확장합니다. DRQ 에서 '레드 퀸' 압력은 라운드 챔피언 (최고 적합도 솔루션) 을 후속 라운드의 상대로 사용하여 생성되는 공진화 무장 경쟁을 통해 발생합니다. DEI 는 이를 다음과 같이 적응시킵니다:

1. 이질적 할당: 분산 그래프의 각 노드는 서로 다른 LLM(예: GPT-5.4-mini, Claude Sonnet 4.6 등) 을 할당받습니다.
2. 교차 모델 적대적 압력: 노드들은 로컬 챔피언을 피어들과 공유합니다. 이러한 챔피언들은 다른 노드들의 상대 역할을 하여, 특정 모델이 내부적으로 결코 생성하지 않을 수 있는 전략들을 도입합니다.
3. 아카이브 시딩: 수신된 챔피언은 이전에 비어 있던 행동 셀을 차지하는 경우 로컬 아카이브에 시딩되어, 니치 간의 교차 수분을 촉진합니다.

2.2. 시스템 아키텍처 및 비동기 통신

중요한 시스템 기여는 이질적 지연 시간의 처리입니다. 노드는 로컬 오픈 가중치 모델 (예: Apple Silicon 의 Qwen-35B) 에서 최첨단 클라우드 모델에 이르기까지 다양할 수 있어, 호출 지연 시간이 한 자릿수 차이를 보일 수 있습니다.

가장 느린 노드의 속도에 전체 앙상블을 제한하지 않기 위해 DEI 는 완전 비동기 집단 통신 계층을 사용합니다:

• 비차단 gossip: 노드들은 라운드 챔피언을 완료하자마자 즉시 피어들에게 게시합니다.
• 독립적 진행: 피어들은 들어오는 챔피언을 각자의 속도로 소비합니다.
• 동기화 장벽 부재: 전역 장벽은 없으며, 노드들은 로컬 상대 풀과 아카이브를 업데이트하기 위해 수신 버퍼를 비우면서 독립적으로 진행합니다.

2.3. 실험 설정

이 프레임워크는 '전사 (warrior)' 프로그램들이 Redcode 어셈블리로 작성되어 시뮬레이션된 메모리 배열 (MARS) 에서 전투를 벌이는 경쟁 프로그래밍 벤치마크인 Core War에서 평가됩니다.

• 행동 특성 (BC): 검색 공간은 시간 - 공간 곱 (코드 길이 $\times$ 수명) 과 메모리 커버리지 (코어 접촉 비율) 를 사용하여 이산화됩니다.
• 적합도: 인간이 작성한 전사와 라운드 챔피언을 포함한 상대 풀에 대해 평가됩니다.
• 조건:
  • 솔로: 단일 노드 DRQ 기준선.
  • 동질적 앙상블: 동일한 LLM 을 실행하는 네 개의 노드.
  • 다양한 앙상블: 서로 다른 LLM(GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2, Claude Haiku 4.5) 을 실행하는 네 개의 노드.
• 통제: 모든 조건은 총 LLM 호출 수를 동일하게 엄격하게 예산화됩니다 (예: 4 노드 $\times$ 62 회 반복 $\approx$ 1 노드 $\times$ 250 회 반복).

3. 주요 기여

1. DEI 프레임워크: 이질적 LLM 앙상블을 돌연변이 연산자로 명시적으로 활용하고, 행동적 커버리지를 극대화하기 위해 서로 다른 노드에 서로 다른 모델을 할당하는 분산 QD 탐색 시스템.
2. 비동기 gossip 통합: 동기화 장벽 없이 이질적 하드웨어 참여를 가능하게 하는 통신 프로토콜로, 동기식 접근법보다 높은 처리량을 달성합니다.
3. 다양성의 경험적 격리: 총 계산 예산을 일정하게 유지함으로써, 성능 향상이 추가 계산이 아닌 모델 다양성에 의해 주도됨을 입증합니다.
4. 교차 모델 적대적 압력: 다른 모델 계열의 챔피언을 상대로 도입하여, 모델 내 자기 플레이를 넘어선 견고성을 유도합니다.

4. 결과

Core War 도메인에서 평가된 결과, 이질적 앙상블은 단일 노드 기준선과 동질적 앙상블 모두보다 상당한 개선을 보여주었습니다:

• QD 점수: 다양한 앙상블은 단일 노드 기준선에 비해 병합된 아카이브 QD 점수가 +124% 더 높게(45.90 대 20.46) 달성되었습니다.
• 커버리지: 다양한 앙상블은 행동 공간의 셀을 기준선보다 +28% 더 많이(80.6% 대 63.0%) 커버했습니다.
• 일반성: 테스트된 네 가지 모델 계열 전반에 걸쳐, 다양한 협업은 동질적 협업이나 솔로 운영보다 더 높은 일반성 (보류된 인간 전사 세트에 대한 성능) 을 달성했습니다.
• 니치 새로움: 수신된 챔피언 중 이전에 비어 있던 셀에 도달한 비율을 나타내는 지표 $\eta$는 다양한 앙상블에서 유의미하게 높았으며, 이는 피어들이 개별 모델이 도달할 수 없는 공백을 채우고 있음을 확인시켜 줍니다.
• 동질적 앙상블과의 비교: 다양한 앙상블은 동등하게 예산화된 동질적 앙상블보다 QD 점수, 커버리지, 일반성 측면에서 우위를 점했습니다. 특히, 동질적 앙상블은 때때로 더 높은 셀당 적합도 (특정 니치에 집중) 를 달성했지만, 다양한 앙상블은 솔루션 공간에 대한 가장 광범위한 커버리지를 제공했습니다.

5. 중요성과 주장

본 논문은 분산 LLM 기반 QD 탐색에서 성취의 핵심 동인이 단순한 병렬 처리가 아닌 모델 다양성임을 보여주는 최초의 경험적 증거를 제공한다고 주장합니다.

• 인지적 확장: 저자들은 LLM 탐색의 확장을 '병렬 인지'로 간주해야 한다고 주장합니다. 서로 다른 노드에 고유한 귀납적 편향을 할당함으로써, 시스템은 어떤 단일 모델이 단독으로 도달할 수 있는 것보다 더 넓은 행동 공간을 커버합니다.
• 견고성: 교차 모델 적대적 압력은 단일 모델의 편향이 탐색을 지배할 때 발생할 수 있는 정체성을 방지하여 더 견고한 진화 과정을 창출합니다.
• 민주화: 비동기 아키텍처는 제한된 자원을 가진 연구자들 (예: 로컬 오픈 가중치 모델 실행) 이 지연 시간 차이로 인한 병목 현상 없이 최첨단 모델들과 함께 협력적 탐색에 기여할 수 있게 합니다.

저자들은 연구 결과의 범위에 대해 겸손한 태도를 유지하며, 이론적 직관은 다른 도메인에도 적용 가능함을 시사하지만 경험적 결과는 엄격하게 Core War 도메인으로 제한됨을 지적합니다. 그들은 적응형 토폴로지, 노드별 이질적 행동 축, 그리고 다중 에이전트 협력 작업으로의 확장을 향후 과제로 제시합니다.