기술적 요약: 열린 끝성 (Open-Endedness) 의 구성 요소 탐색: 대규모 시각 - 언어 모델을 통한 Picbreeder 재현

문제 제기

본 논문은 인간의 개입이나 사전 정의된 최적화 목표 없이 자율 시스템이 끊임없이 새로운 의미 있는 인공물을 생성할 수 있는 능력인 **인공적 열린 끝성 (artificial open-endedness)**을 달성하는 데 직면한 과제를 다룹니다. 기계 학습은 정적 데이터셋에 크게 의존하는데, 이는 병목 현상이 되고 있으며, 열린 끝 시스템은 지속적인 신기성의 생성을 약속합니다. 그러나 완전 자동화된 열린 끝성은 여전히 '대과제 (grand challenge)'로 남아 있습니다.

저자들은 CPPN(Compositional Pattern Producing Networks) 을 통해 사용자가 협력적으로 이미지를 진화시킨 역사적인 인간 - 루프 시스템인 Picbreeder를 열린 끝 발견의 표준적인 예시로 제시합니다. 핵심 연구 질문은 이 환경에서 **대규모 시각 - 언어 모델 (VLM)**이 인간 사용자의 열린 끝 행동을 재현할 수 있는지, 그리고 가능하다면 이를 촉진하기 위해 필요한 설계 요소 (기억, 탐색, 다양성) 가 무엇인지입니다.

방법론

저자들은 인간 사용자를 최첨단 VLM 으로 대체하여 Picbreeder 를 완전히 인공적으로 재현했습니다.

시스템 아키텍처

• 기반 엔진: 시스템은 NEAT(NeuroEvolution of Augmenting Topologies) 를 사용하여 CPPN(Compositional Pattern Producing Networks) 을 진화시킵니다. 각 CPPN 은 $(x, y, r)$ 좌표를 입력으로 받아 색조, 채도, 명도를 출력하며, $128 \times 128$ 크기의 이미지를 생성합니다.
• 에이전트 루프: '세션'은 에이전트가 기존 이미지에서 분기하거나 무작위 개체군에서 시작하는 것으로 구성됩니다. 에이전트는 15 개 이미지로 구성된 개체군에서 부모를 선택하고, 변이 (및 교차) 를 적용한 후 20 세대에 걸쳐 개체군을 진화시킵니다. 최종 세대에서 에이전트는 공유 아카이브에 게시할 하나의 이미지를 선택하고 제목을 붙입니다.
• 에이전트 인터페이스: 에이전트는 아카이브의 샘플 (최고 평가, 최신 우수, 가장 많은 분기, 최신, 무작위로 분류됨) 을 받고, 부모를 선택하고, 색상/구조 모드를 전환하며, 변이 강도를 조정하도록 요청받습니다. 에이전트는 결정에 대한 근거를 제공해야 합니다.

실험적 개입

열린 끝성의 '구성 요소'를 식별하기 위해 저자들은 세 가지 주요 매개변수를 변형했습니다:

1. 기억 (컨텍스트 길이, $CL$): 에이전트의 컨텍스트 창에 포함되는 이전 상호작용 단계의 수.
   • $CL=0$: 현재 개체군만 표시됩니다.
   • $CL=1$(기본값): 현재 및 이전 한 턴이 표시됩니다.
   • $CL=20$(전체): 아카이브 대비 신기성을 정당화하도록 요청하는 특정 프롬프트를 포함하여 전체 세션 기록이 표시됩니다.
2. 탐색 (선택 노이즈, $\epsilon$): $\epsilon$-greedy 전략으로, 확률 $\epsilon$로 에이전트의 선택이 무작위 행동 (무작위 부모 선택, 무작위 변이 설정, 또는 색상 모드 전환) 으로 대체됩니다.
3. 다중 에이전트 다양성 ($N_A$): 에이전트에 할당된 고유한 '성격'의 수. 성격 특성 (예: "당신은 비명 지르는 사이렌의 시각적 대응물을 찾고 있습니다") 은 LLM 에 의해 생성되어 다양한 플레이 스타일을 시뮬레이션하기 위해 시스템 프롬프트 앞에 추가되었습니다.

평가 지표

저자들은 인간 아카이브의 'x-요인'을 정량화하기 위한 지표를 개발했습니다:

• 의미적 회상 (Semantic Recall): 공동 텍스트 - 시각 공간 (SigLIP2-B) 에서 아카이브 이미지와 클래스 임베딩 간의 최소 코사인 거리를 측정하여 THINGS 데이터셋 기반의 알려진 물체를 재발견하는 능력.
• 시각적 및 의미적 신기성: 임베딩 공간 (이미지의 경우 SigLIP-2-B-alignet, 캡션의 경우 gemini-embedding-001) 에서의 $k$-커버링 반경으로 측정됩니다. 이는 아카이브가 가능한 형태 공간을 얼마나 잘 커버하는지 정량화합니다.
• 계통수 균형 ($J_1$): 진화 계보의 다양성을 측정하는 지표로, 에이전트가 다양한 조상으로부터 분기하는지 아니면 동일한 소수의 이미지에서 반복적으로 분기하는지 평가합니다.

주요 결과

1. 탐색과 품질의 트레이드오프

• 노이즈 ($\epsilon$): 소량의 탐색적 노이즈 ($\epsilon \approx 0.25$) 를 도입하면 아카이브의 다양성 (시각적/의미적 커버리지) 이 증가하고 모드 붕괴가 방지됩니다. 그러나 노이즈 수준이 높을수록 ($\epsilon \ge 0.5$) 이미지의 가독성과 의미적 회상이 저하됩니다.
• 관찰: 노이즈는 계통 다양성 (에이전트가 더 다양한 출처에서 분기) 을 증가시켰지만, 깊고 의미 있는 장기적 변이로 이어지는 유전적 다양성을 반드시 증가시키지는 않았습니다. VLM 은 '고집스러운 편애'를 보이며 노이즈가 있는 세트에서도 특정 형태를 일관되게 선택했습니다.

2. 기억 (컨텍스트 길이) 의 역할

• $CL=0$: 에이전트는 심각한 모드 붕괴를 겪어 중복 및 거의 동일한 변형을 게시하여 의미적 회상이 낮았습니다.
• $CL=1$: 놀랍게도 효과적이었습니다. 한 단계의 컨텍스트만으로도 즉각적인 반복을 방지할 수 있었으며, 가장 높은 의미적 회상 점수를 기록했습니다.
• **$CL > 1$:** 컨텍스트 길이를 늘리면 일반적으로 성능이 저하되었습니다.$CL=2$와$CL=10$은 정보 과부하, 더 지저분한 이미지, 에이전트가 자신의 편향을 강화하는 자동 아첨 루프를 포함한 '병리적 행동'을 초래했습니다.
• **$CL=20$:** 다양성 지표가 정점에 달했지만 (명시적인 신기성 프롬프트로 인한 것으로 보임), 의미적 회상은$CL=1$보다 낮았으며 이미지는 종종 추상적이거나 노이즈가 많았습니다.

3. 다중 에이전트 역학

• 다양성: 에이전트 수 ($N_A$) 를 늘리면 시각적 및 의미적 커버리지와 계통 균형이 크게 향상되었습니다.
• 적대적 인공물: 에이전트 수가 많을 때 ($N_A = 1,000$), 아카이브는 고주파수, 해석 불가능한, '사이키델릭' 패턴으로 가득 차게 되었습니다. 이러한 이미지는 많은 다른 에이전트의 상충되는 추상적 선호도를 동시에 충족시키는 적대적 허브 역할을 했습니다. 이러한 이미지는 높은 의미적 커버리지 점수를 달성했지만, 질적으로 특징이 없고 노이즈가 많았습니다.

4. 인간 기준선과의 비교

역사적 인간 아카이브는 특히 의미적 회상과 이미지의 정제 측면에서 대부분의 지표를 압도했습니다. 인간은 의미 공간에서 '대담한 도약'(예: 얼굴에서 자동차로 점프) 을 할 수 있는 능력을 보인 반면, VLM 은 얼굴 $\to$ 눈 $\to$ 개구리 $\to$ 자동차와 같이 더 작고 점진적인 단계를 만드는 경향이 있었습니다.

중요성과 주장

본 논문은 최첨단 모델을 사용하더라도 VLM 에 의해 완전 자동화된 열린 끝성이 아직 달성되지 않았음을 주장합니다. 그러나 연구는 필요한 조건을 이해하기 위한 프레임워크를 제공합니다:

1. 최소한의 기억이 최적입니다: 더 많은 역사가 추론을 돕는다는 직관과 달리, 저자들은 과도한 컨텍스트가 병리적 행동과 모드 붕괴를 초래한다는 것을 발견했습니다. 최소 컨텍스트 ($CL=1$) 만으로도 최적의 성능을 발휘하기에 충분했습니다.
2. 탐색은 양날의 검입니다: 국소 최적점에서 벗어나기 위해 필요하지만, 노이즈가 너무 많으면 인공물의 품질이 저하됩니다.
3. 결속력 없는 다양성: 다중 에이전트 시스템은 검색 공간의 커버리지를 증가시키지만, 많은 에이전트를 만족시키지만 의미적 의미가 결여된 '적대적' 이미지의 확산을 초래할 수 있습니다.
4. 'x-요인' 격차: 저자들은 VLM 이 현재 인간 사용자의 '대담함과 식별력'이 부족하다고 결론지었습니다. VLM 은 다양한 인공물을 생성하도록 유도될 수 있지만, 인간 주도 열린 끝 검색의 특징인 고품질이며 의미적으로 일관된 신기성의 '발판'을 생성하는 데는 어려움을 겪습니다.

이 연구는 인간 수준의 열린 끝성을 달성하기 위해 미래 시스템은 이러한 개입을 신중하게 결합하고, 자동 최적화에만 의존하기보다는 지표를 보정하기 위해 사용자 연구를 통합해야 할 수 있음을 시사합니다. 해당 코드는 열린 끝성의 '구성 요소'에 대한 추가 연구를 촉진하기 위해 공개되었습니다.