SQUEEZE EVOLVE: 검증자 없는 진화를 위한 통합 다중 모델 오케스트레이션

이 논문은 SQUEEZE EVOLVE라는 새로운 프레임워크를 제안하며, 외부 검증자 (Verifier) 없이 대규모 언어 모델 (LLM) 을 진화시키는 과정에서 발생하는 **다양성 붕괴 (Diversity Collapse)**와 비효율적인 컴퓨팅 비용 문제를 해결합니다.

1. 문제 정의 (Problem)

기존의 테스트 시간 확장 (Test-time scaling) 및 자기 진화 (Self-evolution) 방법은 외부 검증자가 부재할 때 두 가지 주요 병목 현상에 직면합니다.

1. 다양성 붕괴 (Diversity Collapse): 외부 검증 없이 반복적인 진화 (선택, 변이, 재조합) 를 수행하면, 모델이 이미 알고 있는 좁은 해답 모드 (Narrow Modes) 로 빠르게 수렴하게 됩니다. 이는 탐색 공간의 다양성을 잃게 하여 최적해에 도달할 가능성을 낮춥니다.
2. 비효율적인 비용 (Inefficiency): 모든 진화 단계에 고비용의 최상위 모델 (State-of-the-art models) 을 일률적으로 사용하면 계산 자원이 낭비됩니다. 반면, 검증자 없는 진화는 검증 기반 방법보다 더 많은 토큰을 생성해야 하므로 비용이 급증합니다.

기존 연구들은 단일 모델을 사용하거나 검증자를 필수로 요구하는 경우가 많아, 비용 효율성과 성능을 동시에 달성하기 어려웠습니다.

2. 방법론 (Methodology)

저자들은 기존 테스트 시간 확장 방법들을 하나의 통합 진화 프레임워크로 재정의하고, 이를 **다중 모델 오케스트레이션 (Multi-model Orchestration)**으로 확장했습니다. 핵심 원리는 **"한계 효용이 가장 높은 단계에 모델 능력을 할당한다"**는 것입니다.

2.1 통합 진화 프레임워크

모든 테스트 시간 방법은 다음 진화 연산자로 표현될 수 있습니다:
$$\Phi_f(P) = \text{recomb}_f \circ \text{select}_f(P)$$
여기서 $P$는 후보 집단 (Population) 이며, 선택 (Select) 과 재조합 (Recombination) 연산자가 적합도 신호 (Fitness Signal) $f$를 기반으로 작동합니다.

2.2 SQUEEZE EVOLVE 의 핵심 전략

SQUEEZE EVOLVE 는 이 프레임워크에 **신뢰도 기반 라우팅 (Confidence-based Routing)**을 도입하여 다중 모델을 활용합니다.

• 모델 할당 전략:
  • 초기화 (Initialization): 가장 강력한 (비싼) 모델 (Model 2) 을 사용하여 초기 후보 집단을 생성합니다. 실험 결과 초기화 품질이 최종 정확도에 가장 큰 영향을 미칩니다.
  • 재조합 (Recombination): 각 진화 루프에서 생성된 후보 그룹의 **그룹 신뢰도 (Group Confidence, GC)**를 계산합니다.
    • 높은 신뢰도 (Easy): 모델이 확신하는 그룹은 저렴한 모델 (Model 1) 이나 경량 비-LLM 방법 (다수결 투표 등) 으로 재조합합니다.
    • 낮은 신뢰도 (Hard): 모델이 불확실하거나 충돌하는 그룹은 고비용의 강력한 모델 (Model 2) 로 라우팅하여 정밀하게 처리합니다.
• 적합도 신호 (Fitness Signal): 외부 검증자 없이 모델 고유의 신호를 활용합니다.
  • 그룹 신뢰도 (GC): 생성 중 이미 계산된 토큰 로그 확률 (Log-probabilities) 을 기반으로 합니다. (DeepConf 와 유사하지만 필터링이 아닌 라우팅에 사용).
  • 그룹 다양성 (Group Diversity): 토큰 로그 확률이 제공되지 않는 경우 (예: 일부 API), 그룹 내 고유한 답변 수를 다양성 지표로 사용합니다.

2.3 시스템 구현 (System Implementation)

• 지연 시간 매칭 (Latency-matched Serving): 고비용 모델 풀과 저비용 모델 풀의 처리 시간을 동기화하여 병목 현상을 방지하고 고정 예산 내 처리량 (Throughput) 을 극대화합니다.
• 신뢰도 엔진 (Confidence Engine): 토큰 수준의 로그 확률 텐서를 GPU 에서 직접 집계하여 스칼라 값만 반환하는 커스텀 프리필 (Prefill) 경로를 구현했습니다. 이는 기존 vLLM 경로 대비 4~10 배의 지연 시간 감소를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 및 다중 모델 오케스트레이션: 기존 테스트 시간 방법들을 단일 진화 프레임워크로 통합하고, 비용 - 성능 트레이드오프를 최적화하기 위한 다중 모델 라우팅 설계 축을 규명했습니다.
2. 신뢰도 기반 라우팅: 추가 추론 없이 생성 중 얻은 신호 (신뢰도/다양성) 만을 사용하여 각 재조합 그룹을 가장 비용 효율적인 모델로 라우팅하는 경량 메커니즘을 제안했습니다.
3. 검증자 없는 진화의 성능 한계 돌파: 검증 기반 방법 (Verifier-based) 과 동등하거나 더 나은 성능을 달성하는 첫 번째 검증자 없는 진화 방법입니다.
4. 시스템 최적화: 라우팅 오버헤드를 최소화 (2.4~4.3%) 하고, 고정 예산 하에서 최대 10 배의 처리량 향상을 달성하는 서비스 시스템을 공동 설계했습니다.

4. 실험 결과 (Results)

SQUEEZE EVOLVE 는 수학 (AIME 2025, HMMT 2025), 코딩 (LiveCodeBench V6), 비전 (MMMU-Pro, BabyVision), 추론 (ARC-AGI-V2), 과학적 발견 (Circle Packing) 등 8 개의 벤치마크에서 평가되었습니다.

• 비용 절감: API 비용을 1.3 배 ~ 3.3 배까지 절감하면서도 단일 모델 기반 진화 (RSA) 의 정확도를 유지하거나 초과했습니다.
• 처리량 향상: 고정된 GPU 예산 하에서 최대 10 배의 처리량 (Throughput) 향상을 달성했습니다.
• 성능 기록 (State-of-the-Art):
  • ARC-AGI-V2: 코드 실행 없이 **97.5%**의 정확도를 달성하며, 1 작업당 $7.74의 비용으로 새로운 비용 - 성능 프론티어를 설정했습니다. (기존 검증 기반 방법인 AlphaEvolve 등보다 저렴하고 정확함).
  • Circle Packing: 검증자 없이 AlphaEvolve 와 동급의 점수 (2.635896) 를 달성하여 과학적 발견 분야에서 검증자 없는 방법의 가능성을 입증했습니다.
  • 멀티모달: 이미지 처리가 필요한 초기 단계만 고비용 모델로 수행하고, 이후 단계는 텍스트 전용 저비용 모델로 대체하여 2.3~2.5 배의 비용 절감을 달성했습니다.

5. 의의 및 결론 (Significance)

SQUEEZE EVOLVE 는 **"더 많은 자원을 쓰는 것"이 아니라 "자원을 더 효율적으로 배분하는 것"**이 AI 성능 향상의 핵심임을 보여줍니다.

1. 경제적 실용성: 고비용의 검증자나 고사양 모델에 대한 의존도를 낮추어, 검증자 없는 진화 방식을 실제 산업 환경에 적용 가능하게 만들었습니다.
2. 다양성 유지: 단일 모델의 반복적 진화로 인한 다양성 붕괴를 다중 모델의 이질적인 추론 패턴을 통해 해결하여, 복잡한 문제 해결 능력을 유지했습니다.
3. 시스템적 통찰: 라우팅 알고리즘과 서비스 인프라를 공동 설계 (Co-design) 함으로써, 오버헤드를 최소화하고 대규모 배포 시의 확장성을 입증했습니다.

결론적으로, 이 연구는 검증자가 없는 환경에서도 고비용의 외부 피드백 없이, 모델 간 상호작용과 지능적인 자원 할당을 통해 최상급의 문제 해결 능력을 달성할 수 있음을 증명했습니다.