Squeeze Evolve: Unified Multi-Model Orchestration for Verifier-Free Evolution

Resumen Técnico: SQUEEZE EVOLVE

1. El Problema

El artículo identifica dos cuellos de botella críticos en la evolución sin verificador (verifier-free evolution) de modelos de lenguaje (LLM):

• Colapso de la diversidad: Sin un verificador externo para corregir errores, los procesos evolutivos repetidos tienden a converger prematuramente hacia modos estrechos de soluciones, perdiendo la diversidad semántica necesaria para explorar el espacio de soluciones y encontrar respuestas óptimas.
• Ineficiencia económica: Los métodos actuales de evolución (como RSA o AlphaEvolve) suelen utilizar un único modelo de alta capacidad (y alto costo) para todas las etapas del proceso (generación, selección, recombinación). Esto desperdicia recursos computacionales, ya que no todas las tareas dentro del bucle evolutivo requieren la misma capacidad de razonamiento.

El desafío principal es lograr una evolución robusta sin verificadores externos (que son costosos o inexistentes en dominios como la fusión nuclear o la investigación científica) mientras se optimiza el costo computacional.

2. Metodología: SQUEEZE EVOLVE

Los autores proponen SQUEEZE EVOLVE, un marco unificado de orquestación multi-modelo que asigna dinámicamente diferentes modelos a diferentes etapas del proceso evolutivo basándose en su utilidad marginal.

Principios Fundamentales:

• Orquestación Multi-Modelo: En lugar de usar un solo modelo, el sistema utiliza una jerarquía de modelos (por ejemplo, un modelo "barato" y un modelo "caro/experto").
• Enrutamiento Basado en Confianza (Confidence-Based Routing): El sistema utiliza señales intrínsecas del modelo (probabilidades de tokens o diversidad de respuestas) como señales de "fitness" para decidir qué modelo debe procesar un grupo de candidatos.
  • Si un grupo de candidatos muestra alta confianza (consenso fuerte) o baja diversidad, se asigna a un modelo barato o a un método de agregación ligera (como votación mayoritaria).
  • Si un grupo muestra baja confianza o alta diversidad (indicando incertidumbre o dificultad), se asigna al modelo más potente para una recombinación de alta calidad.
• Estrategia de Inicialización: Se prioriza el uso del modelo más fuerte solo en la fase de inicialización (generación de la población inicial), ya que la calidad de la semilla inicial es el predictor más fuerte del éxito final. Las etapas posteriores de agregación pueden delegarse a modelos más pequeños si los candidatos son prometedores.

Algoritmo:
El marco unifica métodos existentes (votación mayoritaria, refinamiento auto-reflexivo, RSA) bajo un operador evolutivo único $\Phi_f = \text{recomb}_f \circ \text{select}_f$.

1. Inicialización: El modelo más fuerte genera la población inicial.
2. Bucle Evolutivo:
   • Puntuación: Se calcula la confianza del grupo (GC) o la diversidad de respuestas.
   • Selección: Se forman grupos de candidatos.
   • Enrutamiento: Basado en un umbral de percentil de confianza, los grupos se asignan a:
     • Modelo 2 (Caro): Para grupos difíciles/incierto.
     • Modelo 1 (Barato): Para grupos fáciles/consensuados.
     • Agregación Ligera: Para grupos con consenso total.
   • Actualización: Se fusionan los resultados en la población siguiente.

Implementación del Sistema:
Para evitar que la sobrecarga de enrutamiento anule los beneficios, los autores diseñaron un sistema de inferencia personalizado:

• Motor de Confianza: Implementado en vLLM, calcula la puntuación de confianza directamente en la GPU durante la fase de "prefill" (sin decodificación autoregresiva), reduciendo la latencia de puntuación en un 4-10x.
• Pools de GPU Sincronizados: Se asignan recursos de GPU a los modelos grande y pequeño de tal manera que sus tiempos de servicio por bucle sean similares, evitando cuellos de botella y maximizando el rendimiento.

3. Contribuciones Clave

1. Unificación Teórica: Se presenta un marco evolutivo unificado que demuestra que diversos métodos de escalado en tiempo de prueba son instancias del mismo proceso, revelando que el colapso de la diversidad es el obstáculo central en la evolución sin verificador.
2. Señales de Fitness Intrínsecas: Se demuestra que las señales de confianza del modelo (log-probabilidades) y la diversidad de respuestas son proxies efectivos para la calidad de los candidatos, eliminando la necesidad de verificadores externos costosos.
3. Orquestación Multi-Modelo Eficiente: Se introduce un mecanismo de enrutamiento ligero que asigna tareas a modelos de menor costo sin sacrificar la precisión, logrando un equilibrio óptimo entre costo y capacidad.
4. Sistema de Inferencia Co-diseñado: Se desarrolló una infraestructura de servicio que minimiza la latencia de enrutamiento (solo un 2.4-4.3% de sobrecarga) y aumenta el rendimiento (throughput) bajo un presupuesto fijo de GPU.

4. Resultados Experimentales

El método se evaluó en 8 benchmarks que abarcan matemáticas (AIME 2025, HMMT 2025, GPQA-Diamond), codificación (LiveCodeBench V6), visión (MMMU-Pro, BabyVision), razonamiento visual (ARC-AGI-V2) y descubrimiento científico (Circle Packing).

Hallazgos Principales:

• Reducción de Costos: SQUEEZE EVOLVE reduce los costos de API entre 1.3x y 3.3x en comparación con el uso exclusivo del modelo más fuerte, manteniendo o superando la precisión.
• Aumento de Rendimiento (Throughput): Bajo un presupuesto fijo de GPU, el sistema logra un aumento de rendimiento de 4x a 10x en comparación con el enfoque de un solo modelo.
• Resultados de Vanguardia (SoTA):
  • En ARC-AGI-V2, alcanzó un 97.5% de precisión a un costo de $7.74 por tarea, superando a métodos basados en verificación y ejecución de código que cuestan más del doble.
  • En MMMU-Pro, un par heterogéneo (modelo de texto barato + modelo de visión caro) superó al modelo de visión caro solo, ahorrando un 2.7x en costos, demostrando que la comprensión visual solo es crítica en la inicialización.
  • En Circle Packing, fue el primer método evolutivo sin verificador que igualó o superó a enfoques basados en verificadores (como AlphaEvolve) en la optimización de empaquetado de círculos.
• Diversidad: A diferencia de la evolución de un solo modelo que colapsa la diversidad semántica rápidamente, SQUEEZE EVOLVE mantiene una diversidad más alta y un "techo" de rendimiento (pass@K) más estable a lo largo de los bucles evolutivos.

5. Significado e Impacto

SQUEEZE EVOLVE representa un cambio de paradigma en la inferencia de LLMs:

• Democratización de la Evolución: Hace viable la evolución de modelos en dominios donde los verificadores externos son imposibles de obtener (ej. investigación científica de alto costo), permitiendo el descubrimiento autónomo.
• Eficiencia Económica: Demuestra que la "inteligencia" no necesita ser uniformemente costosa; la asignación inteligente de recursos (modelos grandes para tareas difíciles, pequeños para tareas fáciles) es más eficiente que escalar linealmente el uso de modelos grandes.
• Escalabilidad Sostenible: Proporciona una ruta para escalar el cómputo en tiempo de prueba (test-time scaling) de manera económicamente sostenible, superando las limitaciones de costos que han frenado la adopción de métodos evolutivos complejos.

En resumen, el trabajo demuestra que la orquestación multi-modelo basada en señales de confianza intrínsecas permite superar las limitaciones de la evolución sin verificador, logrando resultados de vanguardia a una fracción del costo computacional.