AdaptEvolve: Improving Efficiency of Evolutionary AI Agents through Adaptive Model Selection

1. Enunciato del Problema

I sistemi agenziali evolutivi (ad esempio, AlphaEvolve, OpenEvolve) potenziano le capacità di ragionamento generando, mutando e selezionando iterativamente soluzioni candidate utilizzando Modelli Linguistici di Grande Dimensione (LLM). Tuttavia, questi sistemi affrontano un compromesso critico:

• Costo Computazionale: L'invocazione ripetuta di modelli grandi ad alta capacità (ad esempio, 32B+ parametri) per ogni fase di raffinamento è proibitivamente costosa.
• Capacità di Ragionamento: Modelli più piccoli ed efficienti (ad esempio, 4B parametri) spesso falliscono in compiti di ragionamento complesso o in "casi limite" che emergono man mano che la ricerca evolutiva procede.

Le soluzioni esistenti, come le catene di modelli (model cascades) o il routing statico, si basano tipicamente su euristiche fisse o classificatori esterni. Questi approcci non tengono conto dell'incertezza intrinseca del modello e della natura non stazionaria della ricerca evolutiva, dove la difficoltà dei problemi cambia dinamicamente mentre la popolazione evolve verso soluzioni più complesse. Di conseguenza, i router statici spesso passano a modelli grandi senza necessità o non passano quando necessario, portando a un'efficienza costo-risultato subottimale.

2. Metodologia: Framework AdaptEvolve

AdaptEvolve introduce un framework per la Selezione Adattiva degli LLM all'interno di un ciclo di raffinamento sequenziale evolutivo. Invece di utilizzare controller esterni, sfrutta la confidenza intrinseca di generazione per prendere decisioni di routing in tempo reale.

Componenti Principali

1. Architettura a Doppio Modello:

   • $M_S$ (Modello Piccolo): Un modello efficiente in termini di costi (ad esempio, Qwen3-4B) utilizzato per le fasi di raffinamento di routine.
   • $M_L$ (Modello Grande): Un modello ad alta densità di capacità (ad esempio, Qwen3-32B) riservato per ostacoli di ragionamento complessi ad alta entropia.

2. Metriche di Confidenza Intrinseca:
   Il sistema calcola un vettore di confidenza $C(x_i)$ basato sull'entropia dei token dalla generazione del modello piccolo. Utilizza quattro metriche scalari (adattate da Fu et al., 2025):

   • Confidenza Media (MC): Incertezza media globale.
   • Confidenza del Gruppo più Basso (LGC): La massima incertezza in una finestra scorrevole, che identifica l'"anello debole" nella catena di ragionamento.
   • Confidenza della Coda (TC): Incertezza dei token finali, che valuta la stabilità della conclusione.
   • Confidenza Bottom-K% (BWC): Media delle percentili di incertezza più alti, che distingue le allucinazioni sistemiche dal rumore transitorio.

3. Meccanismo di Routing Adattivo ($\Phi$):
   La funzione di routing è un classificatore binario leggero che decide se mantenere l'output del modello piccolo o passare al modello grande:
   $$x'_i = \begin{cases} M_S(x_i) & \text{se } \Phi(C(x_i)) = 1 \\ M_L(x_i) & \text{altrimenti} \end{cases}$$

   • Fase di Warm-up: Un albero decisionale superficiale (impurità di Gini, profondità=5) viene avviato utilizzando un insieme minimo di 50 campioni etichettati per catturare le interazioni non lineari tra le metriche di confidenza.
   • Adattamento Online (HAT): Per gestire il cambiamento concettuale (dove la difficoltà del problema cambia man mano che la popolazione evolve), il sistema impiega un Albero Adattivo di Hoeffding (HAT). L'HAT aggiorna incrementalemente i criteri di divisione e monitora i tassi di errore delle foglie, potando e rigenerando automaticamente i rami per ricalibrare le soglie di passaggio in tempo reale.

3. Contributi Chiave

• Selezione Guidata dall'Incertezza Intrinseca: La prima applicazione di una selezione adattiva consapevole dell'incertezza specificamente per il raffinamento agenziale evolutivo, allontanandosi dalle euristiche statiche o dai modelli di routing esterni.
• Calibrazione Leggera: Introduce un metodo efficiente in termini di risorse che utilizza un insieme minimo di warm-up ($N=50$) per addestrare un albero decisionale, eliminando la necessità di router esterni pesanti.
• Gestione della Non Stazionarietà: Affida la sfida unica del "cambiamento concettuale a livello di popolazione" nella ricerca evolutiva, dove i router statici si degradano nel tempo. AdaptEvolve è il primo a utilizzare l'adattamento online al momento del test (tramite HAT) per questo specifico contesto.
• Efficienza Pareto: Dimostra un compromesso superiore tra costo e accuratezza, superando significativamente le baseline statiche e gli approcci a cascata.

4. Risultati Sperimentali

Il framework è stato valutato su benchmark di codifica (LiveCodeBench v5, MBPP e HumanEval) utilizzando le famiglie di modelli Qwen3 e LLaMA 3.1.

• Riduzione dei Costi: AdaptEvolve ha ridotto i costi computativi totali di inferenza di una media del 37,9% tra i benchmark.
• Mantenimento dell'Accuratezza: Nonostante la riduzione dei costi, il sistema ha mantenuto il 97,5% dell'accuratezza del limite superiore raggiunta dalle baseline statiche con modelli grandi.
• Guadagni di Efficienza:
  • Su LiveCodeBench, ha raggiunto un punteggio di efficienza di 35,4 (Accuratezza/Costo), superando il modello statico da 32B (23,7) e la baseline a cascata (26,3).
  • Su MBPP, ha ridotto i costi del 41,5% mantenendo il 97,1% dell'accuratezza di picco, risultando in un punteggio di efficienza di 132,3 (quasi il doppio del modello grande puro).
• Generalizzazione: Il metodo si è generalizzato efficacemente ai modelli LLaMA 3.1 (8B vs 70B) su HumanEval, raggiungendo un speedup di 1,56× rispetto alla baseline iterativa da 70B, superando il campionamento casuale a rapporti di routing identici.
• Impatto dell'Adattamento: L'Albero Adattivo di Hoeffding (HAT) ha superato gli alberi decisionali statici di 2,4 punti di accuratezza su LiveCodeBench, dimostrando la necessità dell'adattamento online per compiti evolutivi non stazionari.

5. Significato e Limitazioni

Significato:
AdaptEvolve fornisce una via scalabile per il ragionamento agenziale dimostrando che l'allocazione intelligente delle risorse basata su segnali intrinseci del modello è più efficace del scaling brute-force o delle regole statiche. Consente ad agenti evolutivi di codifica complessi di operare a una frazione del costo computazionale senza sacrificare le prestazioni, rendendo il ragionamento AI di alto livello più accessibile.

Limitazioni:

• Restrizione di Dominio: Il framework si basa su codice eseguibile e segnali di passaggio/fallimento dei casi di test come metrica di fitness evolutiva. È attualmente limitato ai benchmark di codifica e non può essere applicato direttamente a compiti di ragionamento matematico o aperto dove le soluzioni sono simboliche o non eseguibili, poiché il ciclo di valutazione del fitness si interromperebbe.
• Dipendenza dal Modello: Sebbene si generalizzi tra famiglie di modelli, le soglie specifiche di confidenza e la logica di routing sono sintonizzate in base alle proprietà statistiche delle coppie di modelli specifiche utilizzate.

In conclusione, AdaptEvolve rappresenta un passo significativo in avanti nel rendere gli agenti AI evolutivi computazionalmente fattibili per il deployment nel mondo reale, bilanciando dinamicamente il compromesso tra "modello piccolo per la velocità" e "modello grande per l'accuratezza".