Riepilogo Tecnico: ELMER – Modello Linguistico Evolutivo per l'Esplorazione e il Raffinamento

1. Definizione del Problema

L'evoluzione dei programmi affronta tradizionalmente un disconnessione critica: sebbene sia possibile misurare se una mutazione migliori il fitness, manca del controllo sulla magnitudo del movimento della mutazione nello spazio comportamentale. I metodi attuali si affidano a proxy sintattici (ad esempio, modifiche di token, alberi o sottoporti) come scale di mutazione. Questi proxy sono inaffidabili perché una piccola modifica sintattica può alterare drasticamente la traccia di esecuzione di una policy, mentre una riscrittura massiccia potrebbe preservare lo stesso comportamento. Il documento identifica la necessità di una scala di mutazione in cui la magnitudo richiesta predica direttamente lo spostamento comportamentale realizzato.

2. Metodologia

Gli autori propongono ELMER, un sistema che scinde la rappresentazione utilizzata per la variazione dalla rappresentazione utilizzata per la valutazione. L'innovazione principale è un Modello Linguistico Evolutivo che ricerca su descrizioni di policy in linguaggio naturale (NL) e le compila in programmi eseguibili tipizzati.

Architettura del Sistema

• Rappresentazione: Le policy vengono mutate come descrizioni standardizzate in linguaggio naturale.
• Esecuzione: Un compilatore appreso mappa le descrizioni NL in codice Genetic Programming Trading Language (GPTL) per l'esecuzione deterministica e il backtesting.
• Spostamento Comportamentale: Definito come il disaccordo del segnale grezzo tra le sequenze di azioni genitore e figlio su una traiettoria storica condivisa.
• Il Modello: Un modello Qwen3-8B completamente sottoposto a fine-tuning che apprende tre operazioni condizionate dal compito:
  1. Mutazione Semantica Condizionale: Genera una descrizione NL figlia partendo da una descrizione genitore, dal feedback del backtest e da una forza richiesta ($s \in \{low, medium, high\}$).
  2. Compilazione NL-to-GPTL: Traduce la NL in codice eseguibile.
  3. Traduzione GPTL-to-NL: Converte il codice nuovamente nel formato standardizzato della NL.

Pipeline di Addestramento

Il processo di addestramento prevede due fasi distinte per apprendere il controllo basato sul comportamento:

1. Supervised Fine-Tuning (SFT) Basato sul Comportamento:
   • La supervisione è costruita da "catene di degradazione" che partono da programmi GPTL ad alto fitness.
   • Vengono applicate modifiche AST grammaticalmente valide per ridurre il fitness, creando transizioni genitore-figlio con distanze comportamentali note.
   • Queste transizioni vengono invertite e renderizzate in coppie NL, insegnando al modello ad associare le modifiche semantiche a specifici spostamenti comportamentali.
2. Common-Parent Offset Direct Preference Optimization (oDPO):
   • Per affinare il controllo, il modello è ottimizzato utilizzando un framework di preferenza.
   • Per un dato genitore e una forza richiesta, il modello preferisce un figlio il cui spostamento realizzato sia il più vicino possibile al regime target ($\mu_s$) rispetto a un figlio che devia.
   • A differenza del classico DPO che ottimizza per la qualità binaria, l'oDPO incorpora margini dipendenti dalla coppia basati sull'offset dello spostamento, permettendo al modello di apprendere una geometria ordinale e governabile dello spazio di mutazione.

Configurazione Sperimentale

• Dominio: Trading finanziario (E-mini S&P 500, Argento, Titoli del Tesoro USA) utilizzando dati orari dal 2008 al 2025.
• Protocollo: Ricerche a budget fisso con rigorosi holdout temporali. Il design sperimentale consiste in 216 ricerche nella matrice degli operatori appresi (sei operatori, tre algoritmi, tre asset e quattro seed) e una matrice AST separata di 36 ricerche per il baseline nativo, per un totale di 252 ricerche.
• Baseline:
  • Modello base non addestrato.
  • SFT senza etichette di forza.
  • Condizionamento tramite prompt (parole di forza senza grounding comportamentale).
  • SFT basato sul comportamento (senza oDPO).
  • Mutazione AST nativa (operatore progettato manualmente).
  • oDPO con codice-output corrispondente (stessi dati di addestramento/obiettivo, ma con output in codice GPTL invece che in NL).

3. Contributi Chiave

1. Definizione di Mutazione con Esecuzione-Grounded: Una definizione di spostamento della mutazione basata sul disaccordo della sequenza di azioni realizzata, accoppiata a un operatore di variazione condizionale su regimi comportamentali ordinati.
2. Modello Multitask Basato sul Comportamento: Un singolo LLM addestrato per la mutazione semantica, la compilazione e la traduzione utilizzando transizioni eseguibili, consentendo al modello di apprendere "quanto lontano" mutare.
3. Ablazioni Controllate: Un'isolazione sistematica del fine-tuning di dominio, del condizionamento basato sul comportamento, dell'oDPO e della rappresentazione in linguaggio naturale.
4. Analisi Meccanicistica: Un'analisi della calibrazione, della composizione delle modifiche semantiche e della località sintassi-comportamento delle mutazioni.

4. Risultati

Lo studio riporta i risultati attraverso 252 ricerche a budget fisso (216 sessioni con operatore appreso e 36 sessioni con baseline AST nativo).

• Calibrazione (Controllo della Forza):
  • oDPO raggiunge una correlazione media di Spearman di 0,824 tra la forza richiesta e lo spostamento realizzato.
  • L'SFT basato sul comportamento da solo raggiunge 0,310, e il condizionamento tramite prompt raggiunge 0,018.
  • L'oDPO trasforma con successo l'ordinamento parziale in un controllo coerente dei regimi.
• Efficienza di Ricerca:
  • NL oDPO supera significativamente l'SFT basato sul comportamento, la mutazione AST nativa e il modello oDPO con codice-output corrispondente in termini di Area Sotto la Curva (AUC) del miglior fitness di validazione finora osservato.
  • Il controllo con codice-output corrispondente (che isola la variabile della rappresentazione) mostra che la NL fornisce un vantaggio di efficienza di ricerca a budget finito rispetto alla mutazione diretta del codice.
• Performance su Dati Non Visti (Held-Out):
  • NL oDPO scopre la policy con il più alto Sharpe ratio osservato (Sharpe ratio di 2,3445).
  • Sebbene l'SFT basato sul comportamento mostri il valore medio e il quartile superiore più elevati per il fitness di test in aggregati descrittivi, l'NL oDPO dimostra una performance superiore nella coda superiore (upper-tail).
• Approfondimenti Meccanicistici:
  • Composizione Semantica: La forza richiesta cambia sistematicamente il tipo di modifiche. La forza bassa è dominata da cambiamenti di parametri (86,4%), mentre la forza alta si sposta verso riscritture strutturali, sostituzioni di indicatori e inversioni logiche.
  • Località Sintassi-Comportamento: Le mutazioni NL mostrano una correlazione più forte tra distanza sintattica e spostamento comportamentale ($\rho=0,88$) rispetto alle mutazioni AST native ($\rho=0,44$).
  • Preservazione del Fitness: A piccoli o moderati spostamenti comportamentali, le mutazioni NL preservano più fitness del genitore e hanno un tasso di fallimento catastrofico inferiore (9% vs 14%) rispetto alle mutazioni AST native.

5. Significato e Rivendicazioni

Il documento afferma che il linguaggio può servire come una rappresentazione di ricerca steerable (governabile) e basata sull'esecuzione su uno spazio di programmi eseguibili. Separando la variazione semantica dall'esecuzione deterministica, ELMER affronta l'incapacità storica dell'evoluzione dei programmi di controllare la magnitudo del cambiamento comportamentale.

Gli autori sottolineano che il sistema sposta l'evoluzione dei programmi oltre la "perturbazione sintattica cieca" verso un "movimento deliberato e basato sull'esecuzione". La scoperta chiave è che il modello apprende non solo cosa cambiare, ma quanto lontano muoversi nello spazio comportamentale. Sebbene i risultati mostrino miglioramenti significativi nella calibrazione e nell'efficienza della ricerca, gli autori rimangono cauti riguardo alla generalizzabilità della performance della coda superiore, notando che i pattern del ciclo esterno (ad esempio, MAP-Elites rispetto a $(\mu, \lambda)$-ES) sono eterogenei e che l'esperimento non isola completamente il ruolo della memoria dell'archivio nel preservare l'esplorazione strutturata.

Il lavoro dimostra che condizionare un modello linguistico sullo spostamento comportamentale tramite oDPO crea un meccanismo di controllo ordinale affidabile, consentendo un'esplorazione più efficiente dello spazio dei programmi rispetto ai tradizionali operatori sintattici o ai modelli linguistici non condizionati.