When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs

Sintesi Tecnica: Modellazione dell'Esecuzione Sensibile alla Distribuzione per Programmi Go Concorrenti

Problema
Addestrare modelli linguistici a predire il passaggio successivo in un programma concorrente è fondamentalmente diverso rispetto al codice sequenziale a causa del nondeterminismo dello scheduler. Nell'esecuzione sequenziale, uno stato e un'istruzione specifici generano un unico stato successivo deterministico. Nei programmi Go concorrenti, tuttavia, lo stesso prefisso di esecuzione può legittimamente portare a diversi eventi successivi (ad esempio, un blocco, un inizio o uno sblocco) a seconda di come lo scheduler interleccia le goroutine.

I modelli standard di Code World Models (CWM) addestrati con la perdita di cross-entropy assumono un singolo etichetta corretta per ogni input. Quando applicati a tracce concorrenti, questo costringe il modello a memorizzare un esito arbitrario di un processo casuale, fallendo nel catturare la dinamica sottostante. Questa limitazione è critica perché i bug di concorrenza (deadlock, data race, goroutine leak) sono intrinsecamente dipendenti dallo scheduler e mancano di analoghi sequenziali. I benchmark e i modelli esistenti spesso non affrontano questo nondeterminismo, trattandolo come rumore piuttosto che come una proprietà strutturale dell'esecuzione.

Metodologia
Gli autori propongono di riformulare la predizione del prossimo evento come stima della distribuzione piuttosto che come predizione puntuale. Invece di addestrare un modello a indovinare un singolo evento successivo, l'approccio aggrega gli eventi successivi osservati da più esecuzioni dello stesso programma per formare una distribuzione empirica.

• Raccolta Dati: Lo studio utilizza 130 programmi Go concorrenti, inclusi pattern creati a mano, codice sintetizzato e 66 kernel di bug di concorrenza reali provenienti da sistemi di produzione (CockroachDB, Kubernetes, gRPC, etcd). Ogni programma viene eseguito cinque volte sotto un tracciatore di runtime per catturare gli eventi dello scheduler.
• Definizione del Target: Per un dato prefisso del programma, il target non è una singola etichetta ma una distribuzione empirica $\hat{p}_g$ su sei tipi di eventi: GoBlock, GoCreate, GoEnd, GoSched, GoStart e GoUnblock. Questa distribuzione è derivata dalla frequenza degli eventi successivi osservati attraverso esecuzioni ripetute.
• Addestramento del Modello: Gli autori effettuano il fine-tuning di un modello da 7 miliardi di parametri (Qwen2.5-Coder) utilizzando due obiettivi:
  1. Cross-Entropy (CE): Un baseline dove gli esempi sono duplicati proporzionalmente alla frequenza dell'evento per approssimare la distribuzione.
  2. Divergenza KL (KL): Un obiettivo sensibile alla distribuzione che minimizza la divergenza di Kullback-Leibler tra la distribuzione predetta dal modello e il target empirico. Il termine KL è applicato specificamente alla posizione del token che discrimina i tipi di evento.
• Valutazione: Il modello viene valutato su un set di test (held-out) di 66 bug reali di produzione (GoKer) che non ha mai visto durante l'addestramento. Le metriche includono l'accuratezza top-1, l'Expected Calibration Error (ECE) e la coerenza multi-step (simulando l'esecuzione rialimentando le predizioni come input).

Contributi Chiave

1. Addestramento Sensibile alla Distribuzione: Il paper dimostra che trattare il nondeterminismo dello scheduler come un segnale permette a un modello di apprendere i "futuri validi" consentiti dallo scheduler Go. Un modello da 7B sottoposto a fine-tuning su meno di 1.000 tracce raggiunge un'accuratezza del 36,2% sui bug di produzione non visti, superando lo zero-shot dello stesso modello (28,6%) e dello zero-shot di Gemini 3.5 Flash (34,8%).
2. Miglioramento della Calibrazione: Sebbene l'addestramento sulla distribuzione (perdita KL) raggiunga un'accuratezza comparabile alla cross-entropy (35,8% vs 36,2%), migliora significativamente la calibrazione del modello. L'Expected Calibration Error scende da 0,205 a 0,169, e l'entropia del modello correla con il nondeterminismo del programma, permettendo al modello di esprimere incertezza dove appropriato.
3. Firma Formale di Leak: Gli autori derivano una firma formale per una classe specifica di goroutine leak: le goroutine bloccate in un select (select-blocked goroutines). Dimostrano che per questi casi, la probabilità di un evento GoUnblock è esattamente zero ($P(\text{GoUnblock}) = 0$) a tutte le profondità della traccia. Questo è una conseguenza della semantica dello scheduler Go (se nessuna goroutine raggiungibile può soddisfare la condizione del select, lo sblocco è impossibile) piuttosto che un pattern statistico appreso.
4. Identificazione dei Limiti: Lo studio mappa esplicitamente i confini dell'approccio. L'accuratezza si stabilizza vicino al 35–36% indipendentemente dalla dimensione del modello o dall'obiettivo. Il modello fallisce nel predire tipi di eventi rari (GoEnd, GoSched) a causa dello sbilanciamento delle classi e del distribution shift. Inoltre, le predizioni multi-step perdono la coerenza dello scheduler dopo circa un passo, poiché il modello è stato addestrato solo su transizioni a singolo step.

Risultati e Analisi

• Ceto di Accuratezza: Il limite di performance (~36%) è attribuito a due fattori: lo sbilanciamento delle classi (eventi rari come GoEnd e GoSched non vengono mai predetti correttamente) e il distribution shift (i bug del mondo reale esercitano i tipi di evento come GoCreate e GoSched più frequentemente rispetto al set di addestramento creato a mano).
• Performance Specifiche per Evento: Il modello apprende bene gli eventi comuni del ciclo di vita (GoStart al 47%, GoCreate al 44%), ma fallisce sugli eventi rari. Notevolmente, GoCreate raggiunge il 44% di accuratezza nonostante rappresenti solo l'1,5% dei dati di addestramento, suggerendo che il modello ragiona sulla struttura del programma piuttosto che sulla semplice frequenza.
• Coerenza Multi-Step: Quando usato autoregressivamente, il modello produce transizioni valide per circa un passo prima di violare gli invarianti di Go. Ciò conferma che l'addestramento a singolo step non si trasferisce alla simulazione multi-step senza un addestramento su traiettorie.
• Ragionamento: Abilitare le modalità di "pensiero" (thinking modes) nel modello baseline (Gemini) non ha migliorato l'accuratezza, indicando che il compito si basa su segnali strutturali piuttosto che sul ragionamento deduttivo multi-step.

Significatività e Rivendicazioni
Gli autori dichiarano esplicitamente di non rivendicare un rilevatore di bug distribuibile o un simulatore di esecuzione pronto per la produzione. La significatività del lavoro risiede in:

• Formulazione: Fornire un framework principato per modellare l'esecuzione concorrente come stima della distribuzione.
• Dataset e Baseline: Rilasciare un dataset di tracce concorrenti, adapter addestrati e strumenti per stabilire baseline per questo specifico problema.
• Chiarimento dei Limiti: Dimostrare che, sebbene l'addestramento sensibile alla distribuzione funzioni e migliori la calibrazione, rimangono ostacoli significativi (eventi rari, distribution shift, coerenza multi-step) che devono essere affrontati affinché l'approccio sia più efficace.

Il paper conclude che l'attuale approccio prova la fattibilità dell'addestramento sensibile alla distribuzione per il codice concorrente, ma evidenzia che i lavori futuri devono concentrarsi sull'addestramento delle traiettorie, su rappresentazioni di stato più ricche (inclusi i buffer dei canali e il possesso dei mutex) e sul riequilibrio dei dati di addestramento per corrispondere alle distribuzioni di eventi del mondo reale.