When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs

Resumo Técnico: Modelagem de Execução Consciente de Distribuição para Programas Go Concorrentes

Definição do Problema
Treinar modelos de linguagem para prever o próximo passo em um programa concorrente é fundamentalmente diferente de código sequencial devido ao não determinismo do escalonador. Na execução sequencial, um estado e uma instrução específicos geram um próximo estado único e determinístico. Em programas Go concorrentes, no entanto, o mesmo prefixo de execução pode legitimamente levar a múltiplos eventos subsequentes diferentes (por exemplo, um bloqueio, um início ou um desbloqueio) dependendo de como o escalonador interleia as goroutines.

Os Modelos de Mundo de Código (CWMs) padrão, treinados com perda de entropia cruzada, assumem um único rótulo correto por entrada. Quando aplicados a traços concorrentes, isso força o modelo a memorizar um resultado arbitrário de um processo aleatório, falhando em capturar a dinâmica subjacente. Essa limitação é crítica porque bugs de concorrência (deadlocks, corridas de dados, vazamentos de goroutines) são inerentemente dependentes do escalonamento e carecem de análogos sequenciais. Benchmarks e modelos existentes frequentemente falham em abordar esse não determinismo, tratando-o como ruído em vez de uma propriedade estrutural da execução.

Metodologia
Os autores propõem reformular a predição do próximo evento como estimativa de distribuição, em vez de predição de ponto. Em vez de treinar um modelo para adivinhar um único próximo evento, a abordagem agrega eventos subsequentes observados de múltiplas execuções do mesmo programa para formar uma distribuição empírica.

• Coleta de Dados: O estudo utiliza 130 programas Go concorrentes, incluindo padrões criados à mão, código sintetizado e 66 núcleos de bugs de concorrência do mundo real provenientes de sistemas de produção (CockroachDB, Kubernetes, gRPC, etcd). Cada programa é executado cinco vezes sob um rastreador de tempo de execução para capturar eventos de escalonamento.
• Definição de Alvo: Para um prefixo de programa dado, o alvo não é um único rótulo, mas uma distribuição empírica $\hat{p}_g$ sobre seis tipos de eventos: GoBlock, GoCreate, GoEnd, GoSched, GoStart e GoUnblock. Esta distribuição é derivada da frequência de eventos subsequentes observados através de execuções repetidas.
• Treinamento do Modelo: Os autores realizam o ajuste fino (fine-tuning) de um modelo de 7B parâmetros (Qwen2.5-Coder) usando dois objetivos:
  1. Entropia Cruzada (CE): Um baseline onde os exemplos são duplicados proporcionalmente à frequência do evento para aproximar a distribuição.
  2. Divergência KL (KL): Um objetivo consciente da distribuição que minimiza a divergência de Kullback-Leibler entre a distribuição prevista pelo modelo e o alvo empírico. O termo KL é aplicado especificamente na posição do token que discrimina os tipos de eventos.
• Avaliação: O modelo é avalado em um conjunto de teste de 66 bugs de produção do mundo real (GoKer) que nunca viu durante o treinamento. As métricas incluem acurácia top-1, Erro de Calibração Esperada (ECE) e coerência de múltiplos passos (simulando a execução ao retroalimentar as predições como entrada).

Principais Contribuições

1. Treinamento Consciente de Distribuição: O artigo demonstra que tratar o não determinismo do escalonador como um sinal permite que o modelo aprenda os "futuros válidos" permitidos pelo escalonador Go. Um modelo de 7B ajustado com menos de 1.000 traços alcança 36,2% de acurácia em bugs de produção não vistos (held-out), superando o mesmo modelo zero-shot (28,6%) e o Gemini 3.5 Flash zero-shot (34,8%).
2. Melhoria de Calibração: Embora o treinamento de distribuição (perda KL) alcance uma acurácia comparável à entropia cruzada (35,8% vs 36,2%), ele melhora significativamente a calibração do modelo. O Erro de Calibração Esperada cai de 0,205 para 0,169, e a entropia do modelo correlaciona-se com o não determinismo do programa, permitindo que o modelo expresse incerteza quando apropriado.
3. Assinatura Formal de Vazamento: Os autores derivam uma assinatura formal para uma classe específica de vazamentos de goroutines: goroutines bloqueadas em select. Eles mostram que, para esses casos, a probabilidade de um evento GoUnblock é exatamente zero ($P(\text{GoUnblock}) = 0$) em todas as profundidades do traço. Isso é uma consequência da semântica do escalonador Go (se nenhuma goroutine alcançável puder satisfazer a condição do select, o desbloqueio é impossível) e não um padrão estatístico aprendido.
4. Identificação de Limitações: O estudo mapeia explicitamente os limites da abordagem. A acurácia estabiliza perto de 35–36%, independentemente do tamanho do modelo ou do objetivo. O modelo falha em prever tipos de eventos raros (GoEnd, GoSched) devido ao desequilíbrio de classes e ao deslocamento de distribuição (distribution shift). Além disso, as predições de múltiplos passos perdem a coerência do escalonador após aproximadamente um passo, pois o modelo foi treinado apenas em transições de passo único.

Resultados e Análise

• Teto de Acurácia: O teto de desempenho (~36%) é atribuído a dois fatores: desequilíbrio de classes (eventos raros como GoEnd e GoSched nunca são previstos corretamente) e deslocamento de distribuição (bugs do mundo real exercitam tipos de eventos como GoCreate e GoSched com mais frequência do que o conjunto de treinamento criado à mão).
• Desempenho Específico por Evento: O modelo aprende bem eventos comuns de ciclo de vida (GoStart com 47%, GoCreate com 44%), mas falha em eventos raros. Notavelmente, o GoCreate atinge 44% de acurácia, apesar de representar apenas 1,5% dos dados de treinamento, sugerindo que o modelo raciocina a partir da estrutura do programa e não apenas pela frequência.
• Coerência de Múltiplos Passos: Quando usado de forma autorregressiva, o modelo produz transições válidas por aproximadamente um passo antes de violar os invariantes do Go. Isso confirma que o treinamento de passo único não se transfere para a simulação de múltiplos passos sem o treinamento de trajetória.
• Raciocínio: Habilitar modos de "pensamento" (thinking modes) no modelo baseline (Gemini) não melhorou a acurácia, indicando que a tarefa depende de sinais estruturais e não de raciocínio dedutivo de múltiplos passos.

Significância e Alegações
Os autores declaram explicitamente que não estão alegando possuir um detector de bugs implantável ou um simulador de execução pronto para produção. A significância do trabalho reside em:

• Formulação: Fornecer um framework principiado para modelar a execução concorrente como estimativa de distribuição.
• Dataset e Baselines: Lançar um conjunto de dados de traços concorrentes, adaptadores treinados e ferramentas para estabelecer bases para este problema específico.
• Esclarecimento de Limites: Demonstrar que, embora o treinamento consciente de distribuição funcione e melhore a calibração, obstáculos significativos permanecem (eventos raros, deslocamento de distribuição, coerência de múltiplos passos) que devem ser abordados para que a abordagem seja mais eficaz.

O artigo conclui que a abordagem atual prova a viabilidade do treinamento consciente de distribuição para código concorrente, mas destaca que trabalhos futuros devem focar em treinamento de trajetória, representações de estado mais ricas (incluindo buffers de canais e posse de mutexes) e rebalanceamento dos dados de treinamento para corresponder às distribuições de eventos do mundo real.