When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs

Resumen Técnico: Modelado de Ejecución Consciente de la Distribución para Programas Concurrentes en Go

Planteamiento del Problema
Entrenar modelos de lenguaje para predecir el siguiente paso en un programa concurrente es fundamentalmente diferente de la ejecución secuencial debido al no determinismo del planificador (scheduler). En la ejecución secuencial, un estado y una sentencia específicos producen un siguiente estado único y determinista. Sin embargo, en los programas concurrentes de Go, el mismo prefijo de ejecución puede conducir legítimamente a múltiples eventos siguientes diferentes (por ejemplo, un bloqueo, un inicio o un desbloqueo) dependiendo de cómo el planificador entrelace las goroutines.

Los Modelos de Mundo de Código (CWMs) estándar, entrenados con pérdida de entropía cruzada, asumen una única etiqueta correcta por entrada. Al aplicarse a trazas concurrentes, esto obliga al modelo a memorizar un resultado arbitrario de un proceso aleatorio, fallando al capturar la dinámica subyacente. Esta limitación es crítica porque los errores de concurrencia (deadlocks, condiciones de carrera de datos, fugas de goroutines) son inherentemente dependientes del plan de ejecución y carecen de análogos secuenciales. Los benchmarks y modelos existentes a menudo no abordan este no determinismo, tratándolo como ruido en lugar de como una propiedad estructural.

Metodología
Los autores proponen reformular la predicción del siguiente evento como una estimación de la distribución en lugar de una predicción puntual. En lugar de entrenar a un modelo para adivinar un único siguiente evento, el enfoque agrega los eventos siguientes observados de múltiples ejecuciones del mismo programa para formar una distribución empírica.

• Recolección de Datos: El estudio utiliza 130 programas concurrentes de Go, que incluyen patrones diseñados a mano, código sintetizado y 66 núcleos de errores de concurrencia del mundo real provenientes de sistemas de producción (CockroachDB, Kubernetes, gRPC, etcd). Cada programa se ejecuta cinco veces bajo un rastreador de tiempo de ejecución (runtime tracer) para capturar eventos del planificador.
• Definición del Objetivo: Para un prefijo de programa dado, el objetivo no es una única etiqueta, sino una distribución empírica $\hat{p}_g$ sobre seis tipos de eventos: GoBlock, GoCreate, GoEnd, GoSched, GoStart y GoUnblock. Esta distribución se deriva de la frecuencia de los eventos siguientes observados a través de ejecuciones repetidas.
• Entrenamiento del Modelo: Los autores ajustan un modelo de 7B de parámetros (Qwen2.5-Coder) utilizando dos objetivos:
  1. Entropía Cruzada (CE): Un baseline donde los ejemplos se duplican proporcionalmente a la frecuencia del evento para aproximar la distribución.
  2. Divergencia KL (KL): Un objetivo consciente de la distribución que minimiza la divergencia de Kullback-Leibler entre la distribución predicha por el modelo y el objetivo empírico. El término KL se aplica específicamente a la posición del token que discrimina los tipos de eventos.
• Evaluación: El modelo se evalúa en un conjunto de 66 errores de producción del mundo real (GoKer) que no vio durante el entrenamiento. Las métricas incluyen precisión top-1, Error de Calibración Esperada (ECE) y coherencia de múltiples pasos (simulando la ejecución alimentando las predicciones de vuelta como entrada).

Contribuciones Clave

1. Entrenamiento Consciente de la Distribución: El artículo demuestra que tratar el no determinismo del planificador como una señal permite al modelo aprender los "futuros válidos" permitidos por el planificador de Go. Un modelo de 7B ajustado con menos de 1,000 trazas alcanza una precisión del 36.2% en errores de producción no vistos durante el entrenamiento, superando al mismo modelo en zero-shot (28.6%) y a Gemini 3.5 Flash en zero-shot (34.8%).
2. Mejora de la Calibración: Aunque el entrenamiento de distribución (pérdida KL) logra una precisión comparable a la de la entropía cruzada (35.8% vs. 36.2%), mejora significamente la calibración del modelo. El Error de Calibración Esperada cae de 0.205 a 0.169, y la entropía del modelo se correlaciona con el no determinismo del programa, permitiendo al modelo expresar incertidumbre cuando es apropiado.
3. Firma Formal de Fuga: Los autores derivan una firma formal para una clase específica de fugas de goroutines: goroutines bloqueadas en un select (select-blocked goroutines). Demuestran que para estos casos, la probabilidad de un evento GoUnblock es exactamente cero ($P(\text{GoUnblock}) = 0$) en todas las profundidades de la traza. Esto es una consecuencia de la semántica del planificador de Go (si ninguna goroutine alcanzable puede satisfacer la condición del select, el desbloqueo es imposible) más que un patrón estadístico aprendido.
4. Identificación de Limitaciones: El estudio mapea explícitamente los límites del enfoque. La precisión se estanca cerca del 35–36% independientemente del tamaño del modelo o del objetivo. El modelo falla al predecir tipos de eventos raros (GoEnd, GoSched) debido al desequilibrio de clases y al desplazamiento de la distribución (distribution shift). Además, las predicciones de múltiples pasos pierden la coherencia del planificador después de aproximadamente un paso, ya que el modelo fue entrenado solo en transiciones de un solo paso.

Resultos y Análisis

• Techo de Precisión: El techo de rendimiento (~36%) se atribuye a dos factores: el desequilibrio de clases (los eventos raros como GoEnd y GoSched nunca se predicen correctamente) y el desplazamiento de la distribución (los errores del mundo real ejercitan los tipos de eventos como GoCreate y GoSched con más frecuencia que el conjunto de entrenamiento diseñado a mano).
• Rendimiento Específico de Eventos: El modelo aprende bien los eventos comunes de ciclo de vida (GoStart al 47%, GoCreate al 44%), pero falla en eventos raros. Notablemente, GoCreate alcanza un 44% de precisión a pesar de representar solo el 1.5% de los datos de entrenamiento, lo que sugiere que el modelo razona a partir de la estructura del programa y no solo por frecuencia.
• Coherencia de Múltiples Pasos: Cuando se usa de forma autorregresiva, el modelo produce transiciones válidas durante aproximadamente un paso antes de violar los invariantes de Go. Esto confirma que el entrenamiento de un solo paso no se transfiere a la simulación de múltiples pasos sin un entrenamiento de trayectoria.
• Razonamiento: Habilitar modos de "pensamiento" en el modelo base (Gemini) no mejoró la precisión, lo que indica que la tarea depende de señales estructurales más que de un razonamiento deductivo de múltiples pasos.

Significado y Reivindicaciones
Los autores declaran explícicamente que no están reclamando un detector de errores desplegable o un simulador de ejecución listo para producción. El significado de este trabajo radica en:

• Formulación: Proporcionar un marco principista para modelar la ejecución concurrente como una estimación de la distribución.
• Conjunto de Datos y Baselines: Liberar un conjunto de datos de trazas concurrentes, adaptadores entrenados y herramientas para establecer líneas base para este problema específico.
• Clarificación de Límites: Demostrar que, si bien el entrenamiento consciente de la distribución funciona y mejora la calibración, persisten obstáculos significativos (eventos raros, desplazamiento de la distribución, coherencia de múltiples pasos) que deben abordarse para que el enfoque sea más efectivo.

El artículo concluye que el enfoque actual prueba la viabilidad del entrenamiento consciente de la distribución para el código concurrente, pero destaca que el trabajo futuro debe centrarse en el entrenamiento de trayectorias, representaciones de estado más ricas (incluyendo buffers de canales y propiedad de mutex) y el reequilibrio de los datos de entrenamiento para coincidir con las distribuciones de eventos del mundo real.