Resumen Técnico: LASER – Regresión de Modelo de Lenguaje para Estimación de Recursos y Tiempo de Ejecución de Flujos de Trabajo Semi-Estructurados

Declaración del Problema

La predicción precisa del tiempo de ejecución y el consumo de recursos (CPU, memoria, disco) para trabajos de flujos de trabajo en la nube es esencial para la programación eficiente, el control de costos y la planificación de infraestructura. Las predicciones erróneas conducen a un aprovisionamiento excesivo (desperdicio de recursos de computación) o a un aprovisionamiento insuficiente (causando fallos en trabajos y reejecuciones costosas).

Los enfoques actuales tratan esto como un problema de regresión tabular, requiriendo una ingeniería de características frágil para aplanar configuraciones de trabajos complejas y semi-estructuradas en vectores de tamaño fijo. Estas configuraciones incluyen comandos de shell, parámetros específicos de herramientas, grafos de dependencias y metadatos jerárquicos. Los métodos tradicionales luchan con:

• Pérdida Semántica: La codificación manual de características a menudo falla al capturar el contexto semántico crítico (por ejemplo, la diferencia entre los objetivos aarch64 y x86_64).
• Fragilidad: Las pipelines se rompen silenciosamente cuando aparecen nuevas herramientas o comandos, un evento común en los servicios en la nube en evolución.
• Violación de Supuestos: Muchos métodos dependen de supuestos lineales de tamaño de entrada a tiempo de ejecución que no se sostienen para cargas de trabajo heterogéneas como el diseño de chips o CI/CD.
• Limitaciones de Datos: Los conjuntos de datos públicos existentes a menudo carecen de la diversidad semántica requerida para entrenar modelos en flujos de trabajo heterogéneos del mundo real.

Metodología: El Marco LASER

LASER (Regresión basada en Modelo de Lenguaje para la Estimación de Recursos y Tiempo de Ejecución de trabajos de flujos de trabajo Semi-Estructurados) reformula la predicción de recursos como una tarea de generación secuencia a secuencia. En lugar de la ingeniería de características, ajusta finamente Modelos de Lenguaje Grandes (LLM) directamente sobre configuraciones de trabajos serializadas y crudas para generar salidas JSON estructuradas que contienen predicciones de recursos.

El marco se basa en tres innovaciones técnicas centrales:

1. Codificación de Salida en Notación Científica

Las métricas de recursos (por ejemplo, memoria desde MB hasta TB, tiempo de ejecución desde segundos hasta horas) abarcan múltiples órdenes de magnitud, causando inestabilidad en las cabezas de regresión lineal estándar.

• Enfoque: Los objetivos se codifican como secuencias de longitud fija de 8 tokens en notación científica ($m \times 10^e$), donde la mantisa $m \in [1.00, 9.99]$ y el exponente $e \in \mathbb{Z}$.
• Beneficio: Esto elimina la necesidad de normalización por objetivo y permite que el modelo aprenda representaciones numéricas consistentes a través de escalas.
• Restricción del Tokenizador: Los autores restringen los experimentos a tokenizadores (Qwen-3, Gemma-3) que codifican los dígitos 0–9 como tokens individuales, asegurando que se cumpla la suposición de codificación de longitud fija.

2. Decodificación Restringida con Relleno de Prefijo Determinista

La decodificación autoregresiva estándar puede producir JSON malformado o formatos numéricos inválidos.

• Enfoque: La estructura de salida (claves JSON, delimitadores y andamiaje de notación científica) son constantes conocidas. El sistema divide la salida en tokens deterministas (rellenados directamente sin un paso hacia adelante) y tokens generativos (los dígitos numéricos generados por el modelo).
• Beneficio: Esto impone la validez estructural por construcción (previniendo alucinaciones) y reduce la latencia de inferencia en más del 30% al omitir pasos hacia adelante para tokens estructurales fijos.

3. Ajuste Fino con Atención Completa

Los LLM modernos de contexto largo a menudo usan atención por ventana deslizante por defecto para ahorrar computación.

• Enfoque: LASER emplea mecanismos de atención completa durante el ajuste fino.
• Racional: Las configuraciones de flujos de trabajo a menudo contienen señales predictivas a través de campos distantes (por ejemplo, un objetivo de compilación especificado al principio que afecta a una herramienta invocada más tarde). La atención completa asegura la visibilidad del contexto global, que las ventanas deslizantes pasan por alto.

Configuración Experimental y Conjuntos de Datos

El marco fue validado en dos conjuntos de datos distintos:

1. ChipDV (Propietario): Más de 160,000 trabajos en la nube de un flujo de trabajo industrial de verificación de diseño de chips. Las configuraciones son altamente sensibles; cambios menores en el script pueden causar aumentos de tiempo de ejecución de diez veces.
2. GHARuntime (Referencia Pública): Una nueva referencia derivada de GHALogs, que contiene 1.3 millones de registros de ejecución de flujos de trabajo CI/CD en más de 27,000 repositorios de GitHub y 20 lenguajes de programación.

Las líneas base incluyeron expertos humanos, máximos históricos y modelos de aprendizaje automático tabular de última generación (XGBoost, LightGBM, TabPFN).

Resultados Clave

Rendimiento In-Distribution

• Precisión Superior: LASER superó significativamente a los expertos humanos y a las líneas base históricas en el conjunto de datos ChipDV. Por ejemplo, en el conjunto "ChipDV-Inédito", el modelo Gemma-3-12B logró un Error Absoluto Medio (MAE) de 23.76 minutos para el tiempo de ejecución, en comparación con 53.60 minutos para expertos humanos.
• Escalado de Modelo: El rendimiento mejoró consistentemente con el tamaño del modelo (de 270M a 12B parámetros), con los modelos más grandes logrando los mejores resultados en todos los objetivos (tiempo de ejecución, CPU, RAM, disco).

Generalización Fuera de Distribución (OOD)

• Deriva Temporal: Cuando se probó en trabajos futuros (hasta 26 días adelante), LASER mantuvo una precisión estable para las métricas de recursos (CPU, RAM, Disco), demostrando que aprendió patrones de consumo generalizables en lugar de sobreajustarse al período de entrenamiento.
• Generalización Transversal de Repositorios: En la referencia GHARuntime, LASER mostró un fuerte comportamiento de escalado de datos. Mientras que los modelos pequeños rindieron por debajo de las líneas base tabulares con datos limitados (1k muestras), LASER igualó o superó a TabPFN-v2.6 con 10k–100k muestras de entrenamiento, mientras que los métodos tabulares se estancaron temprano.

Eficiencia y Ablación

• Latencia: La decodificación restringida redujo el tiempo de inferencia entre un 30–36% a través de diferentes tamaños de modelo.
• Mecanismo de Atención: El ajuste fino con atención completa superó consistentemente a la atención por ventana deslizante, particularmente para modelos más pequeños (1B parámetros), confirmando la importancia del contexto global.
• Longitud de Secuencia: La precisión mejoró con longitudes de secuencia más largas hasta 2048 tokens, con retornos decrecientes más allá de ese punto.

Significado y Afirmaciones

El artículo afirma establecer un nuevo paradigma para la regresión basada en LLM en datos de flujos de trabajo semi-estructurados. Sus contribuciones principales son:

1. Eliminación de la Ingeniería de Características Frágil: Al tratar las configuraciones crudas como texto, LASER evita el proceso laborioso y frágil de la extracción manual de características, permitiendo la generalización a nuevas herramientas y comandos.
2. Noveladad Técnica en Regresión: La combinación de codificación en notación científica y decodificación restringida resuelve los desafíos específicos de la regresión numérica mediante generación (manejo de escala y validez).
3. Nueva Referencia: La liberación de GHARuntime proporciona la primera referencia pública a gran escala y semánticamente rica para la predicción de tiempo de ejecución de flujos de trabajo, abordando la falta de conjuntos de datos diversos en el campo.

Los autores concluyen que LASER demuestra que los LLM ajustados finamente pueden servir efectivamente como regresores para cargas de trabajo industriales complejas y semi-estructuradas, superando tanto a las heurísticas humanas como a los enfoques tradicionales de aprendizaje automático tabular.