Resumo Técnico: LASER – Regressão por Modelo de Linguagem para Estimativa de Recursos e Tempo de Execução em Fluxos de Trabalho Semi-Estruturados

Declaração do Problema

A previsão precisa do tempo de execução e do consumo de recursos (CPU, memória, disco) para trabalhos de fluxo de trabalho em nuvem é essencial para agendamento eficiente, controle de custos e planejamento de infraestrutura. Previsões incorretas levam tanto ao superdimensionamento (desperdício de recursos computacionais) quanto ao subdimensionamento (causando falhas em trabalhos e reexecuções custosas).

As abordagens atuais tratam isso como um problema de regressão tabular, exigindo engenharia de características frágil para achatar configurações complexas e semi-estruturadas de trabalhos em vetores de tamanho fixo. Essas configurações incluem comandos de shell, parâmetros específicos de ferramentas, grafos de dependência e metadados hierárquicos. Os métodos tradicionais lutam com:

• Perda Semântica: A codificação manual de características frequentemente falha em capturar contexto semântico crítico (por exemplo, a diferença entre alvos aarch64 e x86_64).
• Fragilidade: Pipelines quebram silenciosamente quando novas ferramentas ou comandos aparecem, uma ocorrência comum em serviços de nuvem em evolução.
• Violação de Pressupostos: Muitos métodos dependem de pressupostos lineares de tamanho de entrada para tempo de execução que não se sustentam para cargas de trabalho heterogêneas, como design de chips ou CI/CD.
• Limitações de Dados: Conjuntos de dados públicos existentes frequentemente carecem da diversidade semântica necessária para treinar modelos em fluxos de trabalho heterogêneos do mundo real.

Metodologia: O Framework LASER

LASER (Regressão baseada em Modelo de Linguagem para Estimativa de Recursos e Tempo de Execução em Trabalhos de Fluxo de Trabalho Semi-Estruturados) reformula a previsão de recursos como uma tarefa de geração sequência-a-sequência. Em vez de engenharia de características, ele ajusta finamente Modelos de Linguagem de Grande Escala (LLMs) diretamente em configurações de trabalho brutas e serializadas para gerar saídas JSON estruturadas contendo previsões de recursos.

O framework baseia-se em três inovações técnicas centrais:

1. Codificação de Saída em Notação Científica

Métricas de recursos (por exemplo, memória de MB a TB, tempo de execução de segundos a horas) abrangem múltiplas ordens de grandeza, causando instabilidade em cabeças de regressão linear padrão.

• Abordagem: Os alvos são codificados como sequências de comprimento fixo de 8 tokens em notação científica ($m \times 10^e$), onde a mantissa $m \in [1.00, 9.99]$ e o expoente $e \in \mathbb{Z}$.
• Benefício: Isso elimina a necessidade de normalização por alvo e permite que o modelo aprenda representações numéricas consistentes através de escalas.
• Restrição do Tokenizador: Os autores restringem os experimentos a tokenizadores (Qwen-3, Gemma-3) que codificam dígitos 0–9 como tokens únicos, garantindo que a suposição de codificação de comprimento fixo se mantenha.

2. Decodificação Constrained com Preenchimento de Prefixo Determinístico

A decodificação autoregressiva padrão pode produzir JSON malformado ou formatos numéricos inválidos.

• Abordagem: A estrutura de saída (chaves JSON, delimitadores e estrutura de notação científica) são constantes conhecidas. O sistema particiona a saída em tokens determinísticos (preenchidos diretamente sem uma passagem para frente) e tokens gerativos (os dígitos numéricos gerados pelo modelo).
• Benefício: Isso impõe validade estrutural por construção (prevenindo alucinações) e reduz a latência de inferência em mais de 30% ao pular passagens para frente para tokens estruturais fixos.

3. Ajuste Fino com Atenção Total

LLMs modernos de longo contexto frequentemente usam atenção por janela deslizante para economizar computação.

• Abordagem: O LASER emprega mecanismos de atenção total durante o ajuste fino.
• Racional: Configurações de fluxo de trabalho frequentemente contêm sinais preditivos através de campos distantes (por exemplo, um alvo de compilação especificado cedo afetando uma ferramenta invocada mais tarde). A atenção total garante visibilidade de contexto global, que janelas deslizantes perdem.

Configuração Experimental e Conjuntos de Dados

O framework foi validado em dois conjuntos de dados distintos:

1. ChipDV (Proprietário): Mais de 160.000 trabalhos em nuvem de um fluxo de trabalho de verificação de design de chips industrial. As configurações são altamente sensíveis; pequenas alterações em scripts podem causar aumentos de tempo de execução de dez vezes.
2. GHARuntime (Benchmark Público): Um novo benchmark derivado do GHALogs, contendo 1,3 milhão de registros de execução de fluxo de trabalho CI/CD em mais de 27.000 repositórios do GitHub e 20 linguagens de programação.

As linhas de base incluíram especialistas humanos, máximos históricos e modelos de ML tabular de última geração (XGBoost, LightGBM, TabPFN).

Resultados Chave

Desempenho In-Distribution

• Precisão Superior: O LASER superou significativamente especialistas humanos e linhas de base históricas no conjunto de dados ChipDV. Por exemplo, no conjunto "ChipDV-Unseen", o modelo Gemma-3-12B alcançou um Erro Absoluto Médio (MAE) de 23,76 minutos para tempo de execução, comparado a 53,60 minutos para especialistas humanos.
• Escalonamento de Modelo: O desempenho melhorou consistentemente com o tamanho do modelo (de 270M para 12B parâmetros), com os maiores modelos alcançando os melhores resultados em todos os alvos (tempo de execução, CPU, RAM, disco).

Generalização Fora de Distribuição (OOD)

• Deriva Temporal: Quando testado em trabalhos futuros (até 26 dias à frente), o LASER manteve precisão estável para métricas de recursos (CPU, RAM, Disco), demonstrando que aprendeu padrões de consumo generalizáveis em vez de superajuste ao período de treinamento.
• Generalização Cross-Repository: No benchmark GHARuntime, o LASER mostrou forte comportamento de escalonamento de dados. Enquanto modelos pequenos tiveram desempenho inferior às linhas de base tabulares com dados limitados (1k amostras), o LASER igualou ou superou o TabPFN-v2.6 com 10k–100k amostras de treinamento, enquanto métodos tabulares estagnaram cedo.

Eficiência e Ablação

• Latência: A decodificação constrained reduziu o tempo de inferência em 30–36% através de diferentes tamanhos de modelo.
• Mecanismo de Atenção: O ajuste fino com atenção total superou consistentemente a atenção por janela deslizante, particularmente para modelos menores (1B parâmetros), confirmando a importância do contexto global.
• Comprimento da Sequência: A precisão melhorou com comprimentos de sequência mais longos até 2048 tokens, com retornos decrescentes além desse ponto.

Significado e Alegações

O artigo afirma estabelecer um novo paradigma para regressão baseada em LLM em dados de fluxo de trabalho semi-estruturados. Suas contribuições primárias são:

1. Eliminação de Engenharia de Características Frágil: Ao tratar configurações brutas como texto, o LASER evita o processo trabalhoso e frágil de extração manual de características, permitindo generalização para novas ferramentas e comandos.
2. Novidade Técnica em Regressão: A combinação de codificação em notação científica e decodificação constrained resolve os desafios específicos da regressão numérica via geração (lidando com escala e validade).
3. Novo Benchmark: O lançamento do GHARuntime fornece o primeiro benchmark público em grande escala e semanticamente rico para previsão de tempo de execução de fluxo de trabalho, abordando a falta de conjuntos de dados diversos no campo.

Os autores concluem que o LASER demonstra que LLMs ajustados finamente podem servir efetivamente como regressores para cargas de trabalho industriais complexas e semi-estruturadas, superando tanto heurísticas humanas quanto abordagens tradicionais de aprendizado de máquina tabular.