Resumo Técnico: Vulcan: Sistemas Especializados por Instância e Verificáveis

Declaração do Problema

O gerenciamento de recursos de sistemas tradicionalmente dependeu de heurísticas projetadas manualmente. No entanto, a crescente heterogeneidade do hardware, a diversidade de cargas de trabalho e a variabilidade nos ambientes de implantação tornaram o design manual de heurísticas especializadas por instância (adaptadas a combinações específicas de hardware, carga de trabalho e objetivos) caro e não escalável. Embora modelos neurais tenham oferecido um caminho para a especialização, eles sofrem com opacidade, complexidade operacional e dificuldades de integração.

Avanços recentes em Grandes Modelos de Linguagem (LLMs) sugerem uma nova abordagem: sintetizar código executável diretamente. Contudo, a aplicação ingênua de LLMs ao código de sistemas enfrenta três desafios críticos:

1. Desempenho: As heurísticas geradas devem igualar ou exceder os basais projetados por humanos.
2. Segurança de Execução: O código gerado deve estar livre de falhas (crashes), erros de memória, vazamentos ou não terminação.
3. Integração ao Sistema: O código deve interagir corretamente com as APIs de sistema existentes e mecanismos de gerenciamento de estado.

A síntese por LLM sem restrições frequentemente produz heurísticas performantes, mas falha na segurança e integração (ex: vazamentos de memória, violações de API). Por outro lado, a síntese excessivamente restrita preserva a segurança, mas limita o espaço de políticas, resultando em ganhos de desempenho insignificantes em relação aos basais existentes.

Metodologia: O Framework Vulcan

O Vulcan aborda esses desafios refatorando as heurísticas de sistemas em torno de uma fronteira de síntese que isola a lógica central de decisão do gerenciamento de estado e da interação com o sistema. O framework baseia-se em duas ideias principais:

1. Desacoplamento da Lógica de Decisão do Gerenciamento de Estado (libVulcan)

O Vulcan restringe o código gerado por LLM a funções de decisão sem estado (stateless), delegando o gerenciamento de estado a código confiável mantido por desenvolvedores. Isso é alcançado através de:

• Interfaces de Rank e Value: A lógica central de decisão da maioria das tarefas de gerenciamento de recursos é expressa através de duas interfaces:
  • Value (Valor): Computa uma variável de controle escalar (ex: tamanho da janela de congestionamento, frequência) com base em características do estado do sistema.
  • Rank (Classificação): Pontua um conjunto de objetos candidatos (ex: entradas de cache, threads) para determinar uma ordenação ou seleção.
• Abstrações de Listener (libVulcan): Para permitir a exploração de políticas significativas sem exigir que os LLMs gerenciem estruturas de dados, o Vulcan fornece uma biblioteca de "listeners". Esses blocos modulares conectam-se a sinais brutos para computar estatísticas derivadas (ex: médias móveis, percentis, médias populacionais) em tempo real. O LLM consulta esses listeners, mas não implementa o gerenciamento de estado subjacente, eliminando uma grande fonte de bugs de integração e segurança.

2. Segurança por Construção via Anvil (DSL)

Para garantir a segurança de execução, o Vulcan sintetiza heurísticas em Anvil, uma Linguagem de Domínio Específico (DSL) restrita.

• Restrições: O Anvil exclui alocação de heap, ponteiros, recursão e loops ilimitados.
• Garantias: Por construção, qualquer programa Anvil bem formado garante:
  • Segurança de Memória: Sem acesso fora dos limites, uso após liberação (use-after-free) ou liberação dupla (double-free).
  • Ausência de Vazamentos: Sem crescimento ilimitado de memória.
  • Terminação: Sem loops infinitos.
• Compilação: O código Anvil é analisado contra sua gramática e compilado para C, que é então processado por toolchains padrão. A DSL suporta declarações extern para funções C/C++ (como APIs de listeners), garantindo que as propriedades de segurança se estendam transitivamente ao código sintetizado.

Fluxo de Trabalho

1. Entrada do Desenvolvedor: Desenvolvedores fornecem um template de heurística (definindo gatilhos e recursos brutos), um avaliador e um prompt de linguagem natural descrevendo a tarefa.
2. Loop de Síntese: Um framework de geração de código (ex: OpenEvolve, ShinkaEvolve) gera iterativamente heurísticas candidatas em Anvil.
3. Avaliação: Os candidatos são pontuados pelo avaliador (frequentemente usando simulação baseada em traços ou cargas de trabalho curtas para reduzir o custo).
4. Seleção: A heurística de melhor pontuação é retornada como a política final especializada por instância.

Principais Contribuições

1. Design de Framework: Identificação de uma fronteira de síntese que isola a lógica central de decisão, permitindo a busca impulsionada por LLM enquanto mantém a estrutura voltada ao sistema em código confiável.
2. libVulcan: Uma biblioteca de tempo de execução que fornece interfaces Rank e Value e um conjunto de abstrações de listener para derivar estatísticas ricas, servindo como um substrato comum para heurísticas especializadas.
3. Anvil: Uma linguagem de política restrita que garante propriedades de segurança de execução (segurança de memória, ausência de vazamentos, terminação) por construção, eliminando a necessidade de revisão manual de segurança do código sintetizado.
4. Avaliação Empírica: Demonstração de que o Vulcan pode sintetizar heurísticas competitivas ou superiores a basais projetados por humanos em três domínios distintos, satisfazendo as restrições de segurança.

Resultados

O artigo avalia o Vulcan em três domínios de gerenciamento de recursos amplamente estudados:

1. Agendamento de Spot VM:

   • Tarefa: Decidir quando alternar entre instâncias on-demand e spot para minimizar custos enquanto cumpre prazos.
   • Resultado: O Vulcan sintetizou uma heurística que alcançou 4,9× mais economia em comparação com o baseline de estado da arte "Uniform Progress" e 1,7× mais economia em comparação com uma abordagem de síntese de LLM sem restrições (ADRS).
   • Segurança: Todo o código sintetizado satisfez as propriedades de segurança de execução por construção.

2. Evicção de Cache:

   • Tarefa: Selecionar objetos para remover para maximizar as taxas de acerto (hit rates) através de diversos traços e tamanhos de cache.
   • Resultado: Para instâncias específicas, o Vulcan sintetizou heurísticas especializadas que melhoraram as taxas de erro (miss ratios) em até 2× em comparação com basais (ex: FIFO, LRU, GDSF). Em 32 instâncias, o Vulcan superou todos os basais em 6 e ficou dentro de 5% do melhor em outras 13.
   • Segurança: Nenhuma violação de segurança de execução foi observada.

3. Sistemas de Memória em Camadas (Tiered Memory):

   • Tarefa: Decidir quais páginas promover da memória lenta (ex: CXL) para DRAM rápida.
   • Resultado: Uma heurística sintetizada em um emulador generalizou-se para hardware CXL real, rendendo até 10% de maior desempenho de aplicação (goodput) comparado ao baseline ARMS.
   • Generalização: Heurísticas treinadas em cargas de trabalho específicas (ex: GUPS) tiveram bom desempenho em cargas de trabalho não vistas (ex: análise de grafos, bancos de dados) sem necessidade de novo ajuste.

Significância e Alegações

O artigo alega que a principal barreira para a síntese automatizada de heurísticas não é a capacidade do LLM de encontrar políticas performantes, mas o design da fronteira de síntese. Ao estreitar o espaço de busca para interfaces expressivas, porém restritas (Rank/Value) e impor a segurança através de uma DSL restrita (Anvil), o Vulcan torna a síntese de heurísticas especializada por instância prática e segura.

Os autores enfatizam que o Vulcan não substitui a expertise humana; em vez disso, ele aproveita o conhecimento de domínio para definir a estrutura (gatilhos, sinais brutos, mecanismos), enquanto utiliza LLMs para explorar e refinar a lógica da política dentro dessa estrutura. Essa abordagem permite a implantação de heurísticas verificadas e de alto desempenho que se adaptam a instâncias específicas sem o overhead operacional ou os riscos de segurança associados a modelos neurais ou geração de código sem restrições.