Optimas: An Intelligent Analytics-Informed Generative AI Framework for Performance Optimization

1. Declaração do Problema

A otimização de desempenho em Computação de Alto Desempenho (HPC) é atualmente um processo manual e demorado, que exige profundo conhecimento arquitetural. Embora as ferramentas existentes (profilers, modelos analíticos) possam identificar gargalos de desempenho (por exemplo, paradas de memória, baixa ocupação), elas não chegam a gerar alterações de código acionáveis.

• A Lacuna: Modelos de Linguagem Grandes (LLMs) mostram promessa para geração de código, mas lutam com a otimização de desempenho quando fornecidos apenas com código-fonte. Sem contexto de desempenho dinâmico (por exemplo, comportamento de parada, ocupação de warp, vazão de memória), os LLMs produzem código sintaticamente válido, mas neutro ou prejudicial ao desempenho.
• O Desafio: Preencher a lacuna entre telemetria de desempenho bruta, multi-gigabyte, e as janelas de contexto limitadas dos LLMs, garantindo que o código gerado seja semanticamente correto e vise especificamente os gargalos identificados.

2. Metodologia: O Framework Optimas

O Optimas é um framework generativo de IA modular, totalmente automatizado e ponta a ponta, construído sobre um fluxo de trabalho multiagente. Ele trata a otimização de desempenho como um problema de raciocínio orientado a dados, convertendo perfis de tempo de execução complexos em transformações de código validadas.

Componentes Principais do Fluxo de Trabalho:

1. Extração de Dados e Geração de Insights:

   • Seleção de Kernel: Identifica automaticamente os 2–3 kernels mais críticos para o desempenho (responsáveis por >80% do tempo de execução) para caber nos limites de contexto do LLM.
   • Análise Roofline: Classifica os kernels como limitados por computação ou limitados por memória, calculando a intensidade aritmética e as razões de utilização de recursos contra os limites de hardware.
   • Amostragem de PC (Program Counter): Localiza paradas em linhas de código e tipos de instruções específicos (por exemplo, stall_membar, stall_dependency). O Optimas agrega rastreamentos brutos em resumos concisos, retendo apenas as paradas dominantes (por exemplo, aquelas que contribuem com >30% dos ciclos parados) para reduzir o volume de dados em ~99,9%.
   • Correlação de Eventos de Hardware: Utiliza um algoritmo ganancioso aleatorizado (baseado em Ensemble Orthogonal Matching Pursuit) para selecionar os contadores de hardware mais informativos entre milhares de métricas disponíveis, mapeando-os para descrições em linguagem natural.

2. Construção de Prompt:

   • Combina o código do kernel anotado com os resumos diagnósticos estruturados (Roofline, Amostragem de PC, Contadores de Hardware).
   • Guardrails: O prompt restringe explicitamente as edições a regiões de código relevantes, proíbe alterações de assinatura e exige que o modelo cite evidências diagnósticas específicas para cada otimização.
   • Backends: Suporta APIs comerciais (GPT-5, Gemini) e modelos locais (Llama 3.1).

3. Raciocínio Alinhado a Evidências (EAR):

   • Um sistema de malha fechada onde um Agente de Avaliação compila o código gerado, executa-o e valida a correção bit a bit em relação às saídas de referência.
   • Loop de Feedback: Se a compilação falhar, o agente tenta novamente até três vezes usando logs de erro; falhas persistentes são sinalizadas para revisão manual.

Métricas Novas:

O artigo introduz métricas de Raciocínio Alinhado a Evidências (EAR) para avaliar a qualidade do raciocínio do LLM:

• Cobertura de Evidências: Mede se o modelo referencia explicitamente pistas diagnósticas em sua justificativa.
• Acordo de Localização: Avalia se as edições de código ocorrem nas linhas específicas identificadas como pontos críticos pelo profiling.
• Consistência Direcional: Verifica se as mudanças de desempenho (por exemplo, redução de contadores de parada) alinham-se com a direção implicada pelos diagnósticos.

3. Principais Contribuições

1. Pipeline de Mineração de Dados Multimodal: Um método para destilar logs complexos de HPC (Roofline, Amostragem de PC, Contadores de Hardware) em insights concisos e acionáveis para LLMs.
2. Métricas de Raciocínio Alinhado a Evidências (EAR): Um framework inovador para quantificar a consistência entre sinais diagnósticos e edições de código geradas, indo além de métricas simples de aceleração.
3. Avaliação em Grande Escala: Um estudo abrangente envolvendo 3.410 experimentos em 10 benchmarks e duas aplicações proxy de HPC (XSBench, SW4Lite) em GPUs NVIDIA.
4. Corpo de Dados Open-Source: Um conjunto de dados curado alinhando diagnósticos de desempenho, transformações de código e resultados medidos para apoiar pesquisas futuras em otimização aumentada por recuperação.
5. O Framework Optimas: Um sistema de malha fechada, agnóstico a backends, que democratiza o acesso à engenharia de desempenho.

4. Resultados

O framework foi avaliado em GPUs NVIDIA H100 usando GPT-5, Gemini-2.5-pro e Llama 3.1:70B.

• Ganhos de Desempenho: O Optimas alcançou melhorias de desempenho em 98,82% dos experimentos, com ganhos médios variando de 8,02% a 79,09%.
• Correção: O framework gerou 100% de código correto (compilável e funcionalmente válido) em todos os experimentos bem-sucedidos.
• Comparação de Modelos:
  • GPT-5: Alcançou a maior cobertura de evidências (83,1%) e as maiores acelerações, particularmente em aplicações complexas de múltiplos kernels. No entanto, ocasionalmente "super-otimizou" aplicando transformações aditivas além da saturação.
  • Llama 3.1:70B: Mostrou menor cobertura de evidências (49,2%), mas produziu ganhos estáveis e conservadores com zero alucinações, provando que modelos open-source podem ser eficazes sob guardrails estritos.
  • Gemini-2.5-pro: Desempenhou comparavelmente em kernels grandes, mas lutou com kernels sensíveis a paradas de granularidade fina devido à diluição de contexto.
• Sinergia Diagnóstica: A combinação das três fontes de diagnóstico (PC + IA + Roofline) produziu os melhores resultados para aplicações complexas com gargalos mistos. No entanto, o benefício não foi estritamente monotônico; guardrails de segurança impediram reescritas inseguras quando as fontes entravam em conflito.
• Generalização: Otimizações geradas a partir de uma configuração padrão generalizaram-se com sucesso em 68 configurações de entrada diferentes para a maioria das aplicações (por exemplo, o kernel Accuracy mostrou ganhos estáveis de 43–45% em todas as entradas).
• Sobrecarga: O processo de otimização é altamente eficiente. Embora o profiling leve horas (por exemplo, 16–24 horas para SW4Lite), a iteração do Optimas (resumo, inferência, compilação, validação) leva <10 minutos, representando <1,5% do tempo de coleta de dados.

5. Significado

• Democratização do HPC: O Optimas transforma a otimização de desempenho de uma tarefa exclusiva para especialistas em um fluxo de trabalho automatizado, permitindo que desenvolvedores sem conhecimento arquitetural profundo alcancem acelerações significativas.
• Fechamento do Ciclo: É o primeiro framework a integrar diversas fontes analíticas diretamente em um motor de otimização de código automatizado, efetivamente preenchendo a lacuna entre diagnóstico e resolução.
• Valor Educacional: Ao exigir que os modelos citem evidências diagnósticas, o sistema serve como uma ferramenta educacional, tornando explícitos os links causais entre diagnósticos de hardware e transformações de código.
• Escalabilidade: O sistema lida com sucesso com aplicações reais e complexas de HPC (como propagação de ondas sísmicas e transporte de nêutrons Monte Carlo), provando sua viabilidade além de microbenchmarks simples.

Em conclusão, o Optimas demonstra que, quando os LLMs são guiados por diagnósticos de tempo de execução rigorosos e multimodais, eles podem gerar de forma confiável transformações de código de alto desempenho, reduzindo significativamente o esforço manual necessário para a otimização de HPC.