Resumo Técnico: Podem os Grandes Modelos de Linguagem Recuperar Oportunidades de Otimização Semântica que os Compiladores Perdem?

Definição do Problema

Os compiladores de otimização frequentemente falham em aplicar transformações lucrativas porque a semântica habilitadora necessária para essas otimizações está ausente da representação do programa analisada. Mesmo configurações agressivas (ex: -O3) não conseguem explorar oportunidades quando o contexto crítico — como invariantes de estruturas de dados, suposições de memória de baixo nível ou equivalências algorítmicas de alto nível — está disperso entre chamadores, testes, documentação ou perfis.

O artigo investiga se os Grandes Modelos de Linguagem (LLMs) podem preencher essa "lacuna semântica" ao recuperar essas semânticas habilitadoras ausentes de contextos heterogêneos de C/C++ e realizá-las como artefatos validados e preservadores de contrato que entregam ganhos de desempenho mensuráveis.

Metodologia

O Benchmark SeGaBench

Para avaliar esta hipótese, os autores introduzem o SeGaBench, um benchmark executável projetado para testar todo o pipeline de recuperação semântica: identificação, realização de artefato e validação de desempenho.

• Composição: O benchmark contém 120 casos divididos em duas suítes:
  • Suíte Sintética: 100 casos cobrindo 50 padrões comuns de otimização, projetados para isolar arquétipos semânticos específicos.
  • Suíte de Mundo Real: 20 casos derivados de seis projetos estabelecidos de Computação de Alto Desempenho (HPC) (HPCG, LAMMPS, LULESH, miniFE, RAJAPerf, XS-Bench).
• Taxonomia Semântica: Os casos são categorizados em três tipos de semântica habilitadora:
  1. Suposições de Baixo Nível (LLA - Low-Level Assumptions): Domínios de execução refinados (ex: não-aliasing, alinhamento, strides fixos) frequentemente encontrados em chamadores ou alocadores.
  2. Invariantes de Estrutura de Dados (DSI - Data-Structure Invariants): Relações globais (ex: ordenação, estrutura diagonal, intervalos disjuntos) não expressáveis por tipos padrão de C/C++.
  3. Elevação Semântica de Alto Nível (HSL - High-Level Semantic Lifting): Equivalências entre implementações de baixo nível e operações de alto nível (ex: reconhecer loops como scans, agregações ou pipelines de produtor-consumidor).
• Artefato Oráculo: Cada caso inclui um artefato "oráculo" oculto — uma mudança de nível de código-fonte validada que preserva o contrato do programa e alcança um ganho de velocidade estatisticamente significativo (≥1.05×) sobre a base de comparação mais forte (LLVM com -O3, LTO e PGO).

Protocolo de Avaliação

O estudo emprega uma avaliação cega de turno único para evitar loops de feedback:

1. Entrada: O LLM recebe o programa original e uma visão de contexto selecionada (chamadores, testes, docs). A semântica alvo e a solução oráculo permanecem ocultas.
2. Tarefa: O modelo deve se abster ou propor uma tupla $(\hat{S}, \hat{E}, \hat{A})$: uma afirmação semântica, evidência de suporte e um artefato de nível de código-fonte (patch).
3. Validação: Um pipeline automatizado aplica o patch, compila, executa validadores funcionais e semânticos e mede o desempenho contra a base de comparação. Nenhum feedback é retornado ao modelo.
4. Modelos: Cinco LLMs foram avaliados (GPT-5.4 mini, GPT-5.6 Sol, DeepSeek-V4 Pro, Llama 3.3 70B, Ternary Bonsai 27B), com cinco respostas independentes geradas por caso (3.000 requisições no total).

Contribuições Principais

1. Formalização da Recuperação Semântica: O artigo formaliza a recuperação de oportunidades de otimização perdidas como uma tarefa de LLM fundamentada em evidências, organizando as semânticas habilitadoras em três tipos e 50 arquétipos recorrentes.
2. SeGaBench: A introdução de um benchmark rigoroso e executável com semânticas ocultas, artefatos oráculo e protocolos de desempenho fixos para medir a recuperação semântica, corretude de artefato e realização de desempenho.
3. Avaliação Abrangente: Um protocolo que mede separadamente as três etapas do pipeline de otimização (identificação, realização, desempenho) através de diferentes modelos, suítes e tipos semânticos.

Resultados Experimentais

Os resultados indicam que a capacidade é fortemente dependente do modelo:

• Identificação Semântica (RQ1): O modelo mais forte, GPT-5.6 Sol, identificou com sucesso a semântica alvo em 95.0% das requisições. Outros modelos mostraram variação significativa, com Llama 3.3 e Ternary Bonsai recuperando apenas ~21% e ~15% respectivamente, frequentemente devido a abstenções ou violações de esquema.
• Realização de Artefato (RQ2): Entre as oportunidades identificadas, o GPT-5.6 Sol realizou 94.8% delas como artefatos corretos e preservadores de contrato. Modelos mais fracos tiveram dificuldades significativas com falhas de compilação e validação.
• Realização de Desempenho (RQ3):
  • O GPT-5.6 Sol alcançou uma taxa de sucesso de Ponta a Ponta (E2E) (artefato correto + ≥1.05× de velocidade) de 83.3%.
  • Com cinco amostras independentes por caso, a taxa de sucesso para o GPT-5.6 Sol subiu para 93.3% dos casos.
  • Sintético vs. Mundo Real: O desempenho caiu em casos de mundo real. Embora o GPT-5.6 Sol tenha mantido alta corretude de artefato, o ganho de velocidade mediano nos casos de mundo real foi menor (1.04–1.29×) comparado aos casos sintéticos (1.95–7.29×).
  • Fechamento de Lacuna: Mesmo artefatos corretos fecharam apenas parte da "lacuna do oráculo" (a diferença entre a base de comparação e o artefato oráculo), indicando que os LLMs nem sempre encontram a transformação ótima.

Significância e Alegações

O artigo conclui que os LLMs podem complementar a análise de compiladores como proponentes semânticos especulativos, desde que seus outputs sejam rigorosamente validados.

• Fluxo de Trabalho Complementar: Os autores propõem uma divisão de trabalho onde os LLMs buscam semânticas habilitadoras em contextos heterogêneos, validadores estabelecem a preservação do contrato e compiladores realizam a otimização downstream e a geração de código.
• Limitações da Capacidade Atual: Os autores enfatizam que a realização de oportunidade semântica ainda não é uma capacidade uniforme dos LLMs. As grandes lacunas de desempenho entre os modelos sugerem que o deployment confiável requer mecanismos de validação fortes e seleção cuidadosa de candidatos.
• Transferência para o Mundo Real: Os menores ganhos de velocidade observados nos casos de HPC baseados em código-fonte destacam uma lacuna de transferência entre oportunidades sintéticas isoladas e o desempenho complexo de aplicações, sugerindo que a complexidade do contexto continua sendo um obsto significativo.

O artigo não alega que os LLMs podem substituir compiladores ou que encontram universalmente ótimos globais. Em vez disso, demonstra que modelos capazes podem recuperar fatos semânticos específicos e perdidos, traduzindo-os em artefatos validados e de melhoria de desempenho, estendendo efetivamente a informação semântica disponível para o pipeline de compilação.