Resumo Técnico: Tradução de Representação Intermediária de Compilador por LLM

Declaração do Problema

A infraestrutura de software moderna depende fortemente de dois ecossistemas de compiladores dominantes, porém incompatíveis: GCC e LLVM. Embora ambos utilizem Representações Intermediárias (IRs) para impulsionar otimizações e geração de código, suas IRs — especificamente o GIMPLE do GCC e o LLVM IR do LLVM — diferem fundamentalmente em filosofia de design, estrutura e semântica.

• Diferenças Estruturais: O GIMPLE é orientado a instruções e preserva estruturas de controle de alto nível, enquanto o LLVM IR é orientado a expressões, reduzindo o fluxo de controle em blocos básicos, ramificações e nós $\phi$.
• Diferenças Semânticas: Eles divergem em modelos de memória (operandos virtuais vs. carregamento/armazenamento explícito), rigor do sistema de tipos e tratamento de exceções.
• A Barreira: Essas discrepâncias criam obstáculos significativos para a interação entre toolchains, impedindo a reutilização de frontends, backends e pipelines de otimização entre linguagens e ecossistemas.
• Limitações das Soluções Existentes: Tradutores baseados em regras tradicionais (por exemplo, DragonEgg, Wyrm) tentaram preencher essa lacuna, mas sofrem com altos custos de manutenção, fragilidade a mudanças de versão do compilador e incapacidade de generalizar além de subconjuntos estreitos de programas.

Metodologia

O artigo propõe o IRIS-14B, uma abordagem baseada em dados que utiliza Modelos de Linguagem de Grande Escala (LLMs) para aprender mapeamentos semânticos complexos entre GIMPLE e LLVM IR diretamente de pares emparelhados, em vez de depender de regras criadas manualmente.

1. Arquitetura do Modelo e Treinamento

• Modelo Base: Os autores ajustaram finamente o Qwen3-14B, um transformador decodificador-only com 14 bilhões de parâmetros, escolhido por seu tamanho gerenciável e forte pré-treinamento em código.
• Dados de Treinamento: Dois conjuntos de dados curados de pares GIMPLE e LLVM IR foram construídos:
  • TheStack-IRIS: Derivado de 310.000 amostras de código C do GitHub, compiladas para extrair pares de IR alinhados.
  • GNU-IRIS: Um conjunto de dados de 13.049 pares de funções alinhados extraídos de utilitários GNU, processados para caber nos limites de contexto.
• Procedimento de Treinamento: O modelo foi treinado em 1,4 bilhão de tokens de dados de IR emparelhados usando o otimizador AdamW com um agendador cosenoidal. O treinamento foi realizado em 15 nós com 4xH100 GPUs, levando aproximadamente 35 horas.

2. Pipeline de Tradução

A metodologia proposta integra o IRIS-14B em toolchains de compilador existentes sem modificar os próprios compiladores:

1. Entrada: Um arquivo de código-fonte é compilado pelo GCC para gerar um dump GIMPLE não otimizado (via -fdump-tree-gimple).
2. Tradução: O texto GIMPLE é alimentado no IRIS-14B, que gera o LLVM IR correspondente.
3. Saída: O LLVM IR gerado é compilado pela toolchain LLVM para produzir um executável.
   Esta abordagem trata a tradução como uma tarefa de texto-para-texto, desacoplando o modelo dos internals do compilador e permitindo que ele se adapte a mudanças de sintaxe da IR sem reescrever passes do compilador.

Contribuições Principais

1. IRIS-14B: O primeiro LLM de código aberto explicitamente treinado para tradução IR-para-IR (GIMPLE para LLVM IR).
2. Metodologia Inovadora: Um framework para integrar LLMs como camadas de interoperabilidade dentro de arquiteturas de compilador neuro-simbólicas híbridas, permitindo fluxos de trabalho entre toolchains sem alterar passes de compilador existentes.
3. Conjuntos de Dados: O lançamento de TheStack-IRIS e GNU-IRIS (conjuntos de treinamento) e ExeBench-IRIS e CodeForces-IRIS (conjuntos de avaliação), fornecendo os primeiros corpora alinhados GIMPLE-LLVM IR publicamente disponíveis.
4. Avaliação Abrangente: Um pipeline de avaliação rigoroso medindo tanto a correção sintática (sucesso de compilação) quanto a equivalência funcional (passagem de teste de I/O).

Resultados

O modelo foi avaliado contra LLMs de propósito geral e de codificação de última geração (variando de 13B a 1.000B de parâmetros) em dois benchmarks: ExeBench-IRIS (código do mundo real) e CodeForces-IRIS (programação competitiva).

• Desempenho: O IRIS-14B superou significativamente todas as linhas de base.
  • No CodeForces-IRIS, alcançou uma taxa de sucesso de compilação de 73,24% e equivalência funcional de 63,26% (taxa de passagem de I/O). Isso representa uma melhoria de até 44 pontos percentuais sobre a linha de base mais forte (gpt-oss-120b).
  • No ExeBench-IRIS, atingiu 86,89% de compilação e 79,06% de correção de I/O, superando o melhor concorrente em mais de 6 pontos percentuais.
• Tamanho do Modelo vs. Desempenho: Os resultados indicam que o ajuste fino específico da tarefa em dados de IR emparelhados é mais crítico do que a escala do modelo. Um modelo especializado de 14B superou modelos de propósito geral com até duas ordens de magnitude mais parâmetros.
• Análise de Erros: O modelo luta mais com código de alta complexidade (maior que 50 linhas, aninhamento profundo) e construções específicas como uso de struct, operações de memória (malloc/free) e escritas em arrays. A presença de palavras-chave struct aumentou as taxas de falha em quase 35%.
• Impacto da Fonte de Dados: O treinamento em código diversificado e do mundo real (TheStack-IRIS) produziu resultados significativamente melhores do que o treinamento exclusivamente em código de programação competitiva (CodeForces-IRIS), destacando a importância de dados heterogêneos.

Significado e Alegações

O artigo alega que o IRIS-14B demonstra a viabilidade de usar LLMs para resolver o problema de longa data da interoperabilidade de compiladores.

• Prova de Conceito: Estabelece que métodos baseados em dados podem superar as limitações dos tradutores baseados em regras, alcançando alta precisão na tradução entre IRs heterogêneas.
• Aplicação Prática: A abordagem permite a compilação de código legado ou específico do GCC (por exemplo, Ada com Scalar_Storage_Order ou Modula-2) usando a toolchain LLVM, efetivamente preenchendo lacunas de recursos sem reimplementar frontends.
• Papel Futuro: Os autores posicionam o IRIS-14B não como um substituto para compiladores tradicionais, mas como um componente complementar em arquiteturas neuro-simbólicas híbridas. Nessa visão, a infraestrutura determinística do compilador lida com a compilação padrão, enquanto os LLMs atuam como camadas de interoperabilidade para tradução entre ecossistemas e polinização cruzada de otimizações.
• Robustez: O modelo mostra resiliência à evolução das versões do compilador; um modelo treinado em versões mais antigas de IR (GCC 11/LLVM 14) permaneceu eficaz quando testado em versões mais recentes (GCC 15/LLVM 22), sugerindo que os padrões centrais de IR permanecem estáveis o suficiente para abordagens baseadas em dados.