InCoder-32B: Code Foundation Model for Industrial Scenarios

O artigo apresenta o InCoder-32B, o primeiro modelo de linguagem de código de 32 bilhões de parâmetros treinado do zero para unificar inteligência em tarefas gerais e cenários industriais complexos, como design de chips e sistemas embarcados, estabelecendo novas bases de referência de código aberto nesses domínios especializados.

O essencial

Imagine que você tem um assistente de programação superinteligente, capaz de escrever código para sites, aplicativos e jogos. Esse é o tipo de "cérebro" que a maioria das Inteligências Artificiais (IA) atuais possui. Mas e se você precisar programar algo muito mais complexo e perigoso? Algo que controla o cérebro de um carro autônomo, o processador do seu celular ou a placa gráfica que faz os gráficos do seu jogo?

Aqui é onde entra o InCoder-32B, o protagonista deste artigo.

O Problema: O "Generalista" vs. O "Especialista"

Pense nas IAs de programação atuais como generalistas. Elas são ótimas em escrever um site de e-commerce ou um script simples. Mas, quando você pede para elas programar um chip de computador (como os da Apple ou NVIDIA) ou otimizar a memória de um processador, elas começam a alucinar.

É como pedir para um cozinheiro que é mestre em fazer hambúrgueres tentar realizar uma cirurgia cardíaca. Ele conhece os ingredientes (o código), mas não entende a anatomia (o hardware), as restrições de tempo (milissegundos) ou as regras de segurança rígidas. Se ele errar, o paciente (ou o chip) morre.

No mundo industrial, um erro não significa apenas um site com bug; significa um chip que não funciona, um carro que freia sozinho ou um satélite que cai.

A Solução: O InCoder-32B

O InCoder-32B é o primeiro modelo de IA criado especificamente para ser esse cirurgião cardíaco da programação. Ele foi treinado não apenas para "escrever código", mas para entender a física e a lógica do hardware.

Ele cobre quatro áreas principais onde a precisão é vital:

1. Design de Chips: Criar os circuitos que vão dentro dos processadores.
2. Otimização de GPU: Fazer os gráficos de jogos e IA rodarem mais rápido.
3. Sistemas Embarcados: Programar o "cérebro" de eletrodomésticos, carros e drones.
4. Modelagem 3D: Criar peças físicas para impressão 3D e manufatura.

Como eles ensinaram isso à IA? (O Treinamento)

Aqui está a parte mais criativa da história. Como você ensina uma IA a não cometer erros fatais?

1. A Biblioteca de Livros (Pré-treinamento): Eles alimentaram a IA com milhões de códigos reais de engenharia, não apenas códigos de internet.

2. O Laboratório de Simulação (O Segredo): A maior inovação foi criar um laboratório virtual. Antes de a IA aprender, os pesquisadores criaram ambientes digitais que imitam exatamente o mundo real:

   • Para chips: Um simulador que testa se o circuito funciona antes de ser fabricado.
   • Para GPUs: Um simulador que roda o código em placas de vídeo virtuais para ver se ele é rápido e não explode a memória.
   • Para carros: Um simulador que testa se o código do freio funciona em um carro virtual.

   A Analogia: Imagine que, em vez de deixar o aluno de medicina praticar em pacientes reais, você o colocasse em um simulador de voo de alta precisão. Se ele errar no simulador, o avião virtual cai, e ele aprende com o erro sem matar ninguém. O InCoder aprendeu assim: tentar, errar, ver o erro no simulador e corrigir.

3. O "Pensamento" (Mid-training e Post-training): Eles ensinaram a IA a pensar passo a passo. Em vez de apenas chutar uma resposta, a IA aprendeu a planejar: "Se eu fizer isso, o chip vai superaquecer. Melhor mudar aqui."

O Resultado: O "Super-Herói" do Código

Os testes mostraram que o InCoder-32B é um monstro:

• No geral: Ele é tão bom quanto as IAs mais famosas do mundo em tarefas de programação comum.
• Na indústria: Ele destrói a concorrência. Em tarefas de design de chips e otimização de GPU, ele superou até mesmo modelos proprietários (fechados e pagos) que custam milhões.

Exemplo Prático do Papel:
O artigo mostra um caso onde outra IA tentou programar uma função para uma placa gráfica gigante. Ela errou porque tentou usar uma configuração que o hardware físico não suporta (como tentar enfiar um elefante em um carro esportivo). O InCoder, no entanto, percebeu a limitação física, reescreveu o código para "achatar" os dados de forma inteligente e fez funcionar perfeitamente.

Resumo em uma frase

O InCoder-32B é a primeira IA que não apenas sabe "falar a língua" da programação, mas também entende as leis da física e as limitações do hardware, tornando-se o primeiro assistente de verdade para engenheiros que constroem o futuro da tecnologia, desde chips até carros autônomos.

Ele fecha a lacuna entre "criar um código que funciona no computador" e "criar um código que funciona no mundo real".

Resumo técnico

Resumo Técnico: InCoder-32B

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) para código tenham alcançado progressos notáveis em tarefas de programação geral (como desenvolvimento web e algoritmos), seu desempenho degrada significativamente em cenários industriais. Esses cenários exigem:

• Semântica de Hardware: Raciocínio sobre restrições físicas de chips, temporização e comportamento de circuitos.
• Restrições Rigorosas: Limites estritos de recursos (memória, energia) e janelas de tempo críticas.
• Domínios Especializados: Linguagens e ferramentas específicas como Verilog (design de chips), CUDA/Triton (otimização de GPU), firmware embarcado e modelagem 3D (CAD).
• Verificação: A correção do código industrial não pode ser validada apenas por testes sintáticos; ela exige simulação, compilação cruzada e execução em hardware real ou simuladores de alta fidelidade.

Modelos existentes falham nessas tarefas porque são treinados predominantemente em dados de software de nível superior, carecendo de dados de "fundos" (low-level) e de ciclos de feedback baseados em execução real.

2. Metodologia

O InCoder-32B é um modelo fundacional de 32 bilhões de parâmetros, projetado especificamente para unificar a inteligência de código em domínios industriais. A abordagem metodológica baseia-se em um pipeline de treinamento de três estágios, denominado Code-Flow, e na construção de ambientes de simulação de alta fidelidade.

A. Ambientes de Simulação Industrial (Data Grounding)
Para garantir a qualidade dos dados de pós-treinamento, os autores recriaram quatro ambientes industriais críticos em software, utilizando as mesmas ferramentas que engenheiros usam na produção:

1. Design de Chips: Uso de Icarus Verilog, Verilator e Yosys para simulação comportamental e síntese lógica.
2. Otimização de GPU: Compilação e execução em hardware NVIDIA A100 usando nvcc (CUDA) e pilhas oficiais do Triton.
3. Modelagem 3D: Ambiente baseado em CadQuery e OpenCascade para geração e validação geométrica de modelos CAD.
4. Otimização de Código/Embarcados: Uso de compiladores cruzados ARM (arm-none-eabi-gcc) e simuladores Renode para firmware, além de benchmarks de otimização de assembly x86-64.

B. Pipeline de Treinamento (Code-Flow)

1. Pré-treinamento e Annealing: Coleta e curadoria massiva de dados industriais (repositórios públicos, literatura técnica via OCR, fontes web específicas). Inclui limpeza rigorosa (deduplicação, validação de licença, verificação de sintaxe e recompilação).
2. Mid-training (Expansão de Contexto):
   • Estende o contexto de 8K para 128K tokens em duas fases.
   • Introduz dados sintéticos de raciocínio industrial (QA) e trajetórias de agentes (debugging e reparo) que simulam o ciclo "Pensamento-Ação-Observação" com feedback de ferramentas.
   • Foca em tarefas de arquivo único (RTL, kernels) e depois em projetos complexos multi-arquivo.
3. Pós-treinamento (SFT com Verificação):
   • Geração de 2,5 milhões de pares de instrução-resposta baseados em tarefas reais.
   • Verificação Baseada em Execução: O código gerado é compilado, simulado e testado. Se falhar, o erro (log, mensagem de compilador) é usado para gerar uma trajetória de reparo fechada (closed-loop repair), ensinando o modelo a diagnosticar e corrigir falhas.
   • Criação de duas variantes: uma instruída (Instruction-tuned) e uma de raciocínio (Thinking variant).

3. Contribuições Principais

• Primeiro Modelo Unificado Industrial: O InCoder-32B é o primeiro LLM de código projetado especificamente para cobrir simultaneamente design de chips, otimização de GPU, sistemas embarcados, otimização de compiladores e modelagem 3D.
• Benchmarks Industriais Abrangentes: A equipe assembleu a avaliação mais completa até a data, cobrindo 14 benchmarks gerais e 9 benchmarks industriais em 4 domínios especializados (ex: VeriScope, RealBench, KernelBench, CAD-Coder).
• Pipeline de Dados Sintéticos Verificados: Desenvolvimento de um pipeline que gera dados de raciocínio industrial com verificação automática de correção factual, preenchendo lacunas onde dados reais são escassos.
• Descobertas de Arquitetura e Dados:
  • Dados de transição de repositórios (commits) superam snapshots estáticos para planejamento.
  • Trajetórias de raciocínio no mid-training melhoram a robustez sob mudança de distribuição.
  • Caminhos de pensamento ("thinking paths") desbloqueiam capacidades emergentes ausentes no ajuste fino padrão.

4. Resultados

O InCoder-32B foi avaliado contra modelos de código de ponta (incluindo Qwen3, DeepSeek, Kimi e Claude-Sonnet-4.6).

• Desempenho Geral: Em benchmarks gerais (HumanEval, MBPP, SWE-bench Verified, LiveCodeBench), o modelo de 32B alcança desempenho competitivo com modelos muito maiores (até 480B parâmetros) e modelos proprietários.
  • Ex: 74.8% no SWE-bench Verified e 49.14% no LiveCodeBench.
• Desempenho Industrial: O modelo estabeleceu as melhores linhas de base de código aberto em todos os domínios industriais avaliados:
  • Design de Chips: Supera concorrentes em tarefas de nível de módulo no RealBench e mantém competitividade em VeriScope e VeriRepair.
  • Otimização de GPU: Lidera em KernelBench (níveis L1, L2, L3) e TritonBench, superando até o modelo proprietário Claude-Sonnet-4.6 em métricas de precisão de execução.
  • Modelagem 3D: Alcança o melhor desempenho em CAD-Coder (IoU e taxa de compilação).
  • Embarcados e Otimização: Mostra forte capacidade em EmbedCGen e SuperCoder, embora essas tarefas permaneçam desafiadoras para todos os modelos.

5. Significado e Impacto

O InCoder-32B representa um marco na transição da inteligência de código de "assistentes de programação geral" para engenheiros de software especializados.

• Ponte entre Academia e Indústria: O modelo preenche a lacuna entre benchmarks acadêmicos (focados em algoritmos) e as demandas reais da engenharia de hardware e sistemas.
• Viabilidade de Uso Real: Ao incorporar verificação baseada em execução e simulação de hardware no ciclo de treinamento, o modelo gera código que não apenas "parece correto", mas que é funcional e otimizável em ambientes de produção.
• Código Aberto: A disponibilização do modelo e dos benchmarks industriais permite que a comunidade de pesquisa e desenvolvimento avance na criação de ferramentas de IA para setores críticos como semicondutores e automotivo, que historicamente foram negligenciados por modelos de código de propósito geral.

Em suma, o InCoder-32B demonstra que um modelo de tamanho moderado (32B), quando treinado com dados industriais curados e verificados rigorosamente, pode superar modelos massivos em tarefas de engenharia complexa, oferecendo uma base sólida para o futuro da automação em engenharia de hardware e sistemas.