InCoder-32B: Code Foundation Model for Industrial Scenarios

InCoder-32B is een nieuw 32B-parameter code foundation model dat specifiek is ontwikkeld voor industriële scenario's zoals chipontwerp en GPU-optimalisatie, en dat door middel van een gestructureerd trainingsproces zowel sterke prestaties op algemene coderingstaken als op gespecialiseerde industriële benchmarks bereikt.

De kern

Stel je voor dat je een zeer slimme programmeur hebt die alles kan: van het bouwen van een simpele website tot het schrijven van een complex computerprogramma. Dit is wat de huidige "AI-coderen" (zoals de bekende modellen van Google of OpenAI) al kunnen. Ze zijn geweldig in de algemene wereld van software.

Maar wat als je diezelfde programmeur vraagt om iets te bouwen dat direct op een chip moet werken, of om een heel specifiek stukje code te schrijven dat een grafische kaart (GPU) extreem snel maakt? Of wat als je een robotarm wilt programmeren die precies een 3D-ontwerp moet maken?

Hier slaan de gewone AI-models vaak op de rem. Ze zijn te "algemeen". Ze begrijpen niet de strenge regels van hardware, de beperkingen van stroomverbruik, of de exacte timing die nodig is voor een chip.

InCoder-32B is de oplossing voor dit probleem. Het is een nieuwe, speciaal gebouwde AI die is getraind om niet alleen "algemene" code te schrijven, maar ook de industriële specialist te zijn.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Alles-in-één" Specialist

Stel je een bouwvakker voor. Een gewone bouwvakker kan een huis bouwen (algemene software). Maar InCoder-32B is als die ene super-bouwvakker die ook:

• De elektriciteitsnetwerken in de muren kan ontwerpen (Chip Design/Verilog).
• De motor van een raceauto kan optimaliseren voor maximale snelheid (GPU Kernel Optimalisatie).
• De robotarm in de fabriek kan programmeren (Embedded Systems).
• Zelfs de 3D-printer kan aansturen om een nieuw prototype te maken (3D Modeling).

De meeste AI's zijn gespecialiseerd in één ding. InCoder-32B is de eerste die al deze complexe, industriële taken in één model heeft samengevoegd.

2. Hoe leer je zo'n AI? (De Drie-Fasen Training)

De onderzoekers hebben InCoder-32B niet zomaar "in het wild" laten leren. Ze hebben een heel slim trainingsplan gevolgd, alsof je een kind opvoedt tot een ingenieur:

• Fase 1: De Basis (Pre-training)
  Ze hebben de AI laten lezen van miljoenen regels code, maar dan specifiek die van ingenieurs. Denk aan handleidingen voor chips, oude documentatie over hardware, en code van echte fabrieken. Ze hebben de "vuile was" (foutieve code) eruit gehaald en alleen de beste, veiligste voorbeelden overgehouden.

  • Analogie: Het is alsof je een student niet alleen laat lezen van romans, maar ook van technische handleidingen, blauwdrukken en foutenrapporten van echte fabrieken.

• Fase 2: De Uitdaging (Mid-training)
  Nu komt het lastige deel. De AI moet leren om na te denken over lange reeksen code en complexe problemen. Ze hebben de AI getraind met "synthetische" problemen die ze zelf hebben bedacht.

  • De truc: Ze lieten de AI code schrijven, en lieten die code echt draaien in een virtuele fabriek. Als de code een chip liet crashen of de GPU te veel stroom trok, kreeg de AI een "rood kaartje". Zo leerde de AI dat het niet genoeg is om code te schrijven, de code moet ook werken in de echte wereld.
  • Analogie: Het is alsof je een piloot niet alleen in een simulator laat vliegen, maar hem ook daadwerkelijk laat vliegen in een vliegtuig met echte wind en turbulente lucht, zodat hij leert omgaan met echte risico's.

• Fase 3: De Praktijk (Post-training)
  Tot slot hebben ze de AI laten oefenen op echte taken: "Maak deze chip sneller" of "Vind de fout in deze code". Ze lieten de AI zelfs fouten maken, kijken naar de foutmelding, en dan proberen het op te lossen.

  • Analogie: Een meester die een leerling laat zien hoe hij een auto moet repareren, maar dan ook laat zien hoe de auto niet werkt, zodat de leerling leert hoe hij de diagnose moet stellen en de fout moet herstellen.

3. Wat kan het nu doen? (De Resultaten)

De onderzoekers hebben InCoder-32B getest tegen de beste AI's ter wereld.

• Op algemene taken: Het doet het net zo goed als de zware, dure modellen. Het kan websites bouwen, apps maken en puzzels oplossen.
• Op industriële taken: Hier schijnt het echt te blinken. Het is de eerste open-source AI die echt goed presteert op het ontwerpen van chips en het optimaliseren van grafische kaarten.

Een concreet voorbeeld uit het papier:
Stel je voor dat je een AI vraagt om een berekening te doen op een heel groot beeld (512x512 pixels).

• Een gewone AI (zoals Claude) zou zeggen: "Oké, ik gebruik een grote lijst om dat te doen." Maar die lijst is te groot voor de hardware van de grafische kaart. De computer crasht.
• InCoder-32B zegt: "Wacht even, die kaart heeft een limiet. Ik zal de lijst op een slimme manier opbreken in kleinere stukjes, zodat het precies past." En dat werkt!

Waarom is dit belangrijk?

Vroeger moesten bedrijven hun eigen dure AI's bouwen om hun specifieke hardware te programmeren. Nu hebben ze InCoder-32B. Het is een gratis, openbare tool die engineers helpt om:

1. Snellere chips te ontwerpen.
2. Batterijduur te verlengen in apparaten.
3. Fouten in complexe systemen sneller te vinden.

Kortom: InCoder-32B is de brug tussen de "droomwereld" van algemene AI en de "harde realiteit" van de industriële engineering. Het is de AI die niet alleen praat, maar ook echt bouwt.

Technische samenvatting

Titel: InCoder-32B: Code Foundation Model voor Industriële Scenarios

1. Het Probleem

Hoewel recente grote taalmodellen (LLMs) voor code opmerkelijke vooruitgang hebben geboekt in algemene programmeertaken, presteren ze aanzienlijk minder goed in industriële scenario's. Deze scenario's vereisen vaak:

• Redeneren over hardware-semantiek (bijv. timing, resources).
• Gebruik van gespecialiseerde taalconstructies (zoals Verilog, CUDA, embedded C).
• Strikte resource- en tijdsbeperkingen.
• Rigoureuze verificatiemethoden (simulatie, synthese).

Bestaande modellen worden getraind op algemene software-ontwikkeling (web, scripts) en missen de diepgaande kennis die nodig is voor chipontwerp, GPU-kernel-optimalisatie, ingebouwde systemen en compiler-optimalisatie. Benchmarks tonen aan dat zelfs de sterkste modellen hier lage successpercentages hebben (bijv. <30% succes bij het genereren van Triton-operatoren of Verilog-code die formele verificatie doorstaat).

2. Methodologie

De auteurs introduceren InCoder-32B, een 32B-parameter code-fundamentmodel dat specifiek is ontworpen om deze kloof te dichten. Het model volgt een unieke driefasige "Code-Flow" trainingspipeline:

Fase 1: Pre-training & Annealing (Data Cursatie & Versterking)

• Data Collectie: Het verzamelen van industriële code uit openbare repositories, technische literatuur (via OCR) en domeinspecifieke webbronnen.
• Filtering & Cleaning: Strikte filtering op licenties, PII (persoonlijke gegevens), en validatie via AST-comparatie en recompilatie.
• Deduplicatie: Op meerdere niveaus (hash, token, repository, cross-source).
• Architectuur: Een standaard decoder-only Transformer met autoregressieve taalmodellering en "Fill-in-the-Middle" (FIM) voor contextvullende taken.

Fase 2: Mid-training (Context Uitbreiding & Redenering)

• Progressieve Context: De contextlengte wordt stapsgewijs uitgebreid van 8K naar 32K en vervolgens naar 128K tokens.
• Synthetische Data: Generatie van industriële redeneringsvragen (QA) en agent-trajecten die realistische hardware-scenario's simuleren (bijv. debugging van timing-schendingen, optimalisatie van area/power).
• Agent Trajecten: Insluiting van "Thought-Action-Observation" cycli waarbij het model feedback krijgt van hardware-simulators, synthesetools en compilers.
• Doel: Het model leren om lange-termijn afhankelijkheden in complexe projecten (zoals multi-module hardware ontwerpen) te begrijpen.

Fase 3: Post-training (Executie-Gebaseerde Verificatie)

• Simulatie-omgevingen: De auteurs hebben software-omgevingen gereconstrueerd die exact overeenkomen met productiestacks:
  • Chip Design: Icarus Verilog, Verilator, Yosys.
  • GPU Optimalisatie: NVIDIA A100 nodes met CUDA/Triton toolchains.
  • 3D Modeling: CadQuery met OpenCascade.
  • Embedded Systems: STM32F407 simulatie via Renode.
• Data Constructie: Generatie van 2,5 miljoen SFT (Supervised Fine-Tuning) voorbeelden.
• Feedback-gedreven Reparaties: Als een gegenereerde oplossing faalt in de simulatie, wordt de foutmelding (compiler error, runtime log) teruggevoerd naar het model om een gerepareerde versie te genereren. Dit creëert een gesloten lus van "Fout -> Analyse -> Fix".

3. Belangrijkste Bijdragen

1. Eerste Industriële Code LLM: InCoder-32B is het eerste model dat specifiek is gebouwd om de kloof tussen academische benchmarks en echte industriële engineeringdomeinen (chipdesign, GPU, embedded, compiler) te overbruggen.
2. Uitgebreide Evaluatie: De auteurs hebben de meest complete evaluatie tot nu toe samengesteld, bestaande uit 14 algemene benchmarks en 9 industriële benchmarks over 4 gespecialiseerde domeinen.
3. Innovatieve Trainingsstrategie:
   • Het gebruik van repository-transition data (commit-historie) bleek superieur aan statische snapshots voor planning.
   • Mid-training redeneringstrajecten verbeteren de robuustheid bij distributieveranderingen.
   • Thinking-paden (Chain-of-Thought) ontsluiten emergente capaciteiten die ontbreken in standaard instructie-tuning.

4. Resultaten

InCoder-32B werd geëvalueerd tegen een breed scala aan state-of-the-art modellen (inclusief Qwen3, DeepSeek, Kimi, Claude-Sonnet-4.6).

• Algemene Code Taken:

  • Bereikt 74.8% op SWE-bench Verified.
  • 49.14% op LiveCodeBench.
  • 60.99% op BFCL (Function Calling).
  • De prestaties zijn concurrerend met veel grotere modellen (tot 480B parameters) ondanks de compacte 32B grootte.

• Industriële Code Taken:

  • Chip Design: Bereikt de beste open-source resultaten op RealBench (module-niveau) en is zeer competitief op VeriScope en VeriRepair.
  • GPU Optimalisatie: Leidt alle open-source baselines op KernelBench en TritonBench, en overtreft zelfs het gesloten model Claude-Sonnet-4.6 op specifieke metrics (IoU in 3D modeling en KernelBench L1/L2/L3).
  • 3D Modeling & Compiler: Sterke prestaties op CAD-Coder en SuperCoder.

5. Betekenis en Impact

InCoder-32B markeert een mijlpaal in de ontwikkeling van AI voor engineering. Het bewijst dat een model niet alleen "algemene" programmeerkennis moet hebben, maar specifiek getraind moet worden op hardware-semantiek en uitvoeringsverificatie.

• Unificatie: Het verenigt eerder gefragmenteerde industriële domeinen in één enkel model.
• Praktische Toepasbaarheid: Door te trainen met simulatie-omgevingen die exact overeenkomen met productiestacks, is de kans groter dat de gegenereerde code direct bruikbaar is in de industrie (bijv. in de chipindustrie of bij GPU-optimalisatie).
• Open Source: Het biedt sterke open-source baselines voor domeinen die tot nu toe gedomineerd werden door gesloten, proprietary modellen of waar geen goede open-source alternatieven voor bestonden.

Kortom, InCoder-32B stelt de AI-gemeenschap in staat om complexe, hardware-gerelateerde engineeringtaken aan te pakken die tot voor kort buiten bereik lagen van grote taalmodellen.