Leveraging LLMs for Multi-File DSL Code Generation: An Industrial Case Study
Deze industriële case study bij BMW toont aan dat het fine-tunen van code-gerichte LLM's met een gestructureerde, padbehoudende JSON-representatie van repository-hiërarchieën aanzienlijk beter presteert dan baseline prompting en one-shot learning bij het genereren van accurate, multi-file DSL-artefacten die downstream codegeneratie aansturen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een meester-architect bent die werkt voor een enorm bouwbedrijf (BMW). Je taak is het ontwerpen van nieuwe gebouwen (marktconfiguraties) voor verschillende steden.
Op de oude manier van werken moest je elke blauwdruk, elk elektrisch plan en elk loodgietersdiagram handmatig op aparte stukken papier uitschrijven. Als je een nieuw raam aan de keuken wilde toevoegen, moest je onthouden om het elektrische plan, het loodgietersplan en het constructieplan allemaal perfect synchroon bij te werken. Als je één klein detail vergat, kon het hele gebouw niet worden gebouwd, en zou het bouwteam (de codegenerator) vastlopen.
Dit artikel gaat over het leren aan een superslimme robotassistent (een Large Language Model, of LLM) om dit administratieve werk voor je te doen. Maar er is een addertje onder het gras: de robot heeft je specifieke blauwdrukken nog nooit eerder gezien, en het moet meerdere onderling verbonden documenten tegelijk bijwerken op basis van slechts één zin instructies van jou.
Hier is hoe de onderzoekers de robot dit hebben geleerd:
1. Het Probleem: De "Één Instructie, Veel Bestanden" Puzzel
Meestal is AI goed in het schrijven van één verhaal of één stuk code. Maar in dit bedrijf vereist een enkel verzoek zoals "Voeg een nieuw leentype toe voor de Duitse markt" het wijzigen van bestanden in vijf verschillende mappen. Als de robot het hoofdbestand wijzigt maar vergeet het bestand bij te werken dat alle leentypen opsomt, breekt het hele systeem.
2. De Oplossing: Het Platleggen van de Bibliotheek
Om de robot te helpen het hele project in één keer te begrijpen, gaven de onderzoekers het niet bestand voor bestand. In plaats daarvan namen ze de volledige "bibliotheek" van blauwdrukken (de mapstructuur) en legden deze plat in één groot, georganiseerd boek (één enkel JSON-document).
- De Analogie: Stel je voor dat je een rommelig bureau met 20 verschillende mappen neemt en elke enkele pagina op één grote tafel uitlegt, maar ze in nette rijen houdt zodat je weet welke pagina bij welke map hoort. Nu kan de robot naar de hele tafel kijken en zeggen: "Oké, ik zie waar de wijzigingen moeten komen."
3. De Training: Drie Manieren om de Robot te Leren
De onderzoekers probeerden drie verschillende manieren om de robot deze specifieke baan te leren:
- De "Koude Start" (Zero-Shot): Ze gaven de robot gewoon de instructie en het platgelegde boek en zeiden: "Maak het goed."
- Resultaat: De robot was goed in het houden van de pagina's in de juiste volgorde, maar het verzon vaak verkeerde details of miste kleine connecties. Het was als een student die het alfabet kent maar de grammatica nog niet heeft geleerd.
- Het "Voorbeeld" (One-Shot): Ze gaven de robot de instructie, het boek, plus één voorbeeld van een eerder werk dat correct was uitgevoerd. "Zo hebben we de vorige keer een raam toegevoegd; doe het zo."
- Resultaat: Dit hielp de robot om de structuur goed te krijgen (de pagina's bleven in de juiste mappen), maar het had nog steeds moeite met de specifieke, lastige details van het nieuwe verzoek.
- De "Intensieve Cursus" (Fine-Tuning): Ze namen de robot en lieten het honderden voorbeelden zien van "Voor" en "Na" blauwdrukken. Ze lieten het niet alleen zien; ze pasten het interne brein van de robot aan (met behulp van een techniek genaamd QLoRA) zodat het de specifieke regels van deze bedrijfsblauwdrukken leerde.
- Resultaat: Dit was de winnaar. De robot werd een expert. Het kon naar een verzoek kijken en een perfect gesynchroniseerde reeks wijzigingen produceren over alle bestanden heen.
4. De Resultaten: Werkte Het?
De onderzoekers testten de robot met echte taken en lieten menselijke experts het werk controleren.
- Structuur: De gefinetuned robot was bijna perfect in het houden van de bestanden in de juiste mappen en het niet uitvinden van nepmappen. Het behaalde een perfecte score (1,0) op het correct houden van de "vorm" van het project.
- Details: Het was zeer goed in de daadwerkelijke inhoud, waarbij ongeveer 66% van de wijzigingen exact goed was en 84% van de wijzigingen "voldoende dichtbij" was om nuttig te zijn.
- De "Bijna-Gemist" Realiteit: De robot was zo goed dat wanneer het faalde, het meestal slechts een kleine typefout of een verkeerd getal was, niet een ontbrekend bestand. Het was als een chef-kok die een perfecte maaltijd kookt maar per ongeluk zout gebruikt in plaats van suiker. De structuur was goed; de smaak was net iets afwijkend.
5. Wat de Menselijke Experts Zeiden
De onderzoekers vroegen vier senior architecten (ontwikkelaars) om het werk van de robot te beoordelen.
- Uitspraak: Ze vonden het geweldig. Ze gaven hoge cijfers voor leesbaarheid en structuur.
- Tijdwinst: Ze schatten dat voor kleine, eenvoudige projecten de robot hen 40% tot 80% van hun tijd kon besparen. Voor enorme, complexe projecten was de robot echter nog steeds een "hulpje" dat een mens nodig had om de uiteindelijke details te controleren.
- De Addertje: De robot raakte soms in de war over welk specifiek type onderdeel er in een complex scenario moest worden gebruikt, waardoor een mens een snelle correctie moest maken.
De Conclusie
Dit artikel bewijst dat je een AI kunt leren complexe, multi-bestandsprojecten te beheren als je:
- De bestanden organiseert in één enkel, makkelijk te lezen formaat.
- Het een specifieke "intensieve cursus" (fine-tuning) geeft over je specifieke regels.
Het zal de menselijke architecten nog niet vervangen, maar het kan het zware tillen doen van het opstellen van de blauwdrukken, hen uren van saai werk besparen en hen in staat stellen zich te richten op de creatieve onderdelen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.