Can LLMs Perform Synthesis?
Deze studie concludeert dat symbolische hulpmiddelen in alle onderzochte domeinen van programmasynthese betere prestaties leveren dan zowel de Qwen- als de GPT-5-taalmodellen, zowel wat betreft het aantal opgeloste problemen als de uitvoeringstijd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Kunnen AI's echt programmeren? Een vergelijking tussen slimme chatbots en traditionele gereedschappen
Stel je voor dat je een enorme, complexe puzzel moet oplossen. Je hebt een heel specifieke beschrijving van hoe de oplossing eruit moet zien (de "regels"), en je moet een machine bouwen die die regels perfect volgt. Dit noemen we in de programmeerwereld synthese: het automatisch maken van software op basis van een wiskundige opdracht.
De auteurs van dit onderzoek (van de Northeastern University in de VS) wilden weten: Kunnen de nieuwste, super-slimme AI-chatbots (zoals GPT-5 en Qwen) deze puzzels beter oplossen dan de oude, bewezen "wiskundige gereedschappen" die programmeurs al decennia gebruiken?
Hier is een uitleg van hun experiment, vertaald naar alledaagse taal met een paar creatieve vergelijkingen.
1. De Twee Kampioenen
In deze wedstrijd stonden twee soorten "denkers" tegenover elkaar:
De Symbolische Gereedschappen (De "Wiskundige Architecten"):
Denk aan deze tools als een super-precieze, saaie, maar onfeilbare architect. Ze werken met strikte logica en wiskunde. Ze bouwen geen giswerk; ze bewijzen dat hun ontwerp werkt voordat ze het opleveren. Ze zijn als een robot die elke hoek van een kamer afmeet om te garanderen dat de muren perfect recht staan.
Voorbeelden uit het onderzoek:ltlsynt,cvc5,PolySemist.De LLM's (De "Creatieve Schrijvers"):
Dit zijn de grote taalmodellen (AI's) die we allemaal kennen. Ze zijn als een zeer begaafde schrijver die duizenden boeken heeft gelezen. Als je ze vraagt een verhaal te schrijven, doen ze dat snel en vaak heel creatief. Maar ze "weten" niet altijd of hun verhaal logisch klopt; ze raden op basis van patronen wat de volgende zin zou moeten zijn.
Voorbeelden uit het onderzoek: Qwen (een open-source model) en GPT-5 (de nieuwste, dure versie van OpenAI).
2. De Wedstrijd: Vier Soorten Puzzels
De onderzoekers testten deze twee kampioenen op vier verschillende soorten "puzzels":
- Reactieve systemen: Een machine die reageert op inputs (zoals een verkeerslicht dat schakelt).
- Syntaxis-gestuurde synthese: Een programma dat moet voldoen aan een specifieke grammatica (zoals een zin die perfect in het Nederlands moet zijn).
- Verdeelde protocollen: Hoe communiceren verschillende computers onderling zonder ruzie te krijgen?
- Recursieve functies: Functies die zichzelf aanroepen (zoals een Russisch poppetje dat steeds kleiner wordt).
3. Hoe hebben ze het getest? (De Regels van het Spel)
Om eerlijk te zijn, hebben ze de AI's niet "opgeleid" om beter te worden. Ze hebben ze "uit de doos" gebruikt, zoals een gewone gebruiker dat zou doen.
- De AI-strategie: De onderzoekers gaven de AI de opdracht, keken of het antwoord klopte met een controlemechanisme (een "verificator"). Als het antwoord fout was, gaven ze de AI een nieuwe kans.
- Qwen mocht herhaaldelijk proberen (zoals iemand die steeds opnieuw een puzzel probeert te leggen tot het lukt).
- GPT-5 kreeg slechts één kans (omdat het zo duur en krachtig is, en we wilden zien of het in één keer raak kon).
- De Symbolische-strategie: De wiskundige tools kregen ook een tijdslimiet (10 minuten). Als ze binnen die tijd een oplossing vonden, was het goed.
4. De Uitslag: Wie heeft er gewonnen?
De resultaten waren verrassend, maar ook logisch als je de aard van de twee kampioenen begrijpt:
A. De Wiskundige Architecten (Symbolische Tools) waren sneller en betrouwbaarder.
In bijna alle categorieën losten de traditionele tools meer puzzels op dan de AI's.
- De analogie: Stel je voor dat je een brug moet bouwen. De wiskundige tool is een ingenieur die eerst alle berekeningen maakt en dan de brug bouwt. De AI is een kunstenaar die direct begint met bouwen. De kunstenaar kan soms een prachtige brug maken, maar de ingenieur bouwt er meer, en doet het sneller.
- GPT-5 deed het verrassend goed en deed het vaak net zo goed als de traditionele tools, maar niet beter.
- Qwen (de open-source AI) deed het over het algemeen slechter dan de traditionele tools.
B. Snelheid: De AI's kwamen er niet aan.
Zelfs met superkrachtige hardware (de AI's draaiden op dure grafische kaarten, de wiskundige tools op gewone processors), waren de traditionele tools veel sneller.
- De analogie: De AI is als een Formule-1-auto die vastloopt in een modderbak omdat hij de weg niet kent. De traditionele tool is als een snail (slak) die een perfect geplaveide weg volgt. De slak komt er sneller aan omdat hij niet vastloopt in de modder.
C. De "Giswerk" Probleem van de AI.
De AI's hadden een groot probleem: ze herhaalden zich vaak.
- De analogie: Stel je vraagt aan een creatieve schrijver om een verhaal te schrijven. Als hij de eerste keer faalt, vraagt hij je: "Mag ik het nog eens proberen?" Als je zegt "Ja", schrijft hij vaak precies hetzelfde verhaal, of iets dat bijna hetzelfde is, maar dan met een klein foutje.
- De onderzoekers zagen dat Qwen soms honderden keren hetzelfde foutieve antwoord gaf, omdat hij niet "onthield" wat hij al had geprobeerd (omdat ze de AI niet wilden "leren" door fouten te tonen, maar wilden zien of hij het alleen kon). De traditionele tools doen dit niet; ze proberen systematisch iets nieuws.
D. De "Grammatica" Valstrik.
De traditionele tools bouwen altijd code die perfect voldoet aan de regels (de grammatica). De AI's maakten vaak fouten in de structuur van de code (bijvoorbeeld haakjes die niet kloppen), zelfs als de logica erachter goed was.
- De analogie: De AI schrijft een prachtig gedicht, maar vergeet de hoofdletters en leestekens. De wiskundige tool schrijft een saai, droog gedicht, maar elke letter en elk leesteken zit op de juiste plek.
5. Conclusie: Wat betekent dit voor ons?
Het onderzoek concludeert dat AI's op dit moment nog niet de traditionele wiskundige tools kunnen vervangen als het gaat om het garanderen van perfecte, foutloze software.
- De AI's zijn goed voor: Creatieve ideeën, snelle prototypes, en het oplossen van problemen waar de traditionele tools vastlopen (soms vonden de AI's oplossingen waar de wiskundige tools niet aan dachten).
- De traditionele tools zijn goed voor: Betrouwbaarheid, snelheid en het garanderen dat de software echt werkt zonder fouten.
Het beste advies? Gebruik ze samen!
Stel je voor dat je een huis bouwt. Gebruik de AI als de architect die creatieve ontwerpen schetst en ideeën bedenkt. Gebruik vervolgens de traditionele wiskundige tool als de bouwkundige die het plan controleert, de berekeningen checkt en garandeert dat het huis niet instort.
Kortom: AI's kunnen helpen bij het synthetiseren van code, maar voor nu zijn ze nog geen vervanging voor de strenge, wiskundige bewijskracht van de oude garde. Ze zijn de creatieve partner, maar nog niet de onfeilbare meester.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.