🤖 AI

Empirical Computation: Prompting versus Programming

Dit visiedocument stelt "empirische computatie" voor als een nieuw paradigma waarbij Large Language Models computationele problemen oplossen via prompting in plaats van traditionele programmering, waarbij wordt betoogd dat hun unieke capaciteiten en beperkingen de software engineering-gemeenschap vereisen om nieuwe fundamentele theorieën en technieken te ontwikkelen voor het analyseren van correctheid en fundamentele grenzen.

Oorspronkelijke auteurs: Eric Tang, Jing Liu, Marcel Böhme

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eric Tang, Jing Liu, Marcel Böhme

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee manieren hebt om een klus te klaren: Programmeren en Prompten.

De oude manier: Programmeren (De strikte architect)

Denk aan traditioneel programmeren als het inhuren van een strikte, regels volgelijke architect. Je geeft hem een blauwdruk met exacte afmetingen, specifieke materialen en een stapsgewijs plan.

Hoe het werkt: Je vertelt de computer precies hoe een probleem moet worden opgelost, zoals het sorteren van een lijst met getallen. Je zegt: "Gebruik dit specifieke algoritme (Merge Sort), neem deze inputs en volg deze regels."
Het resultaat: Als de architect een fout maakt, kun je de exacte kapotte steen in de blauwdruk vinden, deze repareren en weten dat het gebouw de volgende keer met zekerheid zal blijven staan.
De beperking: De tijd die het kost om te bouwen, hangt af van de complexiteit van de wiskunde. Het sorteren van een enorme lijst met getallen kost een voorspelbare hoeveelheid tijd op basis van de grootte van de lijst (specifiek $O(n \log n)$ ).

De nieuwe manier: Prompten (De intuïtieve kunstenaar)

Stel je nu voor dat je een briljante, intuïtieve kunstenaar inhuurt. Je geeft hem geen blauwdruk. Je zegt alleen maar: "Hé, hier is een rommelige stapel getallen, zou je ze voor me willen sorteren?"

Hoe het werkt: Je gebruikt natuurlijke taal (een "prompt") om het probleem te beschrijven. De "computer" (een Large Language Model of LLM) volgt geen strikte set regels. In plaats daarvan raadt hij het meest waarschijnlijke antwoord op basis van alles wat hij ooit op het internet heeft gelezen. Het is alsof een chef een soep proeft en de ingrediënten raadt, in plaats van een recept te volgen.
Het resultaat: Het antwoord komt snel terug, maar het is een gok, geen garantie. Het is het "meest waarschijnlijke" antwoord, niet het "bewijsbaar correcte" antwoord.

Wat het paper vond: De "empirische" verrassing

De auteurs van dit paper hebben experimenten uitgevoerd om te zien hoe goed deze "intuïtieve kunstenaar" presteert op klassieke wiskundige problemen, zoals het sorteren van getallen of het vinden van items in een lijst. Dit is wat zij ontdekten:

1. Tijd werkt niet op dezelfde manier

Programmeren: Als je het aantal items dat gesorteerd moet worden verdubbelt, neemt de tijd die nodig is op een specifieke, wiskundige manier toe.
Prompten: De tijd die de LLM nodig heeft om getallen te sorteren, neemt lineair toe (gewoon een rechte lijn) naarmate de lijst groter wordt. Waarom? Niet omdat de wiskunde moeilijker wordt, maar omdat de LLM meer woorden (tokens) moet lezen en schrijven om de langere lijst te verwerken. Het is alsof je een langer boek leest; het kost meer tijd om de woorden te lezen, niet omdat het verhaal complexer is.

2. Nauwkeurigheid daalt naarmate zaken groter worden

Programmering: Een correct programma is 100% correct, elke keer weer.
Prompting: De LLM is erg goed in kleine taken, maar raakt in de war naarmate de lijst groter wordt.
- Voor een lijst van 50 getallen had de LLM het ongeveer 90% van de tijd goed.
- Voor een lijst van 150 getallen had hij het slechts ongeveer 58% van de tijd goed.
- Als je de LLM vraagt om een specifiek patroon in een korte reeks tekens te vinden, kan hij bijna onmiddellijk falen als de reeks iets langer wordt.
- De "denkmodus": Wanneer de LLM de ruimte krijgt om te "denken" (stap voor stap redeneren) voordat hij antwoordt, blijft hij zeer nauwkeurig, maar het duurt veel langer.

3. Het taalspel

Programmeren: Het maakt niet uit of je de code in het Engels of Duits schrijft; de computer leest de symbolen op dezelfde manier.
Prompting: De LLM is bevooroordeeld door wat hij op het internet heeft gelezen.
- Als je de LLM vraft om getallen te sorteren die als Engelse woorden zijn geschreven ("one, two, three"), doet hij het erg goed.
- Als je hem vraagt om getallen in het Duits te sorteren ("eins, zwei, drei"), faalt hij bijna volledig.
- Waarom? De LLM heeft miljoenen Engelse voorbeelden op het internet gezien, maar veel minder Duitse. Het is alsof je een chef vraagt een gerecht te koken dat hij nog nooit heeft gezien; hij kan de verkeerde gok maken.

4. Het "Kapotte Steen"-probleem

Programmeren: Als een programma faalt, kun je de bug vinden, de code repareren en het probleem is voor altijd opgelost.
Prompting: Als de LLM een fout antwoord geeft, kun je niet gemakkelijk "de bug" vinden. Je kunt niet naar een specifieke regel code wijzen om het te repareren. Je kunt proberen je prompt aan te passen of hem te vragen "harder na te denken", maar er is geen garantie dat dit de volgende keer werkt. Het is als proberen een droom te repareren door de stemming van de dromer te veranderen.

De belangrijkste conclusie

Het paper betoogt dat we een nieuw tijdperk ingaan dat "Empirische Computatie" wordt genoemd.

In de oude wereld vertrouwden we op computers omdat ze strikte regels volgden (het rationalistische kader). In deze nieuwe wereld vertrouwen we op computers omdat ze "geïnformeerde gokken" doen op basis van data (het empirische kader).

De auteurs roepen software engineers op om te stoppen met het analyseren van deze AI-systemen als traditionele programma's. We hebben nieuwe instrumenten nodig om te meten, te testen en te begrijpen hoe deze "gokmachines" werken, omdat de oude regels van wiskunde en logica niet meer volledig van toepassing zijn op hen. We moeten uitzoeken hoe we een resultaat kunnen vertrouwen dat "waarschijnlijk juist" is, in plaats van "absoluut juist".

Technische Samenvatting: Empirische Computatie: Prompten versus Programmeren

Probleemstelling

Het artikel identificeert een paradigmaverschuiving in het oplossen van computationele problemen: de beweging van programmeren (het specificeren van precieze algoritmen en datastructuren) naar prompten (het verstrekken van informele, natuurlijke taalbeschrijvingen aan Large Language Models of agenten). Terwijl traditionele computatie steunt op deterministische procedures met verifieerbare correctheid en welgedefinieerde complexiteitsgrenzen (bijv. $O(n \log n)$ voor sorteren), steunt "empirische computatie" op het samplen van outputs uit een waarschijnlijkheidsverdeling.

Het kernprobleem is dat de capaciteiten en grenzen van deze nieuwe vorm van computatie niet begrepen kunnen worden binnen het klassieke, rationalistische kader van de informatica. Specifiek:

Gebrek aan Determinisme: Outputs worden niet procedureel gegenereerd, maar zijn het "empirisch meest waarschijnlijke" resultaat, waardoor ze vatbaar zijn voor hallucinaties en fouten die niet gelokaliseerd of gerepareerd kunnen worden via traditionele debugging.
Ambiguïteit in Input: In tegenstelling tot programmeren, dat formele contracten vereist (types, formaten), accepteert prompten informele inputs waarbij de interpretatie afhangt van de context en de trainingsdistributie van het model.
Onduidelijke Complexiteit: Het runtime-gedrag lijkt ontkoppeld van klassieke computationele complexiteit en correleert in plaats daarvan met tokenisatie en het inferentiegedrag van het model.
Verificatiekloof: Bestaande software engineering (SE) technieken (statische analyse, formele verificatie) zijn slecht uitgerust om systemen te analyseren waar geen expliciet programma bestaat om te verifiëren.

Methodologie

De auteurs voerden voorlopige experimenten uit om de efficiëntie en correctheid van empirische computatie te karakteriseren over vijf klassieke computationele problemen:

Sorteren: Oplopend orden van willekeurige getallen.
Zoeken: Het vinden van een index in gesorteerde en ongesorteerde lijsten.
Langste Palindromische Substring: Het vinden van de langste palindromische sequentie in een string.
Subset Sum Problem (SSP): Het vinden van een deelverzameling van getallen die samen een doelwaarde vormen.

Experimentele Opstelling:

Model: De experimenten maakten gebruik van het open-weights model gemma-4-26b-a4b die lokaal draaide op een MacBook Pro (M5 Pro, 48GB RAM) om netwerklatentie te elimineren.
Configuraties: Drie modi werden getest:
- Default: Temperatuur = 1.0.
- Deterministisch: Temperatuur = 0.0.
- Thinking: Reasoning-modus ingeschakeld.
Metrieken:
- Efficiëntie: Tijd tot oplossing en tijd tot de eerste correcte oplossing.
- Correctheid: Proportie trials die het mathematisch correcte antwoord teruggeven.
Variabelen: Inputgrootte ( $n$ ), precisie van getallen, en taalrepresentatie (cijfers versus woorden in diverse talen: Engels, Duits, Koreaans, Japans, etc.).
Ground Truth: Voor niet-triviale problemen (Substring, SSP) genereerden eenvoudige Python-programma's de correcte antwoorden voor validatie.

Belangrijkste Resultaten

1. Efficiëntie versus Klassieke Complexiteit

In tegen tegenstelling tot de klassieke theorie volgt de runtime van empirische computatie niet strikt de algoritmische complexiteit van het probleem (bijv. $O(n)$ versus $O(n \log n)$ ).

Lineaire Schaling: Voor sorteren, zoeken en SSP nam de tijd tot oplossing lineair toe met de inputgrootte ( $O(n)$ ) in alle modi. De auteurs schrijven dit toe aan de lineaire toename in input/output-tokens in plaats van aan de computationele logica.
Token Afhankelijkheid: De tijd die nodig was om een getal te incrementeert was vergelijkbaar met het voorspellen van plaintext uit een SHA-512 hash, wat suggereert dat de runtime wordt gedreven door tokenisatie en inferentiemechanismen in plaats van de moeilijkheidsgraad van het probleem.
Thinking Mode Kosten: Het inschakelen van "thinking" (redeneren) verhoogde de runtime aanzienlijk (bijv. tot 275s voor het sorteren van 150 elementen), maar behield een hoge correctheid.

2. Correctheid en Inputgrootte

Gevoeligheid voor Grootte: In Default en Deterministische modi degradeerde de correctheid snel naarmate de inputgrootte toenam.
- Voor het sorteren van 50 integers daalde de correctheid naar ~50% (kans van een muntopwerp).
- Voor het sorteren van 150 integers daalde de correctheid naar ~58% (ondanks de lineaire toename in tijd).
- Voor het Subset Sum probleem naderde de correctheid nul voor lijsten met een lengte van 10.
- Voor het Substring probleem daalde de correctheid naar bijna nul voor strings met een lengte van 5.
Resilience van Thinking Mode: Wanneer redeneercapaciteiten werden ingeschakeld, bleef de correctheid hoog (>90%), zelfs voor grotere inputs, mits binnen de token/tijdlimieten.

3. Impact van Natuurlijke Taalrepresentatie

De studie onderzocht hoe de taal gebruikt voor de representatie van getallen de correctheid beïnvloedt.

Data Representatie Bias: Correctheid is sterk afhankelijk van de representatie van de taal in de trainingsdata van het model.
Hoge versus Lage Representatie: Het sorteren van getallen geschreven in het Engels (goed vertegenwoordigd) leverde >95% correctheid voor grootte 20 op. In contrast hiermee leverde het sorteren van getallen geschreven in het Duits (ondervertegenwoordigd) <1% correctheid op voor dezelfde grootte.
Conclusie: Empirische computatie is niet taal-agnostisch; het is bevooroordeeld naar talen en formaten die prevalent zijn in de trainingscorpus.

4. Foutkenmerken

In tegen weerstelling van traditionele programma's, waar fouten gelokaliseerd kunnen worden naar specifieke regels code, zijn fouten in empirische computatie niet-deterministisch. De LLM kan:

Getallen toevoegen die niet in de input aanwezig zijn.
Getallen verwijderen die wel in de input aanwezig zijn.
Getallen dupliceren.
Niet de volledige lijst sorteren.
Grote inputs afkappen.

Belangrijkste Bijdragen

Definitie van Empirische Computatie: Het artikel introduceert formeel "empirische computatie" als een afzonderlijk veld waar oplossingen worden gegenereerd via prompting en sampling in plaats van procedurele executie.
Empirische Karakterisering: Het biedt de eerste systematische meting van efficiëntie en correctheid voor LLM's die klassieke algoritmische problemen oplossen, waarbij wordt onthuld dat de runtime correleert met tokenisatie in plaats van algoritmische complexiteit.
Identificatie van Limieten: De studie demonstreert dat zonder reasoning-modi, empirische computatie niet betrouwbaar schaalt met de inputgrootte en zeer gevoelig is voor de linguïstische representatie van inputs.
Oproep voor Nieuwe SE Fundamenten: De auteurs betogen dat de software engineering gemeenschap nieuwe tools moet ontwikkelen voor "empirische programma-analyse" (statistische, counterfactual of causale redenering) om de correctheid van deze systemen te analyseren, te schatten en te voorspellen.

Betekenis en Visie

Het artikel stelt dat de software engineering gemeenschap niet kan vertrouwen op klassieke rationalistische kaders of bestaande programma-analyse tools om de betrouwbaarheid van AI-gestuurde computatie te waarborgen. Nu LLM's en agenten integraal worden bij het oplossen van computationele problemen, moet het vakgebied evolueren om de volgende zaken aan te pakken:

Hoe men correctheid analyseert in de afwezigheid van een formeel programma.
Hoe men de grenzen van empirische computatie definieert en test.
Hoe men de correctheid voor specifieke probleeminstanties kan verbeteren zonder regressies te introduceren.

De auteurs framen dit als een actueel en rijk onderzoeksgebied en dringen aan op de ontwikkeling van "empirische programma-analyse" technieken om de kloof tussen de probabilistische aard van LLM's en de rigoureuze eisen van software engineering te overbruggen. Het artikel beweert niet deze problemen op te lossen, maar beoogt het veld te vestigen en de dringende behoefte aan nieuwe theoretische en praktische fundamenten te benadrukken.