🤖 machine learning

Error-Driven Prompt Optimization for Arithmetic Reasoning

Dit artikel introduceert een door fouten gedreven framework voor promptoptimalisatie dat de rekenredeneercapaciteiten van lokale kleine taalmodellen aanzienlijk verbetert, waardoor ze in privacyconforme industriële omgevingen presteren die beter zijn dan die van grotere modellen zoals GPT-3.5 Turbo, zonder dat kostbare fijnafstemming vereist is.

Oorspronkelijke auteurs: Árpád Pándy, Róbert Lakatos, András Hajdu

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Árpád Pándy, Róbert Lakatos, András Hajdu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Lokale Boekhouder versus de Cloudreus

Stel je voor dat je een zeer slimme, maar iets vergeetachtige, lokale boekhouder (een Klein Taalmodel of SLM) hebt die in je beveiligde kantoor werkt. Je hebt ook een supergeniale consultant (een Groot Taalmodel zoals GPT-3.5) die in een gigantisch cloudkantoor woont.

Het probleem? Je bedrijf heeft te maken met gevoelige financiële gegevens. Je kunt deze gegevens niet naar de cloudconsultant sturen vanwege privacyregels. Je moet alles in je lokale kantoor houden.

Echter, je lokale boekhouder is verschrikkelijk in wiskunde. Als je vraagt: "Wat is het percentageverandering in de omzet?", dan gokt hij misschien het getal of maakt hij fouten in de eenheden (hij zegt "miljoen" in plaats van "procent"). Hij is snel en privé, maar niet nauwkeurig genoeg voor serieus werk.

Dit artikel introduceert een slimme trainingsmethode om die vergeetachtige lokale boekhouder om te vormen tot een wiskundewizard, zonder hun gegevens naar de cloud te sturen of te betalen voor dure hertraining.

De Strategie: "Codeer, niet Gok"

De onderzoekers realiseerden zich dat de boekhouder vragen om gewoon "na te denken" over de wiskunde het probleem was. In plaats daarvan leerden ze de boekhouder om te handelen als een programmeur.

De Oude Manier: "Hier is een tabel met cijfers. Geef me het antwoord." (De boekhouder gokt).
De Nieuwe Manier: "Hier is een tabel. Schrijf een kort computerscript (Python-code) dat de wiskunde voor je doet, en voer het daarna uit."

Dit is alsof je de boekhouder een rekenmachine geeft in plaats van hem te vragen om staartdeling in zijn hoofd te doen. De computercode is perfect in wiskunde; de boekhouder hoeft alleen de instructies correct te schrijven.

Het Geheime Ingrediënt: Leren van Fouten (De "Foutgedreven" Lus)

Zelfs met de rekenmachine maakte de boekhouder nog steeds fouten. Soms schreef hij het verkeerde formule, of kreeg hij de "schaal" verkeerd (hij zegt dat het antwoord in "duizendtallen" is, terwijl het "percenten" moeten zijn).

De belangrijkste innovatie van het artikel is een systematisch "Foutendetective"-proces:

Voer de Test Uit: De boekhouder probeert 497 financiële vragen op te lossen.
Vang de Fouten: Het systeem bekijkt de vragen die de boekhouder verkeerd beantwoordde.
Groeper de Aanwijzingen: In plaats van elke fout afzonderlijk te bekijken, groepeert het systeem vergelijkbare fouten samen.
- Analogie: Stel je een leraar voor die een toets nakijkt. In plaats van te zeggen "Je hebt vraag 5 verkeerd", merken ze op: "Oh, elke student die vraag 5 verkeerd had, had ook vraag 12 verkeerd omdat ze allemaal vergeten waren te delen door 100."
Schrijf een Regel: Voor elke groep fouten schrijven de onderzoekers een specifieke regel om het op te lossen.
- Voorbeeldregel: "Als de vraag om 'percentageverandering' vraagt, moet het antwoord in 'percenten' zijn, niet in 'dollars'."
Probeer Opnieuw: Ze voegen deze regel toe aan de instructies van de boekhouder en voeren de test opnieuw uit.
Herhaal: Ze blijven de grootste groep resterende fouten vinden, een nieuwe regel schrijven en testen totdat de fouten niet meer verbeteren.

De Resultaten: De Reus Verslaan

Door deze cyclus "vind de fout, schrijf een regel, herhaal" te volgen, bereikten de onderzoekers iets verrassends:

Het Startpunt: De lokale boekhouder (Qwen3 4B) begon met een nauwkeurigheid van ongeveer 30% (nauwelijks beter dan gokken).
De Verbetering: Na het toevoegen van slechts drie specifieke regels afgeleid van hun foutenanalyse, steeg de nauwkeurigheid naar 70,8%.
De Overwinning: Deze lokale, privé-boekhouder presteerde beter dan de gigantische cloudconsultant (GPT-3.5 Turbo), die slechts 66,2% scoorde.

De Valstrik van "Te Veel Regels"

Het artikel ontdekte ook een belangrijke limiet. Stel je voor dat je je boekhouder een regelboek geeft.

Te weinig regels: Ze maken simpele fouten.
Precies het juiste aantal regels: Ze zijn perfect.
Te veel regels: De boekhouder raakt in de war. Het regelboek wordt zo dik en complex dat ze beginnen de regels te negeren of ze door elkaar te halen.

De onderzoekers vonden een "optimale hoeveelheid" regels. Het toevoegen van meer regels na dit punt maakte de prestaties eigenlijk slechter. Het is alsof je probeert om een 50-pagina's tellend instructiehandboek voor een eenvoudige taak uit je hoofd te leren; je raakt gewoon overweldigd.

Samenvatting van Beweringen

Privacy Eerst: Je kunt een zeer nauwkeurige AI bouwen voor gevoelige data (financiën, gezondheid) die volledig op je eigen computer blijft (on-premises).
Geen Dure Training: Je hoeft niet miljoenen te spenderen aan het hertrainen van het model. Je hoeft alleen maar zijn fouten te analyseren en eenvoudige tekstregels te schrijven om ze op te lossen.
Klein Kan Groot Verslaan: Een klein, efficiënt model kan, wanneer het wordt geleid door de juiste "foutgedreven" regels, een betere prestatie leveren in rekenredenering dan een massief, duur model.
De Methode: De sleutel is Codegeneratie (het AI laten schrijven om de wiskunde te doen) gecombineerd met Iteratieve Prompt-Optimalisatie (het systematisch oplossen van specifieke soorten fouten van de AI).

Kortom, het artikel toont aan dat je geen groter brein nodig hebt om wiskundeproblemen op te lossen; je hebt gewoon een betere set instructies nodig die het brein helpen om zijn specifieke blinde vlekken te vermijden.

Technische Samenvatting: Foutgedreven Promptoptimalisatie voor Wiskundig Redeneren

Probleemstelling

Hoewel Large Language Models (LLM's) uitstekend presteren in het begrijpen van natuurlijke taal, blijft hun vermogen om nauwkeurige wiskundige redeneringen uit te voeren op gestructureerde tabulair data fragiel, wat vaak leidt tot inconsistente of onjuiste numerieke output. Deze beperking is bijzonder kritiek voor gereguleerde sectoren zoals financiën en gezondheidszorg, waar dataprivacy voorschrijft dat gevoelige informatie binnen beveiligde, on-premises omgevingen blijft, waardoor het gebruik van API-gebaseerde cloudmodellen wordt uitgesloten. Hoewel Small Language Models (SLM's) een privacy-compliant alternatief bieden, vertonen ze vaak fundamentele beperkingen in wiskundige taken en presteren ze, zelfs lokaal ingezet zonder gespecialiseerde optimalisatie, vaak slechter dan grotere modellen.

Methodologie

Het artikel stelt een systematisch, foutgedreven optimalisatiekader voor dat is ontworpen om een Code Generation Agent (CGA) die draait op on-premises SLM's te verbeteren. De methodologie integreert drie kerncomponenten:

Taakdecompositie en Codegeneratie: In plaats van directe antwoordgeneratie, wordt de taak door het systeem omgeformuleerd naar codegeneratie. De SLM genereer uitvoerbare Python-code op basis van een herschikte tabel (geconverteerd naar een geannoteerde waarde-lijst) en de gebruikersvraag. Een deterministische executor voert deze code vervolgens uit om het eindresultaat te produceren, waarbij semantische interpretatie wordt gescheiden van wiskundige berekening.
Foutgedreven Regelinductie: De kerninnovatie is een iteratieve lus die voorspellingsfouten identificeert, cluster en remedieert zonder kostbare modelfine-tuning.
- Feature-extractie: Mislukte voorspellingen worden geanalyseerd om features te extraheren, waaronder berekeningspatronen, code-berekeningspatronen, schaal-mismatches, waarde-overeenkomsten en specifieke fouttypen (bijv. selectie, berekening, schaal, teken, syntaxis, runtime).
- Clustering: Het HDBSCAN-algoritme cluster deze foutieve voorspellingen op basis van Hamming-afstand om groepen te identificeren die een gemeenschappelijke oorzaak delen.
- Regelvorming: Voor de grootste foutclusters formuleren domeinexperts specifieke Domain-Specific Prompt Rules (DSPR) om de geïdentificeerde oorzaak aan te pakken (bijv. verduidelijken dat "percentageverandering" een "percent"-schaal impliceert).
- Validatie: Nieuwe promptregels worden gevalideerd met de McNemar-test op de specifieke foutcluster. Een regel wordt alleen geaccepteerd als deze een statistisch significante verbetering oplevert ( $\Delta EM \geq 50\%$ en $p \leq 0,0625$ ) en de globale prestaties verbetert.
Optimale Regelset ( $K_{opt}$ ): Het kader streeft naar een optimaal aantal regels. De auteurs stellen dat, terwijl initiële regels veelvoorkomende fouten verhelpen, het toevoegen van te veel regels ( $K > K_{opt}$ ) leidt tot cognitieve overbelasting en regelconflicten, wat de prestaties verslechtert.

Belangrijkste Bijdragen

Foutgedreven Optimalisatiekader: Een nieuw algoritme (Algoritme 1) dat de identificatie van foutoorzaken en de iteratieve verfijning van promptregels automatiseert, waardoor SLM's kunnen "leren van fouten" zonder parameterupdates.
Prestaties die Grotere Modellen Overtreffen: De studie toont aan dat een SLM met 4B parameters (Qwen3 4B), wanneer uitgerust met deze foutgedreven promptoptimalisatie en het CGA-kader, een hogere nauwkeurigheid bereikt dan het aanzienlijk grotere GPT-3.5 Turbo in een privacy-bewakende, on-premises setting.
Theoretisch Inzicht in Regelsaturatie: Het artikel formaliseert het concept van een optimale regelset ( $K_{opt}$ ) en betoogt dat SLM-optimalisatie een balans vereist tussen informativiteit en cognitieve belasting, wat verschilt van simpele strategieën voor regelaccumulatie die voor grotere modellen worden gebruikt.

Resultaten

Het kader werd geëvalueerd op de TAT-QA-dataset, specifiek gefilterd op vragen voor wiskundige berekening.

Basisprestaties: Het basis Qwen3 4B-model behaalde een Exact Match (EM)-score van 59,96% met een vereenvoudigde prompt.
Iteratieve Verbetering: Door drie geaccepteerde iteraties van regeltoevoeging (betreffende "percentageverandering"-schalen, "verandering in percentage" als aftrekking en "jaar gemiddelde"-berekeningen) verbeterde de prestatie van het model stapsgewijs.
Eindprestaties: De geoptimaliseerde Qwen3 4B-agent behaalde een uiteindelijke Exact Match (EM)-nauwkeurigheid van 70,82%.
Vergelijking: Dit resultaat overtreft de GPT-3.5 Turbo-basis (66,27%) onder dezelfde Code Generation Agent- en tabelherstructureringsvoorwaarden. Het artikel merkt echter op dat, hoewel de SLM het grotere model in totale EM gelijkdeed, de ruwe numerieke waarde-nauwkeurigheid (exclusief schaal) iets lager bleef (77,06% versus 78,92%), wat suggereert dat regelafstemming het formaat effectief stuurt maar de kloof in kernwiskundige robuustheid mogelijk niet volledig dicht.

Betekenis en Beweringen

Het artikel beweert dat de waargenomen wiskundige beperkingen van lokaal ingezette SLM's niet fundamenteel zijn, maar artefacten van de inferentiestrategie. Door taakdecompositie (codegeneratie) te combineren met systematische, foutgedreven promptoptimalisatie, is het mogelijk om betrouwbare, interpreteerbare en industriële inzetbare AI-assistenten te ontwikkelen die volledig on-premises opereren.

De auteurs benadrukken dat deze aanpak een haalbaar alternatief biedt voor kostbare fine-tuning of afhankelijkheid van externe API's voor workflows met gevoelige data. De studie concludeert dat het ontwikkelen van vertrouwenswaardige AI voor tabulair redeneren haalbaar is via een "blauwdruk" van systematische foutanalyse en beknopte regelinductie, waardoor kleine modellen grotere tegenhangers kunnen overtreffen in specifieke, privacy-beperkte domeinen. Het werk onderstreept dat SLM-optimalisatie een apart vakgebied is dat zorgvuldig beheer van regelcomplexiteit vereist om cognitieve overbelasting te voorkomen.