BlueprintRepair: Typed Local Edits for Failed Lean Proof Blueprints
Het artikel introduceert BlueprintRepair, een met schema gecontroleerde lokale bewerkingsinterface voor het repareren van mislukte Lean-bewijsblauwdrukken, die een kostenefficiëntie en token-efficiëntie bereikt die vergelijkbaar met of beter is dan vrije vorm patch- en herschrijfmethode, zoals gevalideerd door de nieuwe BlueprintTrace-benchmark.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot probeert te leren hoe hij een complex wiskundig probleem moet oplossen. Je kunt de robot niet simpelweg zeggen: "Zoek het zelf maar uit!" en hopen dat hij het de eerste keer goed doet. In plaats daarvan geef je hem een kaart — een blauwdruk. Deze blauwdruk is geen afbeelding van het antwoord; het is een checklist van kleinere stappen (lemma's) die waar moeten zijn om het uiteindelijke doel te bereiken. Als de robot vastloopt, komt dat meestal omdat een stap op de checklist fout is, een verbinding ontbreekt, of omdat de robot vergeten is een van de stappen te bewijzen.
In de wereld van de informatica wordt dit "formele verificatie" genoemd. Het is alsoal het bouwen van een wolkenkrabber waarbij elke individuele baksteen wiskundig bewezen moet worden dat hij het gewicht van de steen erboven kan dragen. Als één baksteen wankel is, stort het hele gebouw in. Onlangs zijn wetenschappers begonnen met het gebruik van Kunstmatige Intelligentie (AI) om te helpen bij het schrijven van deze bewijzen. Maar AI is als een briljante maar soms onvoorzichtige architect: hij kan een prachtig blauwdruk tekenen, maar hij kan per ongeluk een steunbalk vergeten of een regel opschrijven die niet logisch is. Wanneer de blauwdruk faalt, is de vraag: Hoe lossen we het op? Vragen we de AI om het hele gebouw af te breken en opnieuw te beginnen? Vragen we de AI om een snelle aantekening op de muur te krabbelen om een gat te dichten? Of geven we het een specifieke set gereedschappen om alleen het kapotte deel te repareren?
Dit artikel, getiteld BlueprintRepair, onderzoekt precies die vraag. De onderzoekers hebben een speciale "reparatiewinkel" gebouwd voor deze door AI gegenereerde wiskundige blauwdrukken. Ze creëerden een systeem waarbij een AI een kapot bewijsplan kan repareren met tien specifieke, vooraf goedgekeurde tools (zoals "verzwak deze regel" of "voeg deze verbinding toe") in plaats van het hele ding gewoon vanaf nul te herschrijven. Ze testten dit tegen twee andere methoden: een methode waarbij de AI probeert de code te patchen met vrije tekstwijzigingen, en een methode waarbij de AI de volledige module herschrijft.
Dit is wat ze vonden. Wanneer de blauwdruk een kleine, gelokaliseerde fout bevat — zoals een ontbrekende link of een verkeerd getal — werkte de methode van "getypeerde lokale bewerkingen" (het gebruik van de specifieke tools) bijna even goed als de vrije methoden. Sterker nog, met een model genaamd DeepSeek-V4-Flash, loste de tool-gebaseerde methode 79 van de 91 kleine fouten op, terwijl de vrije methoden er 81 oplosten. Het verschil was minimaal. De tool-gebaseerde methode was echter veel sneller en goedkeler. Het bereikte zijn maximale succespercentage met slechts 10.000 "tokens" (een maatstaf voor hoeveel tekst de AI genereert), terwijl de andere methoden veel meer tekst moesten genereren om dat niveau te halen. Wat betreft de kosten was de tool-gebaseerde methode de goedkoopste per opgelost probleem, terwijl het vrije patchen 1,30 keer duurder was en de volledige herschrijving 2,06 keer duurder.
De onderzoekers testten ook een tweede AI-model, Qwen3.6-Flash. Dit model loste minder problemen op in totaal, maar het patroon bleef hetzelfde: de specifieke tool-gebaseerde reparaties waren nog steeds de meest kosteneffectieve en bereikten hun succeslimiet veel sneller dan de anderen. Interessant genoeg, wanneer de blauwdruk meerdere, complexe fouten achter elkaar bevat, hadden de vrije methoden soms een lichte voorsprong, maar voor het overgrote deel van de kleine, herstelbare fouten was de "chirurgische" aanpak van het gebruiken van specifieke tools de winnaar.
Het artikel introduceert ook een nieuwe dataset genaamd BLUEPRINTTRACE, die elke poging, succes en mislukking registreert. Dit is als een zwarte doos van een vliegtuig voor wiskundige bewijzen, die precies laat zien waar de AI de fout in ging en waarom. Een van de belangrijkste regels in dit systeem is dat de AI het einddoel (het doelstellingstheorema) niet mag veranderen. Als de AI probeert de vraag te veranderen die hij zou moeten beantwoorden, wijst het systeem dit onmiddellijk af. Dit zorgt ervoor dat de AI daadwerkelijk het probleem oplost dat hem is gegeven, en niet zomaar een makkelijker probleem vindt.
Kortom, het artikel suggereert dat wanneer de wiskundige blauwdruk van een AI grotendeels correct is maar enkele kapotte onderdelen heeft, het een slimmere, snellere en goedkopere manier is om de boel op te lossen door een specifieke set gereedschappen te geven om die onderdelen te repareren, in plaats van de AI het hele ding te laten herschrijven. Het is het verschil tussen een chirurg die een precieze incisie maakt om een tumor te verwijderen en een sloopbedrijf dat het hele ziekenhuis afbreekt om een lekkende leiding te repareren. Hoewel het sloopbedrijf de klus uiteindelijk misschien ook klaart, komt de chirurg er met minder rommel en minder kosten. De studie beweert niet dat dit de perfecte oplossing is voor elk wiskundig probleem, maar voor het specifieke type "gelokaliseerde" fouten dat zij testten, zijn de getypeerde lokale bewerkingen de meest efficiënte weg vooruit.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.