Assessing LLMs' mathematical abilities requires understanding the various mechanisms of mathematical creativity
Het artikel betoogt dat het beoordelen van de wiskundige vermogens van LLM's vereist dat men verder gaat dan geaggregeerde benchmarks naar een genuanceerde taxonomie van onderscheidende, niet-vervangbare creatieve mechanismen, wat suggereert dat huidige modellen uitblinken in het recombineren van bestaande kennis, maar fundamenteel mogelijk het vermogen missen voor andere vormen van wiskundige uitvinding die steeds waardevoller worden naarmate geautomatiseerde bewijsvoering verbetert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wiskunde wordt al lang beschouwd als de ultieme test van de menselijke logica, een domein waar antwoorden ofwel juist ofwel onjuist zijn, en waar het pad naar de waarheid wordt geplaveid met rigoureuze bewijsvoering. Eeuwenlang vertrouwde het vakgebied op een eenvoudige economie: menselijke intuïtie spoor een patroon of een mogelijkheid op, waarna het harde werk van verificatie volgde om het te bevestigen. Vandaag de dag is kunstmatige intelligentie begonnen de tweede helft van deze vergelijking te beheersen. Moderne computersystemen kunnen nu wiskundige bewijzen genereren en controleren met een snelheid en schaal die het menselijk vermogen ver overstijgt, waardoor de ooit schaarse grondstof van verificatie is veranderd in een overweldigende overvloed. Deze verschuiving dwingt tot een nieuwe, moeilijkere vraag: als machines dingen zo gemakkelijk kunnen bewijzen, waar ligt dan de werkelijke waarde van de wiskunde? Het antwoord ligt niet in het bewijs zelf, maar in de vonk die het hele proces in gang zet — het moment dat een wiskundige een nieuw idee, een nieuw concept of een nieuwe manier van de wereld zien uitvindt.
Een recente paper door Silvère Gangloff onderzoekt precies deze vonk, en vraagt zich af of kunstmatige intelligentie werkelijk wiskundige ideeën kan uitvinden of dat het slechts oude ideeën herrangschikt. De auteur betoogt dat we de verkeerde vraag stellen. In plaats van "wiskundige creativiteit" te behandelen als een enkele vaardigheid die een computer wel of niet bezit, suggereert de paper dat het eigenlijk een verzameling van verschillende, ongerelateerde mechanismen is. Sommige van deze mechanismen houden in hoe wiskundigen werken en zetten die gewoonten om in formele regels. Andere houden in dat een structuur die in de fysieke wereld is ontdekt, zoals de manier waarop warmte stroomt, wordt aangewend om abstracte puzzels op te lossen. Er is ook het werk van het oplossen van een specifieke, hardnekkige kwestie door een nieuw instrument uit te vinden enkel om deze te kraken, en de zeldzame, hoogwaardige daad van het verbinden van twee wiskundige velden die nog nooit met elkaar hebben gesproken. De paper stelt dat dit niet slechts verschillende smaken van hetzelfde zijn; het zijn fundamenteel verschillende soorten denken die verschillende soorten machines vereisen.
De centrale bevinding van het onderzoek is dat huidige systemen voor kunstmatige intelligentie uitzonderlijk goed zijn in sommige van deze modi, maar waarschijnlijk niet in staat zijn tot andere, ongeacht hoe krachtiger ze nog worden. De systemen die we vandaag de dag hebben, werken door bestaande stukjes te combineren. Ze zijn als meesterbibliothecarissen die onmiddellijk elke twee feiten die ze eerder hebben gelezen, kunnen vinden en aan elkaar kunnen naaien. Dit maakt hen briljant in het vinden van een specifieke oplossing voor een bekend type probleem of bij het controleren of een bewijs de regels volgt. De paper suggereert echter dat ze tegen een harde muur aanlopen wanneer ze gevraagd worden een volledig nieuw type object of een nieuwe manier van denken uit te vinden die geen precedent heeft in hun trainingsdata. Een computer kan bijvoorbeeld door miljoenen bestaande wiskundige structuren zoeken om er een te vinden die aan een beperking voldoet, maar hij kan niet op zichzelf besluiten dat de praktijk van menselijke berekening zelf een nieuw wiskundig object moet worden om te bestuderen. Dit is een verschil in soort, niet alleen in snelheid; de machine is niet alleen trager in het uitvinden van nieuwe primitieven, maar is structureel niet in staat om dit te doen omdat het het mechanisme mist om te selecteren wat het waard is om uit te vinden.
De auteur ondersteunt dit standpunt door te kijken naar hoe de wiskunde door de geschiedenis heen daadwerkelijk is voortgeschreden. In één beroemd geval loste een wiskundige genaamd Alan Turing niet alleen een probleem op, maar keek hij naar de handeling van een mens die een regelboek volgt en besloot die handeling het onderwerp van een nieuwe theorie te maken. In een ander geval nam een natuurkundige genaamd Kolmogorov een concept uit de thermodynamica, die gaat over warmte en energie, en paste dit toe op de zuivere wiskunde om een probleem over abstracte vormen op te lossen. Dit waren geen zoektochten naar een ontbrekend stukje in een bekende puzzel; dit waren daden van het creëren van de puzzel zelf. De paper betoogt dat de huidige kunstmatige intelligentie, die vertrouwt op het doorzoeken van een vaste bibliotheek van bekende zetten, dit niet kan repliceren. Het kan het ontbrekende stukje vinden als de vorm van het stukje al gedefinieerd is, maar het kan geen nieuwe vorm bedenken die nog nooit heeft bestaan.
Dit onderscheid heeft diepgaande implicaties voor hoe we de toekomst van kunstmatige intelligentie in de wetenschap moeten beoordelen. Als we succes van AI blijven meten aan de hand van hoeveel bewijzen het kan genereren of hoe goed het standaard testproblemen oplost, meten we het verkeerde. We belonen de machine voor het doen van het werk waar het al goed in is, terwijl we het werk negeren dat de menselijke vooruitgang daadwerkelijk aandrijft. De paper waarschuwt dat naarmate bewijsvoering goedkoop en automatisch wordt, de werkelijke waarde van de wiskunde zal verschuiven naar deze moeilijkere modi van uitvinding: de reflexieve daad van het formaliseren van nieuwe praktijken, de analogische sprong van het importeren van ideeën uit andere velden, en de diepe, doelgerichte creatie van geheel nieuwe concepten. Als we niet veranderen in hoe we deze systemen evalueren, riskeren we een vloedgolf van correcte maar oninteressante resultaten te creëren, terwijl de werkelijke, transformerende sprongen in begrip buiten bereik blijven.
Het onderzoek beweert niet dat kunstmatige intelligentie nooit in staat zal zijn om deze creatieve daden te verrichten. Het suggereert dat voor het geval dat zij plaatsvinden, de onderliggende technologie zou moeten veranderen, bijvoorbeeld door systemen te ontwikkelen die met de wereld kunnen interageren om gegronde begrijpissen te vormen, in plaats van alleen het volgende woord in een zin te voorspellen. Tot die tijd concludeert de paper dat we voorzichtig moeten zijn met het verwarren van het vermogen om oude ideeën te combineren met het vermogen om nieuwe ideeën te creëren. De toekomst van wiskundige ontdekking kan minder afhangen van hoe snel onze computers kunnen rekenen, en meer van de vraag of we machines kunnen bouwen die weten wat het waard is om uitgevonden te worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.