ALPS: Measuring Valid Creativity in Large Language Models with Mathematical Construction
Het artikel introduceert ALPS, een nieuwe benchmark die geldige creativiteit in grote taalmodellen strikt meet door hen de taak te geven originele, verifieerbare wiskundige bewijzen of constructies te genereren voor willekeurig gegenereerde vergelijkingswetten, waarbij wordt onthuld dat huidige modellen aanzienlijk moeite hebben met de constructiezijde en dat de meeste instanties zelfs door geavanceerde geautomatiseerde bewijzers onopgelost blijven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne wetenschappelijke landschap is kunstmatige intelligentie begonnen de stap te zetten van de rol van gegevensverwerker naar die van ontdekker. We zien machines die nieuwe chemische verbindingen kunnen voorstellen, nieuwe materialen kunnen suggeriden en zelfs wiskundige vermoedens kunnen formuleren die mensen nog niet hebben overwogen. Deze verschuiving roept een diepgaande vraag op: wanneer een machine een antwoord produceert dat op een doorbraak lijkt, hoe weten we dan of het werkelijk creatief is en niet slechts een slimme herhaling van iets dat het heeft onthouden tijdens de training? Ware creativiteit in de wetenschap vereist twee dingen: de oplossing moet origineel zijn, wat betekent dat deze nog niet eerder is gezien, en het moet effectief zijn, wat betekent dat het daadwerkelijk werkt en het probleem oplost. De moeilijkheid ligt in het verifiëren van deze kwaliteiten. In veel vakgebieden vereist het beoordelen of een nieuw idee geldig is dat menselijke experts kijken naar het resultaat en beslissen of het goed is, een proces dat traag en subjectief is. In de wiskunde, waar antwoorden met absolute zekerheid gecontroleerd kunnen worden, is de uitdaging anders: de problemen zijn vaak zo complex dat een computer niet simpelweg door elke mogelijkheid kan zoeken om het antwoord te vinden, en de problemen zelf zijn vaak vaste sets die de machine mogelijk al heeft bestudeerd.
Om dit dilemma op te lossen, hebben onderzoekers aan de Universiteit van Virginia een nieuwe manier ontwikkeld om kunstmatige intelligentie te testen, een benchmark die ze ALPS noemen. Dit systeem is ontworpen om "geldige creativiteit" te meten door de machine een specif kind type wiskundige puzzel voor te leggen dat niet opgelost kan worden door middel van geheugen of door een standaard routine te volgen. De puzzels zijn gebaseerd op regels voor hoe een set objecten gecombineerd kan worden. Stel je een collectie objecten voor en een regel voor het mengen van twee willekeurige objecten uit die collectie samen. De onderzoekers genereren een specifieke regel, of wet, die beschrijft hoe deze objecten zich moeten gedragen. De taak van de machine is om een van de twee dingen te beslissen: of de regel is zo restrictief dat deze alle objecten dwingt identiek te zijn, of de regel staat een complexe, oneindige structuur van objecten toe die aan de voorwaarde voldoet. Als de machine beweert dat de structuur bestaat, moet hij een beschrijving ervan opbouwen. Als hij beweert dat de objecten identiek moeten zijn, moet hij bewijzen dat geen andere mogelijkheid bestaat. De genialiteit van deze opzet is dat de antwoorden door een computer met perfecte nauwkeurigheid gecontroleerd kunnen worden, zonder dat er een mens aan te pas komt om het resultaat te bekijken. Bovendien kan het systeem een eindeloze voorraad van deze puzzels genereren, waardoor de machine altijd geconfronteerd wordt met een probleem dat hij nog nooit eerder heeft gezien.
De onderzoekers testten dit systeem met een verscheidenheid aan krachtige automatische redeneertools, wat gespecialiseerde computerprogramma's zijn die ontworpen zijn om logische problemen op te lossen. Ze draaiden deze tools tegen een pool van meer dan vierduizend van deze gegenereerde wetten. De resultaten waren schokkend. Zelfs met een enorme toename van rekenkracht konden de automatische tools slechts een fractie van de problemen oplossen. Specifiek slaagde een portfolio van acht verschillende configuraties van de beste beschikbare bewijzers erin om slechts ongeveer twee procent van de wetten op te lossen. Toen de onderzoekers het computerbudget met twintig keer vergrootten, vonden ze slechts een handvol aanvullende oplossingen, en geen van deze waren de complexe structuren waar ze naar op zoek waren; het waren slechts bewijzen dat de objecten identiek moesten zijn. Dit suggereert dat de barrière voor het oplossen van deze problemen niet een gebrek aan rekenkracht is, maar een gebrek aan een methode om de specifieke, op maat gemaakte structuren te verzinnen die elke unieke wet vereist. De machine weet simpelweg niet hoe hij de juiste soort oneindige structuur vanaf nul moet opbouwen.
De onderzoekers richtten zich vervolgens op grote taalmodellen, het type kunstmatige intelligentie dat veel van de conversatiegestuurde tools van vandaag de dag aandrijft. Ze testten de sterkste redeneermodellen die beschikbaar zijn, waarbij ze de modellen dezelfde puzzels en dezelfde kans gaven om hun antwoorden te bewijzen. Aan de kant van de taak waar de machine moest bewijzen dat alle objecten identiek waren, slaagde het beste model in ongeveer veertien procent van de gevallen, maar alleen bij de eenvoudigere problemen. Aan de kant waar de machine een nieuwe, oneindige structuur moest construeren, waren de resultaten nogzegger: geen van de modellen slaagde. Wanneer de modellen probeerden een structuur op te bouwen, faalden ze consequent op één van de twee manieren. Ofwel stelden ze een structuur voor die te rigide was, waardoor alle objecten inklapten tot één enkel punt en daarmee faalden om een complexe oplossing te tonen, ofwel stelden ze een structuur voor die te los was, waardoor ze de regels van de wet die ze probeerden te bevredigen, niet volgden. In elk geval kon de machine de balans niet vinden tussen het volgen van de regels en het creëren van iets nieuws en complex.
De studie concludeert dat hoewel deze systemen van kunstmatige intelligentie steeds beter worden in het opvolgen van instructies en het controleren van hun eigen werk, ze nog steeds worstelen met de kern van wetenschappelijke ontdekking: het uitvinden van een nieuwe structuur die past binnen een reeks beperkingen. De onderzoekers hebben hun volledige systeem, inclusief de generator die de puzzels creëert en de automatische beoordelaar die de antwoorden controleert, publiek gemaakt. Dit stelt andere wetenschappers in staat om deze modellen te blijven testen en te verbeteren zonder dat ze zonder verse problemen komen te zitten. De bevindingen suggereren dat de weg vooruit voor AI in de wetenschap misschien niet ligt in het geven van meer data of meer tijd aan de machines, maar in het leren hoe ze hun eigen ideeën kunnen voorstellen en verfijnen in een lus van creatie en verificatie. Totdat machines in staat zijn om betrouwbaar deze op maat gemaakte oplossingen te construeren, zal hun rol in wetenschappelijke ontdekking beperkt blijven, niet in staat om de kloof te overbruggen tussen het verwerken van informatie en het genereren van werkelijk geldige, originele kennis.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.