OEIS Open: How many conjectures can language models turn into theorems?
Dit artikel introduceert OEIS Open, een beveiligde benchmark van 492 geformaliseerde wiskundige vermoedens uit de OEIS, die aantoont dat taalmodellen uitgerust met minimale hulpmiddelen autonoom ongeveer 30% tot 44% van deze open problemen kunnen oplossen tegen een bescheiden kostprijs, hoewel toegang tot uitgebreide literatuur en geavanceerde agent-loops de prestaties niet significant verbeterde.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een enorme, digitale bibliotheek van getallen voor genaamd de OEIS (de Online Encyclopedia of Integer Sequences). Het is als een gigantische catalogus waar wiskundigen patronen vermelden die ze hebben gevonden, van de eenvoudige (zoals 1, 2, 4, 8...) tot de bizarre en mysterieuze. Vaak, nadat ze een patroon hebben opgeschreven, schrijft iemand een vermoeden op over hoe het voor altijd werkt. Deze vermoedens worden "conjecturen" genoemd. Lange tijd was het bewijzen van deze vermoedens een taak die alleen voor menselijke genieën met krijtborden en eindeloos geduld was. Maar onlangs zijn computers ook begonnen om deze puzzels op te lossen. De grote vraag is: kan een kunstmatige intelligentie (AI) de waarheid echt zelf ontdekken, of heeft het een mens nodig om de hand vast te houden? Dit artikel duikt in die vraag door een rigoureuze test op te zetten waarbij AI-agenten deze getallenvermoedens moeten bewijzen of weerleggen zonder ongeautoriseerde methoden of menselijke sturing.
De onderzoekers achter deze studie, afkomstig van een groep genaamd Epoch AI, hebben een nieuwe uitdaging gecreëerd genaamd OEIS OPEN. Denk aan het als een gigantische wiskundige hindernisbaan. Ze hebben 492 openstaande wiskundige vermoedens uit de OEIS genomen en deze vertaald naar een strikte computertaal genaamd Lean, wat fungeert als een superstrikte scheidsrechter. In dit spel wordt een AI-agent in een digitale kamer gedropt met een paar basisinstrumenten: een tekstverwerker, een commandoregel (zoals een computerterminal) en een rekenmachine. Het enige doel van de AI is om een bewijs te schrijven dat de computer-scheidsrechter accepteert. Als de AI niet kan bewijzen dat het vermoeden waar is, moet het bewijzen dat het onwaar is. De crux? De AI heeft een strikt budget van $50 per vermoeden om uit te geven aan computertijd. Als het geld op is voordat het het heeft opgelost, verliest het.
De resultaten waren verrassend veelbelovend. De beste AI-modellen slaagden erin om 147 van de 492 vermoedens op te lossen, wat neerkomt op ongeveer 30% op de test. Dat betekent dat ze bijna een derde van deze openstaande mysteries zelfstandig hebben omgezet in bewezen stellingen (of weerleggingen). Het meest succesvolle model, Claude Opus 4.8, loste 30% van de gevallen op, terwijl anderen zoals GPT-5.5 en Gemini 3.5 Flash ook goed presteerden met respectievelijk 26% en 22%. Dit is een grote zaak omdat de onderzoekers een zeer eenvoudige AI-opstelling gebruikten—slechts een basisloop die probeert, controleert en opnieuw probeert. Het was geen fancy, supercomplex robot met een enorm team van menselijke helpers. Sterker nog, deze eenvoudige aanpak deed het eigenlijk beter dan een veel ingewikkelder systeem genaamd AlphaProof Nexus, dat slechts 9% van dezelfde problemen oploste.
De onderzoekers hebben ook enkele "power-ups" getest om te zien of ze de AI slimmer zouden maken. Ze gaven de AI toegang tot een enorme bibliotheek van 476.000 wiskundige artikelen van het internet (arXiv), in de hoop dat het kon leren van eerder menselijk werk. Ze probeerden ook de AI een complexer "brein" te geven dat taken kon delegeren aan sub-agenten en dingen over een langere tijd kon onthouden. Verrassend genoeg hielpen deze upgrades niet. De AI loste niet meer vermoedens op met de bibliotheek, en het complexe brein maakte de AI niet sneller of nauwkeuriger. Het lijkt erop dat voor dit specifieke type wiskundig probleem, het hebben van een eenvoudige, gefocuste set instrumenten en een goed budget belangrijker is dan een enorme bibliotheek of een complexe persoonlijkheid.
Eén interessante bevinding was dat hoe meer geld de onderzoekers bereid waren uit te geven aan een enkel vermoeden, hoe groter de kans dat de AI het oploste. Het succespercentage steeg op een gestage, voorspelbare manier: voor elke tien keer dat ze het budget met tien verhoogden, sprong het succespercentage met ongeveer tien procentpunten omhoog. Dit suggereilt dat als ze de AI een groter budget hadden gegeven, het nog meer had kunnen oplossen. De paper merkt echter voorzichtig op dat deze vermoedens, hoewel wiskundig geldig, vooral "onbekenden" zijn in de wereld van de wiskunde. Het zijn geen beroemde, wereldveranderende problemen zoals de Riemann-hypothese; het zijn waarschijnlijk kleine, obscure puzzels die niet veel aandacht hebben gekregen van menselijke wiskundigen.
Dus, wat betekent dit allemaal? Het artikel laat zien dat AI nu in staat is om autonoom echte, openstaande wiskundige onderzoeksproblemen op te lossen tegen een bescheiden kostenpost. Het lost niet langer alleen puzzels met bekende antwoorden op; het duwt de grens van wat we weten naar voren. Maar het toont ook beperkingen: de AI werd niet slimmer door meer boeken te lezen, en het worstelt nog steeds met de moeilijkste, meest obscure problemen. De onderzoekers concluderen dat we weliswaar geen "kwalitatieve sprong" zien waarbij AI plotseling een geniale wiskundige wordt van de ene op de andere dag, maar dat we wel een gestage, krachtige tool zien die het onbekende kan wegwerken, één getallenreeks tegelijk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.