🤖 AI

ProofCouncil: An LLM Agent for Solving Open Mathematical Problems

Dit artikel introduceert ProofCouncil, een open-source LLM-agent die gebruikmaakt van een auteur-criticus-architectuur en de state-of-the-art prestaties heeft behaald in de FirstProof-challenge door autonoom zes van de tien reële wiskundige problemen op te lossen en aanzienlijke vooruitgang te tonen op een bredere set openstaande problemen.

Oorspronkelijke auteurs: Johannes Schmitt, Tim Gehrunger, Jasper Dekoninck, Gergely Bérczi, Uri Kreitner, Liam Price, David Holmes

Gepubliceerd 2026-07-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Johannes Schmitt, Tim Gehrunger, Jasper Dekoninck, Gergely Bérczi, Uri Kreitner, Liam Price, David Holmes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gloednieuwe, superintelligente robot de hand hebt geschoven met een stapel van de meest raadselachtige wiskundige puzzels ter wereld. Dit zijn geen standaard "vul het ontbrekende getal in"-raadsels; het zijn open problemen waar echte menselijke wiskundigen al jaren hun hoofd over breken en waar nog niemand het antwoord op weet.

Maak kennis met ProofCouncil. Zie dit niet als een enkele robot, maar als een kleine, hooggespannen wiskundige werkplaats.

De Crew van de Werkplaats: Auteur, Criticus en de Squad

Het hart van dit systeem is een slim spel van "hete aardappel" gespeeld door twee hoofdpersonages: de Auteur en de Criticus.

De Auteur is de dromer. Het is een AI die zich neerzet om een perfect bewijs (een stapsgewijs wiskundig argument) te schrijven voor een probleem. Het heeft een magisch notitieblok waarin het ideeën opschrijft, code probeert en zelfs het internet afzoekt naar aanwijzingen.
De Criticus is de strenge redacteur. Het leest wat de Auteur heeft geschreven en zegt: "Wacht, deze stap slaat nergens op," of "Je bent vergeten dit deel te bewijzen!" Het zegt niet alleen "fout"; het geeft specifieke feedback over hoe de hiaten gedicht kunnen worden.

Hier komt de twist: de Auteur schrijft niet slechts één keer. Het schrijft, wordt bekritiseerd, herschrijft, wordt opnieuw bekritiseerd en gaat zo door. Het is alsoals een schrijver en een redacteur die in een kamer opgesloten zitten om een verhaal te polijsten totdat het perfect is.

Maar soms loopt de Auteur vast. Dat is wanneer ze de Council (de Raad) en de Compute Node (de Rekenmodule) erbij roepen.

De Council is een panel van andere superintelligente AI-modellen (zoals een team van gastexperts). De Auteur vraagt hen: "Hé, ik loop vast op dit specische deel; wat is een andere manier om hiernaar te kijken?"
De Compute Node is de zware krachtpatser. Als het probleem een enorme berekening of gespecialiseerde wiskundige software vereist die de Auteur niet alleen kan draaien, voert deze node het zware werk uit, draait de code en verwerkt de getallen om te controleren of een vermoeden waar is.

Om de paar ronden neemt de Criticus een "mentale pauze" en begint opnieuw met een schone lei. Dit is cruciaal omdat als de Criticus te gewend raakt aan de fouten van de Auteur, het de fouten misschien niet meer ziet. Een frisse blik zorgt ervoor dat het bewijs daadwerkelijk solide is.

De Grote Test: De FirstProof Challenge

Het team onderwierp ProofCouncil aan de ultieme test: een uitdaging genaamd FirstProof. De regels waren simpel maar meedogenloos: los 10 echte, onopgeloste wiskundige problemen op in 24 uur, gebruikmakend van alleen publieke tools.

De resultaten? ProofCouncil was de ster van de show. Van de 10 problemen slaagde het erin om voor 6 van hen oplossingen te produceren die door menselijke beoordelaars als correct werden beschouwd (waarbij slechts minimale, kleine aanpassingen nodig waren). Dit was de beste prestatie van welk team dan ook in de competitie.

Ze probeerden het ook op 30 andere open problemen die door echte wiskundigen waren ingestuurd. Van de 21 problemen waarover zij feedback kregen:

5 werden beoordeeld als volledig correcte oplossingen.
2 werden gezien als zeer veelbelovend, wachtend op een laatste controle.
8 maakten nuttige voortgang, ook al voltooiden ze de taak niet.
4 bevatten geen fouten, maar zorgden ook niet echt voor vooruitgang.
2 begrepen de vraag verkeerd en losten een makkelijkere versie ervan op.

Belangrijk is dat geen enkele expert beweerde dat de outputs wiskundig onjuist waren op een manier die de logica zou breken. De belangrijkste fout was niet slecht rekenwerk, maar soms het verkeerd begrijpen van de probleemstelling.

De Kosten van Genie

Hier is het addertje onder het gras: zo slim zijn is duur. Het draaien van ProofCouncil op een enkel probleem kostte ongeveer $350 aan computertijd en modeloproepen. Vergelijk dit met een eenvoudiger, "single-shot" AI-poging die slechts $12 kostte, maar minder problemen oploste. De paper suggereert dat hoewel de "team-aanpak" beter werkt, het momenteel een luxeproduct is. De auteurs geven toe dat ze nog niet hebben geprobeerd dit goedkoper te maken, wat een taak is voor toekomstige onderzoekers.

Wat het Niet Deed (En Wat het Niet Claimde)

Het is belangrijk om te weten wat deze robot niet deed.

Het loste niet alle 10 de problemen in de uitdaging op (het miste er 4).
Het produceerde geen gepolijst, klaar voor publicatie wetenschappelijk artikel. De wiskundigen die het werk beoordeelden, merkten op dat de tekst dicht en inwisselbaar was en menselijke redactie nodig had om leesbaar te zijn voor niet-experts.
Het bewees niet dat AI elk wiskundig probleem kan oplossen. Het liet zien dat voor sommige moeilijke problemen een team van AI's die samenwerken beter is dan één AI die alleen werkt.

De Kern van het Verhaal

ProofCouncil suggereert dat als je een echt moeilijk, open wiskundig probleem wilt oplossen, je niet gewoon één AI moet vragen om "het maar even uit te zoeken". In plaats daarvan heb je een systeem nodig waarbij één AI schrijft, een ander het afbreuk doet, een derde frisse perspectieven biedt en een vierde de zware wiskunde berekent.

In de wereld van de FirstProof challenge was dit "Auteur-Criticus-Council"-team de meest succesvolle strategie die tot nu toe is getest. Het heeft de hele berg niet overwonnen, maar het is hoger geklommen dan wie dan ook, waarmee bewezen is dat wanneer AI-agenten samenwerken als een menselijk onderzoeksteam, ze problemen kunnen aanpakken die voorheen als onbereikbaar werden beschouwd.

Technische Samenvatting: ProofCouncil

Probleemstelling
Grote taalmodellen (LLM's) hebben een toenemend vermogen getoond om open wiskundige problemen op te lossen, maar hun prestaties missen vaak de rigor en iteratieve verfijning die kenmerkend zijn voor de echte wiskundige praktijk. De uitdaging ligt in het creëren van autonome agenten die open problemen kunnen aanpakken—specifiek die zonder publiekelijk beschikbare oplossingen—binnen beperkte omgevingen (bijv. vensters van 24 uur, vaste budgetten) met behulp van uitsluitend publieke tools. De FirstProof-challenge, een benchmark bestaande uit 10 van dergelijke onopgeloste problemen, dient als de primaire evaluatiegrond voor dit werk. Daarnaast streefden de auteurs ernaar om de prestaties te evalueren op een bredere set van 30 open problemen, verzameld direct van wiskundige onderzoekers.

Methodologie: ProofCouncil Architectuur
De auteurs introduceren ProofCouncil, een agentisch systeem ontworpen rond een auteur-criticus architectuur om het iteratieve proces van wiskundig onderzoek te simuleren. Het systeem werkt via de volgende componenten:

Auteur Agent: Verantwoordelijk voor het genereren en herzien van een bewijs. Deze maakt gebruik van GPT-5.5-Pro (xhigh) met toegang tot code-executie en webzoekopdrachten. De auteur onderhoudt drie canonieke bestanden:
- answer.tex: Het hoofd LaTeX-bewijsdocument.
- research notes.tex: Een persistent kladblok voor ideeën, mislukte pogingen en gedeeltelijke resultaten.
- references.bib: Een BibTeX-bestand voor citaties.
  De auteur werkt deze bestanden iteratief bij op basis van feedback en kan gestructureerde XML-tags emitteren om hulp van hulpagenten aan te vragen.
Criticus Agent: Gebruikt eveneins GPT-5.5-Pro (xhigh) en beoordeelt de correctheid van het huidige bewijs, waarbij hiaten, fouten of ontbrekende rechtvaardigingen worden geïdentificeerd.
- Stateful vs. Fresh: De criticus is doorgaans stateful en behoudt de gesprekshistorie om consistente feedback te geven. Echter, om pad-afhankelijkheid te verminderen, wordt de historie van de criticus elke $k$ rondes gereset (waarbij $k=3$ in experimenten).
- Verificatieprotocol: Als een stateful criticus een bewijs accepteert, voert een "fresh" criticus (geïnitialiseerd met een nieuw gesprek) een onafhankelijke audit uit. Een oplossing wordt pas geretourneerd als zowel de auteur het als gereed markeert als de fresh criticus het accepteert.
Auxiliaire Componenten:
- LLM Council: Een optionele groep onafhankelijke modellen (Gemini 3.1 Pro, Claude Opus 4.7, GPT-5.5-Pro) die gerichte feedback geven op specifieke deelvragen wanneer dit door de auteur wordt aangevraagd.
- Compute Node: Een gespecialiseerde agent (Codex met GPT-5.5) met toegang tot Computer Algebra Systems (CAS) zoals SageMath, GAP, Singular en Pari. Deze handelt zware berekeningen af, voert literatuuronderzoek uit en verifieert claims onafhankelijk.
Onderliggende Bibliotheek (Agents als DAGs):
ProofCouncil is gebouwd op een open-source bibliotheek die agentische systemen representeert als conditionele Directed Acyclic Graphs (DAGs).
- Structuur: Nodes representeren LLM-aanroepen, Python-blokken, CLI-agenten of control-flow gates. Edges coderen afhankelijkheden.
- Conditionaliteit: Edges kunnen condities hebben, waardoor de uitvoering van downstream nodes kan afhangen van intermediaire outputs (bijv. het aanroepen van de Council alleen als de auteur een specifieke tag emitteert).
- Loop Unrolling: Hoewel de workflow feedbackloops bevat, representeert de bibliotheek deze als begrensde repeat-blokken, waardoor ze effectief worden uitgerold naar een eindige conditionele DAG voor uitvoering.
- Human-in-the-loop: De bibliotheek ondersteunt het invoegen van menselijke nodes in de DAG, waardoor onderzoekers tussenliggende bewijzen kunnen beoordelen of vragen halverwege de run kunnen beantwoorden.

Belangrijkste Bijdragen

ProofCouncil Systeem: Een wiskundige agent ontworpen om complexe open problemen op te lossen via een auteur-criticus loop met hulp van auxiliaire ondersteuning.
Open-Source Bibliotheek: Een bibliotheek voor het construeren van agentische systemen als conditionele DAGs, die een flexibele interface biedt voor het definiëren van workflows, prompts en executielogica.
Empirische Evaluatie: Een uitgebreide evaluatie van het systeem op zowel de FirstProof challenge als een aangepaste dataset van door onderzoekers verstrekte problemen.

Resultaten

FirstProof Challenge:
- ProofCouncil werd ingediend voor de tweede batch van de FirstProof challenge (10 problemen).
- Prestaties: Inzendingen voor 6 van de 10 problemen (P1, P2, P3, P5, P7, P9) werden door referees beoordeeld als correct tot maximaal kleine revisies. Dit vertegenwoordigde de beste prestatie onder de deelnemende teams.
- Kosten: De run kostte ongeveer $350 per probleem (totaal ~~$3.186 voor 9 geanalyseerde problemen), wat aanzienlijk hoger is dan een single-query baseline (~~$12/probleem), maar een hoger oplossingspercentage opleverde (6/9 vs. 4/9).
- Foutmodi: Eén probleem (P6) faalde door API-timeouts. P4 en P8 werden afgewezen; P8 faalde door een niet-ondersteunde technische bewering, en P4 werd om andere redenen afgewezen.
Door Onderzoekers Verstrekte Problemen:
- Het systeem werd getest op 30 open problemen verzameld van wiskundige onderzoekers (plus 3 publieke Erdős problemen).
- Feedback: Onder de 21 ontvangen menselijke reviews:
  - 5 werden beoordeeld als volledige, correcte oplossingen.
  - 2 werden beschouwd als veelbelovend in afwachting van definitieve verificatie.
  - 8 bevatten nuttige gedeeltelijke voortgang.
  - 4 bevatten geen fouten maar boden weinig substantiële voortgang.
  - 2 werden beoordeeld als het oplossen van makkelijkere versies van de gestelde problemen (misinterpretatie).
- Opvallende Observatie: Geen enkele expert rapporteerde dat een output die beweerde een probleem op te lossen, wiskundig onjuist was. De primaire foutmodus die werd geïdentificeerd, was probleeminterpretatie, waarbij de agent een andere, makkelijkere versie van het probleem oploste.
- Kosten: Ongeveer $213 per poging tot probleem.
Nut van Componenten:
- De Compute Node was het meest nuttig voor het verifiëren van concrete claims en het vinden van tegenvoorbeelden.
- De LLM Council bood diverse perspectieven, waarbij GPT-5.5-Pro de meest beslissende bijdrage leverde.
- De Criticus was cruciaal in het voorkomen dat onjuiste oplossingen werden geaccepteerd, hoewel deze soms leed aan false positives (het accepteren van onjuiste oplossingen) of false negatives (het afwijzen van correcte oplossingen).

Betekenis en Beperkingen
Het artikel claimt dat ProofCouncil het potentieel van agentische workflows aantoont om de prestaties van LLM's op open wiskundige problemen te verbeteren, waarbij het state-of-the-art resultaten behaalt in de FirstProof challenge. De release van de onderliggende DAG-gebaseerde bibliotheek is bedoeld om toekomstig onderzoek naar het bouwen van complexe agentische systemen te faciliteren.

De auteurs zijn echter bescheiden over de huidige capaciteiten van het systeem:

Kosten: Het systeem is duur, gedreven door herhaalde aanroepen naar frontier modellen en hulpagenten.
Interpretatie: Het systeem worstelt met ambigue probleemstellingen en lost vaak makkelijkere interpretaties op zonder detectie.
Leesbaarheid: De gegenereerde bewijzen zijn dicht en geoptimaliseerd voor correctheid in plaats van menselijke leesbaarheid, en vereisen vaak uitbreiding voor niet-experts.
Evaluatie: De resultaten leunen zwaar op menselijke beoordeling in plaats van formele verificatie, en de evaluatie op onderzoekersproblemen omvatte adaptieve ontwikkeling (prompt tuning op basis van eerdere runs) in plaats van een bevroren configuratie.

Het werk concludeert dat hoewel ProofCouncil een belangrijke stap voorwaarts is in autonoom wiskundig redeneren, uitdagingen in kosten-efficiëntie, probleeminterpretatie en de verfijning van de output openstaande gebieden zijn voor toekomstig onderzoek.