🤖 AI

Characterizing initial human-AI proof formalization workflows

Dit artikel onderzoekt de initiële impact van AI op workflows voor menselijke bewijsformalisering door middel van mixed-methods onderzoek, waarbij wordt onthuld dat hoewel gebruikers verlangen naar hoogwaardige menselijke controle, toegang tot AI-tools de formaliseringsnauwkeurigheid aanzienlijk verbetert en een flexibele, collaboratieve betrokkenheid tussen wiskundigen en AI aanmoedigt.

Oorspronkelijke auteurs: Katherine M. Collins, Simon Frieder, Jonas Bayer, Jacob Loader, Jeck Lim, Peiyang Song, Fabian Zaiser, Lexin Zhou, Shanda Li, Sam Looi, Joshua B. Tenenbaum, Umang Bhatt, Adrian Weller, Jose Hernandez-

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Katherine M. Collins, Simon Frieder, Jonas Bayer, Jacob Loader, Jeck Lim, Peiyang Song, Fabian Zaiser, Lexin Zhou, Shanda Li, Sam Looi, Joshua B. Tenenbaum, Umang Bhatt, Adrian Weller, Jose Hernandez-Orallo, Cameron E. Freer, Valerie Chen, Ilia Sucholutsky

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je wiskunde voor als een enorm, ingewikkeld bouwproject. Eeuwenlang zijn menselijke wiskundigen de architecten en bouwers geweest, die blauwdrukken (bewijzen) hebben opgesteld om te bewijzen dat hun ideeën deugden. Maar er is een addertje onder het gras: controleren of een blauwdruk volledig foutloos is, is ontzettend moeilijk, zelfs voor de experts. Soms glippen er kleine foutjes tussendoor, wat leidt tot wankele fundamenten.

Maak kennis met AI, het nieuwe hoogtechnologische hulpmiddel dat belooft te helpen bij het bouwen en controleren van deze blauwdrukken sneller. Maar voordat we simpelweg de sleutels aan de robots overhandigen, stelden de onderzoekers in dit artikel een cruciale vraag: "Hoe willen menselijke bouwers deze tools eigenlijk gebruiken en hoe werken ze er in de prakticelife mee samen?"

Hier is een overzicht van hun bevindingen, gebruikmakend van eenvoudige analogieën:

1. De enquête: Wat bouwers willen versus wat ze vruchten

De onderzoekers vroegen eerst aan een groep wiskundigen (van studenten tot professionals) wat zij van AI vonden.

De wens naar controle: De meeste mensen wilden niet dat AI de hele bouwplaats overnam. Ze wilden geen robotarchitect die het gebouw vanaf nul ontwerpt terwijl zij toekijken. In plaats daarvan wilden ze de voorman blijven. Ze wilden dat de AI het zware werk, het repetitieve metselen en het saaie papierwerk afhandelde, maar ze wilden de "grote lijnen" en de creatieve richting in eigen handen houden.
Het vertrouwensprobleem: Hoewel mensen het idee geweldig vonden dat AI tijd zou besparen, waren ze gefrustreerd door de betrouwbaarheid ervan. Het is alsof je een zeer enthousiaste stagiair hebt die geweldig is in het vinden van gereedschap, maar je soms een hamer geeft terwijl je om een schroevendraaier vroeg. Veel gebruikers zeiden: "Ik gebruik het, maar ik moet alles dubbelchecken omdat ik het nog niet 100% kan vertrouwen."
De "Zwitsers zakmes"-aanpak: Mensen wilden niet slechts één AI-tool. Ze wilden een gereedschapskist. Als de ene tool goed was in het vinden van bestaande blauwdrukken maar slecht in het schrijven van nieuwe, zouden ze overschakelen naar een andere tool voor die specifieke taak.

2. Het experiment: Theorie aan de test leggen

Om te zien hoe dit in de praktijk werkt, voerden de onderzoekers een gecontroleerd experiment uit. Ze gaven zeven wiskundigen een reeks wiskundige problemen (sommige makkelijk, sommige zeer moeilijk) en vroegen hen deze problemen te vertalen naar een strikte, computerleesbare taal genaamd Lean.

De opzet: De deelnemers moesten dit twee keer doen.
- Week 1: Ze moesten het alleen doen, zonder AI-hulp (alleen een tekstverwerker).
- Week 2: Ze mochten elke AI-tool naar wens gebruiken (chatbots, code-assistenten, zoekmachines).
Het resultaat: Wanneer de wiskundigen AI mochten gebruiken, maakten ze minder fouten. De AI hielp hen om de "blauwdruk" vaker correct te krijgen.
De factor tijd: Interessant genoeg zorgde het gebruik van AI er niet noodzakelijkerwijs voor dat ze sneller klaar waren. Het was een afweging. Ze besteedden tijd aan het uitzoeken welke tool te gebruiken en aan het controleren van het werk van de AI, maar het eindresultaat was nauwkeuriger.

3. Hoe ze het daadwerkelijk aanpakten: De "hybride" dans

Het meest interessante deel was het observeren van hoe ze de tools gebruikten. Ze lieten de AI niet gewoon het werk doen en liepen niet weg. Ze ontwikkelden een hybride workflow:

De "Human-in-the-loop"-stijl: De meeste deelnemers gedroegen zich als een dirigent die een orkest leidt. Ze vroegen de AI om een suggestie (zoals een specifieke stelling of een codefragment), luisterden naar de AI en beslisten dan: "Ja, dit past," of "Nee, dat is fout, probeer het opnieuw."
De "Tool Switcher": Eén deelnemer gebruikte bijvoorbeeld de ene tool om een specifieke regel te vinden, een andere tool om de repetitieve delen van de code te schrijven, en een derde tool om een sectie te herschrijven zodat het er beter uitzag. Ze jongleerden constant met verschillende tools om het werk goed te doen.
De "AI-zware" stijl: Een enkeling liet de AI bijna al het zware werk doen en greep pas in om het eindproduct te corrigeren. Dit werkte, maar vereiste dat de mens over een zeer sterk vermogen beschikte om fouten aan het einde te spotten.

De kernboodschap

Het paper concludeert dat de toekomst van de wiskunde niet gaat over mensen versus AI, of zelfs over mensen die AI vervangen. Het gaat over partnerschap.

Denk aan het rijden in een auto met een zeer geavanceerde GPS. De GPS (AI) kan de snelste route aangeven en waarschuwen voor verkeer, maar de mens (de wiskundige) moet nog steeds het stuur vasthouden, beslissen wanneer er een omweg nodig is, en ervoor zorgen dat de auto niet van de klif afrijdt.

De studie laat zien dat wanneer mensen het "stuur" (strategische controle) behouden maar de AI de "navigatie" laten verzorgen (patronen vinden en details controleren), ze betere, nauwkeurigere bewijzen bouwen. De sleutel is niet alleen hoe slim de AI is; het is hoe goed mensen leren zich aan te passen en deze nieuwe tools te gebruiken om bij hun eigen werkwijze te passen.

Technische Samenvatting: Karakterisering van Initiële Menselijke AI-Proof Formalisatie Werkstromen

Probleemstelling
Hoewel kunstmatige intelligentie aanzienlijke vooruitgang heeft getoond in wiskundige redenering en stellingbewijzing (bijvoorbeeld het behalen van gouden medailles tijdens de International Math Olympiad en het ondersteunen van doorbraken in onderzoek), blijft er een kritieke kloof bestaan in het begrip van hoe mensen deze hulpmiddelen daadwerkelijk integreren in hun dagelijkse werkstromen. Historisch gezien was de formele verificatie van bewijzen uitdagend, en hoewel formele talen zoals Lean, Isabelle en Rocq de verificatie hebben gestroomlijnd, blijft het schrijven van bewijzen in deze talen niet triviaal en vaak niet intuïtief. Bestaande literatuur richt zich grotendeels op het benchmarken van AI-capaciteiten; dit artikel verlegt de focus naar de interactie tussen mens en AI, waarbij specifiek wordt onderzocht hoe mensen de voorkeur geven aan het delegeren van agency, welke barrières zij ervaren en hoe zij in de praktijk werkstromen construeren.

Methodologie
De auteurs hanteren een mixed-methods benadering bestaande uit een kwalitatieve enquête en een gecontroleerde gebruikersstudie, uitgevoerd vooraf aan de recente opkomst van agentic coding systemen.

Kwalitatieve Enquête:
- Deelnemers: 31 studenten en onderzoekers in de wiskunde (gefilterd op ervaring met formalisatie) gerekruteerd via mailinglijsten en sociale netwerken.
- Omvang: De enquête onderzocht de huidige zelfgerapporteerde AI-gebruik, voorkeuren voor toekomstige integratie (specifiek met betrekking tot bewijsontdekking versus formalisatie), waargenomen barrières (betrouwbaarheid, stijl, integratie) en gewenste verbeteringen van tools.
- Analyse: De antwoorden werden gecodeerd via een multi-auteur, iteratief proces om thema's te identificeren met betrekking tot menselijke-AI agency, frustraties met tools en visies op werkstromen.
Gecontroleerde Gebruikersstudie:
- Deelnemers: 7 deelnemers (variërend van beginner tot gevorderde Lean-gebruiker) met ten minste een bacheloropleiding in de wiskunde.
- Taak: Deelnemers kregen de taak om zes informele wiskundige problemen (variërend over domeinen zoals getaltheorie en topologie) en hun bewijzen te formaliseren in de Lean theorem prover.
- Ontwerp: Een within-subjects design waarbij deelnemers drie problemen formaliseerden in een "no-tools" conditie (mens alleen) en drie problemen in een "AI-assisted" conditie (toegang tot elke AI-gebaseerde online bron, inclusief LLM's, semantische zoekopdrachten en code completion tools). De volgorde van de condities was gerandomiseerd.
- Dataverzameling: Deelnemers namen hun scherm op, wat resulteerde in meer dan 80 uur aan interactiedata. Post-studie vragenlijsten legden zelfgerapporteerd toolgebruik en werkstrategieën vast.
- Metrieken: De primaire metrieken waren formalisatie-accuratesse (binaire correctheid van stelling en bewijs) en tijd-tot-formalisatie.

Belangrijkste Resultaten

Voorkeur voor Menselijke Controle: Respondenten van de enquête uitten heterogene voorkeuren, maar er was een dominante consensus (81,7%) voor het behouden van hoge mate van menselijke controle over het bewijsontdekkingsproces. Terwijl 70,3% automatisering van AI wenste voor kernaspecten van formalisatie, wilde slechts 33,3% volledige automatisering van het gehele proces. De meesten gaven de voorkeur aan AI om te assisteren bij "grunt work" of lemma-retrieval, terwijl mensen de strategische richting behielden.
Betrouwbaarheid versus Gebruik: Ondanks dat 73,3% van de AI-gebruikers frustratie uitte over de onbetrouwbaarheid van tools, bleven velen ze gebruiken. De primaire frustratie die werd genoemd was het gebrek aan betrouwbaarheid, gevolgd door problemen met formalisatie-specifieke integratie en stijlmatching.
Effectiviteit van AI-assistentie: In de gebruikersstudie behaalden deelnemers een significant hogere formalisatie-accuratesse wanneer zij AI-tools gebruikten vergeleken met de no-tools conditie. Een lineair gemengd effectmodel toonde aan dat toegang tot tools de waarschijnlijkheid van een correct antwoord met 0,30 punten verhoogde ( $p = 0,003$ ).
Tijdefficiëntie: AI-assistentie leverde geen statistisch significant verschil op in de tijd-tot-formalisatie ( $p = 0,797$ ). Tijdbesparing was sterk afhankelijk van de specifieke problemen en patronen van toolgebruik.
Werkstroomadaptatie: Deelnemers toonden een hoge mate van adaptiviteit en construeerden vaak multi-tool werkstromen om de beperkingen van individuele tools te compenseren.
- Menselijke formaliseerders met AI-assistentie: De meeste deelnemers (5/7) voerden het grootste deel van de formalisatie zelf uit, waarbij ze AI gebruikten voor autocomplete, lemma-retrieval of stijl suggesties.
- AI-formalisatie met menselijke hulp: Eén deelnemer vertrouwde zwaar op AI voor generatie en bewerkte slechts incidenteel, wat echter resulteerde in lagere succespercentages (het oplossen van slechts 1/6 problemen).
- Hybride Werkstromen: Sommige deelnemers gingen een complexe wisseling tussen tools aan (bijvoorbeeld één voor lemma-ontdekking, een andere voor boilerplate, en een derde voor stijl herschrijven), wat een "hybride mens-AI formalisatie" patroon illustreert.

Belangrijkste Bijdragen

Verschuiving van Benchmarking naar Werkstroomanalyse: Het artikel gaat verder dan het evalueren van AI-modelprestaties door de menselijke kant van AI-integratie te karakteriseren, waarbij voorkeuren, barrières en daadwerkelijke gebruikspatronen worden gedocumenteerd.
Empirisch Bewijs van Accuratessewinst: Het levert gecontroleerd experimenteel bewijs dat, ondanks de huidige beperkingen van tools, toegang tot AI de formalisatie-accuratesse voor menselijke beoefenaars verbetert.
Karakterisering van Hybride Werkstromen: De studie identificeert en categoriseert verschillende werkstroompatronen (bijv. mens-geleid versus AI-geleid versus hybride), waarbij wordt benadrukt dat gebruikers actieve multi-tool strategieën ontwikkelen om de betrouwbaarheidsproblemen te mitigeren.
Baseline voor Toekomstig Onderzoek: Door de studie uit te voeren vóór de brede adoptie van autonome agentic coding systemen, biedt het artikel een uniek snapshot van hoe mensen handmatig disparate tools verbinden, wat een baseline biedt voor het begrijpen van de evolutie van mens-AI samenwerking.

Significantie en Claims
De auteurs beweren dat effectieve AI-integratie niet enkel afhangt van modelcapaciteiten, maar van hoe mensen deze tools aanpassen en orkestreren. Het werk benadrukt dat:

Menselijke Agency is Centraal: Er is een sterke, persistente voorkeur onder wiskundigen om strategische controle te behouden, waarbij AI wordt gebruikt voor mechanische taken in plaats van volledige automatisering.
Adaptiviteit is Cruciaal: Gebruikers ontwikkelen van nature flexibele, multi-tool werkstromen om de onbetrouwbaarheid van individuele AI-systemen te overwinnen.
Evaluatie Moet Evolueren: Het beoordelen van AI in de wiskunde vereist dat men verder kijkt dan eenvoudige accuratesse-metrieken en ook werkstroomefficiëntie, gebruikersvoorkeur en het behoud van wiskundige stijl en begrip meeneemt.

Het artikel concludeert dat naarmate AI-tools geavanceerder worden, het begrijpen van deze initiële mens-AI interacties cruciaal is voor het ontwerpen van systemen die de menselijke kennis en sociale relaties ondersteunen, in plaats van ze te vervangen, die inherent zijn aan de wiskundige praktijk. De auteurs erkennen beperkingen, waaronder een kleine steekproefomvang en een focus op formalisatie in plaats van bewijsontdekking, en roepen op tot meer systematische, grootschalige studies binnen diverse wiskundige gemeenschappen.

1. De enquête: Wat bouwers willen versus wat ze vruchten

2. Het experiment: Theorie aan de test leggen

3. Hoe ze het daadwerkelijk aanpakten: De "hybride" dans

De kernboodschap

Meer zoals dit