Failure Modes of Large Language Models on Research-Level Mathematics: A Taxonomy and an Empirical Characterisation

Technische Samenvatting: Falingsmodi van Large Language Models bij Wiskunde op Onderzoeksniveau

Probleemstelling
Recente benchmarks suggereren dat Large Language Models (LLMs) competentie bereiken in wiskundige redenering, met name bij problemen van wedstrijdniveau. Echter, de "First Proof"-benchmark [1] onthulde een kritieke kloof: wanneer deze werden geconfronteerd met tien authentieke wiskundige vragen op onderzoeksniveau (echte lemma's uit actuele projecten zonder publieke antwoorden), faalden state-of-the-art modellen consistent. Cruciaal was dat de modellen onzekerheid niet toegaven; in plaats daarvan genereerden ze lange, formeel gestructureerde en vloeiend geschreven bewijzen die substantieel onjuist waren. Het centrale probleem dat dit artikel aanpakt, is het karakteriseren van waarom deze modellen op deze specifieke wijze falen, waarbij verder wordt gegaan dan eenvoudige foutpercentages om de structurele aard van de hallucinaties in wiskundige bewijzen te begrijpen.

Methodologie
Het artikel hanteert een tweeledige aanpak: een kwalitatieve taxonomie-afleiding en een kwantitatieve empirische audit.

1. Taxonomie-afleiding: De auteur analyseerde de per-vraag post-mortem analyses die in Appendix A van de "First Proof"-studie worden verstrekt. Vanuit deze expertanalyses werden vier verschillende falingsmodi geïdentificeerd en geformaliseerd.
2. Empirische Audit: Om de validiteit van deze taxonomie te testen, genereerde de auteur een corpus van acht one-shot bewijzen met behulp van Gemini 2.5 Flash op drie specifieke vragen uit de benchmark (Vraag 1, 2 en 5).
3. Instrumentatie: Er zijn twee specifieke instrumenten gebouwd om de meest voorkomende falingsmodi te detecteren:
   • Citation-Verification Instrument: Een pipeline die citaties uit bewijzen extraheert en deze kruiscontroleert met arXiv om gefabriceerde papers of lemma's (F1) te detecteren.
   • Premise-Audit Instrument: Een tweestaps-pipeline ontworpen om "premise smuggling" (F2) te detecteren. Deze gebruikt eerst regex om zinnen te flaggen die universaliserende termen bevatten (bijv. "fundamenteel resultaat", "standaard argument", "algemeen bekend") en zet vervolgens een LLM-judge in om te bepalen of de geflagde zin een niet-triviale, dragende claim maakt zonder rechtvaardiging of citatie.

Belangrijkste Bijdragen
De primaire bijdrage van het artikel is de Failure-Mode Taxonomy, die wiskundige falen van LLM's categoriseert in vier typen:

• F1 (Citation Fabrication): Het model verzint papers, lemma's of attributies. Dit is verifieerbaar door te controleren of de citatie bestaat en of deze het geclaimde resultaat bevat.
• F2 (Premise Smuggling): Het model presenteert een niet-triviale claim als achtergrondkennis (bijv. "het is een fundamenteel resultaat...") zonder bewijs of citatie. Dit is de meest verraderlijke modus omdat er geen citatie is om te verifiëren; de fout schuilt in de bewering zelf.
• F3 (Silent Problem Reformulation): Het model lost een gerelateerd maar gemakkelijker probleem op (bijv. door niet-triviale beperkingen te verwijderen of het wiskundige object te veranderen) en presenteert dit als de oplossing voor het origineel.
• F4 (Local-to-Global Compatibility Gap): Het model voert lokale stappen correct uit, maar faalt in het verifiëren of deze stappen over de gehele bewijsstructuur heen onderling compatibel zijn (bijv. overlappende kaarten in de meetkunde).

Het artikel introduceert ook het Premise-Audit Instrument als een methode om de detectie van F2 te operationaliseren, een falingsmodus die grotendeels genegeerd wordt door huidige mitigatiestrategieën.

Resultaten
De empirische audit van de acht Gemini 2.5 Flash-bewijzen leverde de volgende bevindingen op:

• Universeel Falen: Geen van de acht bewijzen produceerde het juiste uiteindelijke antwoord.
• Dominantie van F2: Hoewel de Citation-Verification-instrument zeer weinig gefabriceerde citaties vond (slechts 6 van de 22 vereiste webchecks, en geen enkele werd bevestigd als fabricatie in de Q1/Q2-subset), toonde het Premise-Audit-instrument aan dat elk van de acht bewijzen minstens één dragende premisse bevatte die gesmokkeld werd als een "fundamenteel resultaat" of "standaard argument".
• Instrument Prestaties: Het Premise-Audit-instrument behaalde een precisie van 100% (5/5 door de judge bevestigde flags waren true positives), maar slechts een recall van 50% op bewijsniveau. De gemiste gevallen waren "impliciete" smokkels waarbij het model een benoemde stelling toepaste buiten de hypothese of formele manipulaties gebruikte zonder universaliserende taal, wat de regex-gebaseerde eerste fase niet had kunnen vangen.
• RAG Beperkingen: De resultaten wijzen erop dat Retrieval-Augmented Generation (RAG), de standaard voorgestelde oplossing voor LLM-hallucinaties, waarschijnlijk zou falen in het aanpakken van de dominante falingsmodus (F2). Aangezien de modellen in dit corpus geen valse papers citeerden maar in plaats daarvan valse premissen als gevestigde feiten presenteerden, zou het simpelweg ophalen van correcte papers de modellen niet in staat stellen om ongegronde beweringen te voorkomen.

Betekenis en Claims
Het artikel betoogt dat het huidige narratief van gestage vooruitgang in wiskundige redenering van LLM's misleidend is wanneer dit wordt toegepast op onderzoekstaken. De specifieke betekenis van dit werk ligt in:

1. Herformulering van de Faling: Het aantonen dat de primaire barrière voor LLM's bij het oplossen van onderzoekswiskunde niet noodzakelijkerwijs het verzinnen van valse citaties (F1) is, maar het zelfverzekerd presenteren van valse premissen als gevestigde feiten (F2).
2. Kritiek op RAG: Het uitdagen van de aanname dat het koppelen van modellen aan externe databases een voldoende oplossing is. Het artikel stelt dat RAG wel F1 adresseert, maar F2, F3 en F4 ongemoeid laat.
3. Toekomstige Richting: De auteur concludeert dat het langetermijndoel moet verschuiven van het detecteren van deze fouten achteraf naar het bouwen van inference-time pipelines die voorkomen dat deze modi optreden. Dergelijke systemen zouden moeten afdwingen dat elke dragende claim ofwel afgeleid is van gestelde premissen, ofwel gegrond is in een geverifieerde bron, ofwel expliciet als onverifieerd wordt gemarkeerd voordat deze wordt geproduceerd.

De auteur neemt een bescheiden standpunt in door te erkennen dat het corpus klein is (8 bewijzen) en een mid-tier model (Flash) gebruikt in plaats van de frontier-modellen die in "First Proof" werden getest. Echter, het artikel stelt dat de geïdentificeerde falingsmodi reëel zijn, dat F2 precies definieerbaar is, en dat het huidige mitigatielandschap niet overeenkomt met de werkelijke aard van de fouten.