QMFOL: Benchmarking Large Language Model Reasoning via Quantifiable Monadic First-Order Logic Test Case Generation

Technische Samenvatting: QMFOL

Probleemstelling
Hoewel Large Language Models (LLM's) en Large Reasoning Models (LRM's) aanzienlijk zijn gevorderd in deductief redeneren, kampen bestaande evaluatiebenchmarks met kritieke beperkingen. Huidige benchmarks missen vaak fijnmazige controle over dimensies van logische complexiteit (zoals diepte en breedte) en hebben moeite met het balanceren van semantische diversiteit met logische consistentie. Template-gebaseerde methoden behouden de logica maar beperken de semantische variëteit, terwijl handmatige of door LLM's gegenereerde generatie de linguïstische rijkdom verbetert maar het risico op hallucinaties en logische inconsistenties met zich meebrengt. Bov�elijke kunnen veel bestaande datasets overlappen met trainingsdata, wat leidt tot potentiële datacontaminatie. Er is behoefte aan een schaalbaar, geautomatiseerd framework dat deductieve redeneertaken kan genereren met kwantificeerbare complexiteit en gegarandeerde logische consistentie.

Methodologie
De auteurs stellen QMFOL voor, een geautomatiseerd framework voor het genereren van Kwantificeerbare Monadische Eerste-Orde Logica (MFOL) redeneertaken. Het framework werkt via twee primaire modules:

1. Logische Constructie:

   • Formele Representatie: Het systeem gebruikt MFOL, waarbij predicaten worden beperkt tot unaire vormen om de controleerbaarheid te behouden terwijl de kernstructuren van kwantoren behouden blijven.
   • Structurele Generatie: Het construeert logische structuren met behulp van conjunctie- en disjunctiepatronen. Het framework maakt nauwkeurige controle mogelijk over diepte (redeneerstappen) en breedte (logische connectieven).
   • Taakafleiding: Op basis van een basale regelset ($R_{basic}$) leidt het systeem feit-conclusie paren af die gelabeld zijn als Waar (True), Onwaar (False) of Onbekend (Unknown).
   • Distractor-integratie: Om de moeilijkheidsgraad te verhogen en robuustheid te testen, introduceert het framework distractor-regels ($R_{distract}$) die predicaten delen met de basisregels, maar het inferentiepad niet veranderen.

2. FOL2NL (Formele Logica naar Natuurlijke Taal):

   • Vertaling: Een LLM vertaalt de formele MFOL-instanties naar natuurlijke taal op basis van een specifiek onderwerp-trefwoord (bijv. Voedsel, Dier, Universiteit, Wiskunde). De LLM wijst domeinspecifieke semantiek toe aan predicaten terwijl de logische structuur behouden blijft.
   • Verificatie (Round-Trip): Om de logische consistentie te waarborgen, wordt de gegenereerde natuurlijke tekst terugvertaald naar FOL door een LLM en geverifieerd met behulp van een externe Automated Theorem Prover (ATP) (specifiek Vampire). Als het voorspelde label van de ATP niet overeenkomt met de grondwaarheid, wordt de taak verworpen of opnieuw gegenereerd.

Belangrijkste Bijdragen

• QMFOL Framework: Een geautomatiseerde pijplijn die formele logische structuren construeert, gelabelde redeneertaken afleidt met gecontroleerde moeilijkheidsgraad, en deze vertaalt naar natuurlijke taal met verificatie.
• QMFOLBench: Een uitgebreide benchmark geconstrueerd met QMFOL, bestaande uit 2.880 instanties over 960 unieke configuraties. Deze configuraties variëren over vijf dimensies:
  • Diepte: 5, 10, 15, 20
  • Breedte: 5, 10, 15, 20
  • Labeltypen: Waar, Onwaar, Onbekend
  • Aantal Distractoren: 0, 5, 10, 15, 20
  • Onderwerpen: Voedsel, Dier, Universiteit, Wiskunde
• Uitgebreide Evaluatie: De auteurs hebben zes LRM's en twee LLM's geëvalueerd op QMFOLBench, wat gestructureerde inzichten biedt in hoe modellen presteren over verschillende logische en semantische dimensies.

Resultaten
Evaluaties op modellen waaronder Gemini-3.1-Pro, GPT-5.4-High, Qwen3.5-27B en anderen leverden de volgende bevindingen op:

• Impact van Complexiteit: Prestaties verslechteren niet-lineair naarmate de logische complexiteit (diepte en breedte) toeneemt, vergezeld van een stijging in computationele overhead (tijd en tokengebruik).
• Label Bias: Modellen presteren consequent beter op met Waar gelabelde taken vergeleken met Onwaar of Onbekend gelabelde taken. Fouten op Waar- en Onwaar-taken worden frequent geclassificeerd als Onbekend.
• Robuustheid tegen Distractoren: Naarmate het aantal distractor-regels toeneemt, daalt de nauwkeurigheid van modellen over het algemeen. Hoewel geavanceerde modellen (bijv. Gemini-3.1-Pro, GPT-5.4-High) een grotere robuustheid vertonen, ervaren zelfs zij prestatieverminderingen.
• Semantische Afhankelijkheid: Prestaties variëren aanzienlijk tussen verschillende onderwerpgebieden. Modellen presteren bijvoorbeeld over het algemeen beter op het onderwerp Universiteit, terwijl de DeepSeek-serie een opmerkelijke degradatie vertoonde op het onderwerp Wiskunde, vaak door de incorporatie van externe kennis in plaats van strikte naleving van de premissen.
• Modelprestaties: Gemini-3.1-Pro behaalde de hoogste nauwkeurigheid (99,03%), terwijl GPT-5.4-High de beste balans bood tussen prestaties en computationele kosten. De open-source Qwen3.5-27B presteerde sterk en overtrof verschillende grotere modellen.

Betekenis
Het artikel beweert dat QMFOL een schaalbare en betrouwbare aanpak biedt voor het construeren van benchmarks voor deductief redeneren met controleerbare complexiteit. Door de trade-off tussen semantische diversiteit en logische consistentie aan te pakken, maakt QMFOL een preciezere evaluatie van de redeneercapaciteiten van moderne taalmodellen mogelijk. De auteurs stellen dat hun benchmark essentieel is voor het identificeren van specifieke zwakheden in het redeneren van modellen (bijv. gevoeligheid voor distractoren, label bias en semantische afhankelijkheid) en voor het waarborgen dat modelverbeteringen echte winst vertegenwoordigen in plaats van artefacten van datacontaminatie. Het framework is ontworpen om extensibel te zijn naar volledige Eerste-Orde Logica en rijkere taakconfiguraties in toekomstig werk.