LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning

Probleemstelling

Herkomstredenering (commonsense reasoning) is fundamenteel voor menselijke cognitie, maar huidige benchmarks in de kunstmatige intelligentie (AI) hebben een beperkende opzet. De meeste bestaande benchmarks (zoals CommonsenseQA) reduceren redenering tot het selecteren van één enkel, atomair antwoord. Dit negeert de inherente ambiguïteit van de echte wereld, waar vaak meerdere plausibele interpretaties bestaan die gezamenlijk waar kunnen zijn (conjunction), gedeeltelijk waar kunnen zijn (disjunction), of allebei onwaarschijnlijk zijn (negatie).

De huidige evaluatiemethoden verbergen of modellen:

1. Gezamenlijk plausibele interpretaties herkennen.
2. Wederzijdse uitsluiting begrijpen.
3. Gezamenlijke onwaarschijnlijkheid (negatie) correct hanteren.

Daarnaast blijken Large Language Models (LLMs) vaak te vertrouwen op statistische shortcuts in plaats van echte logische consistentie, wat leidt tot fragiele prestaties bij minimale semantische verstoringen.

Methodologie: LOGICAL-COMMONSENSEQA

De auteurs introduceren LOGICAL-COMMONSENSEQA, een nieuw benchmark dat redenering herformuleert als logische compositie over paren van atomaire stellingen. In plaats van één antwoord te kiezen, moet het model een optie selecteren die de juiste plausibiliteitsrelatie tussen twee stellingen weergeeft.

1. Dataset Constructie (Pipeline):
De dataset is gebaseerd op CommonsenseQA en wordt opgebouwd via een drie-staps proces:

• Stap 1: Generatie van Kandidaten: Met behulp van GPT-4o-mini worden voor 5.000 bestaande vragen extra atomaire antwoordopties gegenereerd (zowel plausibel als onwaarschijnlijk), met een focus op multi-stap causale of situationele redenering.
• Stap 2: Verfijning en Culling: Een model filtert de opties om logische inconsistenties te verwijderen en triviale antwoorden (oplosbaar via trefwoordmatching) te elimineren. Het resultaat is een set van 3 correcte en 4 incorrecte atomaire opties per vraag.
• Stap 3: Deterministische Logische Compositie: Een symbolisch programma combineert paren van atomaire opties tot logische composities, gelabeld met één van drie operatoren:
  • AND: Beide stellingen zijn onafhankelijk plausibel.
  • OR: Minstens één stelling is plausibel.
  • NEITHER/NOR: Geen van beide stellingen is plausibel.
  • Er is ook een MIXED-conditie waar verschillende operatoren binnen één vraag voorkomen.

2. Menselijke Validatie:
Om de kwaliteit te waarborgen, wordt een validatiestudie uitgevoerd volgens het awareness–consensus kader. Annotatoren beoordelen niet alleen of ze een antwoord persoonlijk plausibel vinden (awareness), maar ook of ze denken dat de meerderheid hiermee zou instemmen (consensus). Dit benadrukt dat commonsense sociaal geworteld is. De dataset bevat uiteindelijk 19.996 instanties.

3. Experimenteel Opzet:
De auteurs evalueren diverse modellen (encoder-only, encoder-decoder, decoder-only open-weight LLMs, en gesloten bronmodellen) onder verschillende settings:

• Zero-shot en Few-shot prompting.
• Chain-of-Thought (CoT) prompting.
• Supervised Fine-Tuning (SFT).

Belangrijkste Resultaten

De experimenten tonen duidelijke patronen en beperkingen in de huidige staat van de kunst:

• Prestatieverschil per Operator:

  • AND (Conjunctie): Modellen presteren redelijk goed (bijv. ~70-80% F1 voor sterke LLMs).
  • OR (Disjunctie): Prestaties zijn gemiddeld, maar vaak lager dan bij AND.
  • NEITHER/NOR (Negatie): Er is een drastische daling in prestaties. Zelfs de sterkste modellen (zoals LLaMA-3.3-70B) zakken naar zeer lage scores (bijv. ~13% F1) in zero-shot settings.
  • MIXED: Prestaties zijn matig, wat aangeeft dat modellen moeite hebben om de heersende relatie te infereren wanneer deze niet expliciet uniform is.

• Zero-shot vs. Fine-tuning:

  • Zero-shot en few-shot modellen falen vooral bij negatie.
  • Supervised Fine-Tuning leidt echter tot hoge prestaties (83-95% F1) over alle operatoren heen. Dit suggereert dat de taak leerbaar is en dat de failures in zero-shot settings te wijten zijn aan inferentie-tijd beperkingen en niet aan een gebrek aan datasetkwaliteit.

• Vergelijking met Bestaande Benchmarks:

  • Een model dat goed scoort op CommonsenseQA (bijv. 72% accuraatheid) kan op LOGICAL-COMMONSENSEQA dramatisch slechter presteren (bijv. 13.9% op NEITHER/NOR). Dit toont aan dat traditionele benchmarks de redeneercapaciteiten van modellen overschatten.

• Foutanalyse:

  • Bij AND en OR neigen modellen naar "single-statement dominance": ze focussen op één plausibele clausule en negeren de logische operator (bijv. een onwaarschijnlijke partner accepteren bij AND).
  • Bij NEITHER/NOR treden negatie-inversies op: het model kiest de meest plausibele paren, zelfs als de operator vereist dat beide onwaarschijnlijk zijn. Ze kunnen negatie en plausibiliteit niet simultaan combineren.

Belangrijke Bijdragen

1. Nieuwe Benchmark: Introduktie van LOGICAL-COMMONSENSEQA, dat redenering test als logische compositie in plaats van enkelvoudige antwoordselectie.
2. Ontmaskeren van Zwaktes: Het benchmark blootlegt dat LLMs fundamenteel moeite hebben met het combineren van plausibiliteit onder negatie, een vaardigheid die essentieel is voor dagelijks redeneren.
3. Validatie Framework: Toepassing van een sociaal gewortelde validatie (awareness-consensus) om te waarborgen dat de dataset menselijke plausibiliteitsoordelen weerspiegelt en niet alleen statische feiten.
4. Decompositie Analyse: Het paper toont aan dat de moeilijkheid niet alleen ligt in het begrijpen van atomaire feiten, maar in de interactie tussen plausibiliteitsschatting, operator-gronding en concurrentie tussen distractors.

Betekenis en Conclusie

LOGICAL-COMMONSENSEQA biedt een gecontroleerd kader om de beperkingen van compositional commonsense reasoning te bestuderen. De bevindingen impliceren dat hoewel LLMs uitstekend zijn in het herkennen van individuele feiten, ze nog steeds moeite hebben met de logische structuur van complexe, sociaal gewortelde scenario's, vooral wanneer negatie betrokken is.

De benchmark is cruciaal voor de ontwikkeling van robuustere AI-systemen die niet alleen statistische patronen herkennen, maar werkelijk kunnen redeneren over de relatie tussen meerdere mogelijke werkelijkheden. Toekomstig werk richt zich op het uitbreiden van de operatorset en het testen van transfer naar open-ended vraagbeantwoording en planning.