Human-Level Reasoning: A Comparative Study of Large Language Models on Logical and Abstract Reasoning

Technische Samenvatting: Menselijk Niveau van Redeneren? Een Vergelijkende Studie naar Large Language Models op het gebied van Logisch en Abstract Redeneren

Probleemstelling
Hoewel Large Language Models (LLM's) aanzienlijke bekwaamheid hebben getoond in natuurlijke taalverwerking en tekstgeneratie, blijft hun capaciteit voor werkelijk logisch en abstract redeneren een kritiek gebied van onderzoek. Bestaande literatuur suggereert dat, hoewel LLM's behendig statistische patronen binnen taal vastleggen, ze vaak inconsistent zijn in het toepassen van logische principes, met name wanneer taken vereisen om logische verbanden tussen concepten te leggen of geldige gevolgtrekkingen te afleiden uit complexe premissen. Deze studie adresseert de noodzaak om rigoureus te evalueren of deze modellen informatie werkelijk begrijpen en deducties uitvoeren op een logische, geldige wijze, of dat ze louter redeneren simuleren door middel van statistische associatie.

Methodologie
De studie maakte gebruik van een comparatief beoordelingsparadigma bestaande uit vijftien verschillende LLM's (waaronder GPT-4.1, Claude 3.7 Sonnet, DeepSeek R1/V3, Gemini 2.0/2.5, Llama 3.1/4, Grok 2/3, Mistral, Perplexity, en het Braziliaanse model Sabiá 3) en een cohort van 80 menselijke participanten (54 studenten en 26 professoren in kwantitatieve disciplines).

• Benchmark Ontwerp: In plaats van gestandaardiseerde benchmarks zoals de Winograd Schema Challenge of ARC te gebruiken, hebben de auteurs een op maat gemaakte set van acht logische en abstracte redeneeruitdagingen ontwikkeld. Deze vragen waren ontworpen om de afhankelijkheid van specifieke feitelijke kennis te minimaliseren, waarbij de focus lag op patroonherkenning, deductie en abstractie. De set bevatte:
  • Deductief Redeneren: Operaties betreffende dagen van de week (Q1, Q7), Caesar-cijfercodering (Q3) en rekenkunde met ontbrekende correcte opties (Q4).
  • Inductief Redeneren: Linguïstische associaties tussen Portugese en Spaanse maandafkortingen (Q6).
  • Abductief Redeneren: Binaire nummeroperaties die conversie naar decimaal vereisen (Q8).
  • Abstract Redeneren: Patroonherkenning in woordherhalingssequenties (Q2) en complexe cijferconcatenatielogica (Q5).
• Evaluatieprotocol: Alle modellen en mensen werden gepresenteerd voor de vragen in het Portugees. De LLM's werden geprompt om hun redeneerprocessen toe te lichten. Om consistentie te waarborgen, werden twee instanties van elke LLM geëvalueerd, waarbij de best presterende instantie werd geselecteerd voor analyse.
• Score-systeem: De studie maakte gebruik van een kwalitatieve scorebenadering in plaats van statistische metrieken zoals Perplexity of BLEU. Responsies werden gecategoriseerd en gescoord als volgt:
  • 10 punten: Correct antwoord.
  • 5 punten: Incorrect antwoord, maar met geldige redenering/oordeel.
  • 0 punten: Geen antwoord of ongeldige redenering.

Belangrijkste Bijdragen

1. Custom Redeneer-benchmark: De introductie van een specifieke set van acht uitdagingen ontworpen om logisch en abstract redeneren te testen zonder te vertrouven op vooraf getrainde feitelijke kennis, wat een grotere controle biedt over de aard van de evaluatie vergeleken met bestaande gestandaardiseerde benchmarks.
2. Kwalitatieve Redeneringsanalyse: Een verschuiving van louter statistische evaluatie naar een kwalitatieve analyse van de cognitieve processen die ten grondslag liggen aan de modelresponsen, waarbij onderscheid wordt gemaakt tussen correcte antwoorden, correcte redenering met incorrecte antwoorden, en volledige tekortkomingen.
3. Mens-LLM Vergelijkingsbaseline: Een directe prestatievergelijking tussen state-of-the-art LLM's en menselijke experts (professoren) en studenten, die specifieke domeinen belicht waar menselijke intuïtie en abstract redeneren de huidige AI-capaciteiten overtreffen.

Resultaten

• Algemene Prestaties: De gemiddelde score voor LLM's was 59,7 punten, terwijl het menselijke cohort (geaggregeerd) een score van 69,6 punten behaalde. Echter, de best presterende LLM's (GPT-4o-mini, GPT-3.5-mini, en Claude 3.7 Sonnet) behaalden maximale scores (80 punten), waarmee ze de gemiddelde menselijke score overtroffen.
• Taakspecifieke Dispariteiten:
  • Sterktes: LLM's presteerden uitzonderlijk goed op Q4 (rekenkunde met ontbrekende opties), waarbij 100% van de modellen de afwezigheid van een correcte keuze herkende, en Q6 (linguïstische associatie), waar ze 100% nauwkeurigheid bereikten. Ze excelleerden ook in Q1 en Q3.
  • Zwaktes: LLM's hadden aanzienlijke moeite met Q5 (complex abstract patroon met cijferconcatenatie), waarbij ze slechts 60% nauwkeurigheid behaalden vergeleken met 36,2% voor mensen (hoewel professoren 65,4% scoorden). Opvallend genoeg probeerden veel LLM's de data in polynoomfuncties te passen in plaats van de concatenatielogica te identificeren.
  • Taal- en Patroonnuances: Modellen toonden moeilijkheden met Q7, die vereiste te wisselen tussen Engels en Portugees op basis van de pariteit van de increment. Veel modellen faalden in het identificeren van de schakelregel, zelfs wanneer ze de dag correct berekenden.
• Modelvariantie: De prestaties varieerden sterk. Terwijl topmodellen (GPT-4o-mini, Claude 3.7 Sonnet) een score van 80 behaalden, worstelden minder presterende modellen zoals Sabiá 3 (25 punten) en Llama 3.1 (40 punten) met basispatroonherkenning en taalwisseling.
• Redenering versus Nauwkeurigheid: In verschillende gevallen leverden modellen incorrecte eindantwoorden maar toonden ze geldige redeneerstappen, of kwamen ze omgekeerd tot correcte antwoorden via toevallige of gebrekkige logica (bijv. Gemini 2.0 Flash op Q7).

Betekenis en Claims
Het artikel stelt dat hoewel LLM's aanzienlijke stappen hebben gezet in patroonherkenning en natuurlijke taalverwerking, er een kloof blijft bestaan tussen kunstmatige en menselijke intelligentie met betrekking tot hogere cognitieve functies. De studie claimt dat LLM's vaak moeite hebben met taken die een genuanceerd begrip, abstract denken en de integratie van uiteenlopende informatie vereisen, met name wanneer de formaten van de problemen onconventioneel zijn of leunen op verborgen regels (zoals taalwisseling of cijferconcatenatie).

De auteurs concluderen dat het vermogen van LLM's om "werkelijk te redeneren" momenteel beperkt wordt door hun afhankelijkheid van statistische correlaties en een gebrek aan werkelijk begrip. De bevindingen suggereren dat modellen weliswaar bepaalde logische beperkingen kunnen overwinnen, maar dat ze vaak falen in het consistent toepassen van logische principes in scenario's die vragen om vloeiende intelligentie en gezond verstand. De studie benadrukt dat toekomstige ontwikkeling zich moet richten op het aanpakken van deze beperkingen om modellen te creëren die in staat zijn om de restricties van statistische patroonmatching te overstijgen en robuuste logische inferentie te bereiken.