Tracing the ongoing emergence of human-like reasoning in Large Language Models

Technische Samenvatting: Het Traceerbaar Maken van de Voortdurende Emergentie van Menselijk Redeneren in Groot Taalmodellen

Probleemstelling
Hoewel Groot Taalmodellen (LLMs) verfijnde linguïstische competentie tonen, blijft het onduidelijk of ze menselijk redeneervermogen bezitten, met name wat betreft het interface tussen semantiek en pragmatische. Mensen verrijken letterlijke betekenissen moeiteloos door pragmatische inferenties, zoals het interpreteren van conditionele zinnen verschillend afhankelijk van de context (bijvoorbeeld het onderscheiden tussen "perfected" en "biscuit" conditionele zinnen). De auteurs stellen dat LLMs mogelijk lijden onder een "Decontextualisatie-vooroordeel", een neiging om te vertrouwen op formele of letterlijke aspecten van input terwijl ze de contextuele aanwijzingen die menselijke verwerking sturen, niet integreren. Deze studie onderzoekt of LLMs het genuanceerde, contextgevoelige redeneren kunnen repliceren dat mensen toepassen op conditionele zinnen in meerdere talen.

Methodologie
De onderzoekers voerden een experiment uit met populatie-aanpassing waarbij 313 menselijke deelnemers en 25 state-of-the-art LLMs betrokken waren. Het onderzoek omvatte vier talen: Catalaans, Engels, Italiaans en Spaans.

• Tasontwerp: Er werd een taak voor waarheidswaarde-oordelen gebruikt met 54 experimentele prompts per taal, bestaande uit Standaard Conditionele Zinnen (SCs) en Biscuit Conditionele Zinnen (BCs), naast controlemiddelen en vulitems.
  • Standaard Conditionele Zinnen (bijvoorbeeld "Als je het gazon maait, geef ik je $50"): Mensen leiden doorgaans een biconditionale relatie af (perfected lezing), waarbij het gevolg alleen geldt als het antecedent waar is.
  • Biscuit Conditionele Zinnen (bijvoorbeeld "Als je honger hebt, staat er pizza in de oven"): Mensen leiden af dat het gevolg onafhankelijk geldt van het antecedent (biscuit lezing).
  • Kritieke Trials: Het experiment richtte zich op scenario's waarin het antecedent onwaar was. Van mensen wordt verwacht dat ze het gevolg beoordelen als onwaar voor SCs (vanwege de biconditionale inferentie) en waar voor BCs (vanwege onafhankelijkheid).
• Deelnemers:
  • Mensen: Moedertaalsprekers gerekruteerd via Prolific, gefilterd op neurodivergentie en taalstoornissen.
  • LLMs: 25 modellen die diverse families bestrijken (Claude, GPT, Gemini, Llama, Mistral, enz.), architecturen (Dicht vs. Mixture-of-Experts), beschikbaarheid (Open vs. Gesloten bron) en trainingsoriëntaties (Generatief vs. Redenerend).
• Analyse: De data werden geanalyseerd met behulp van gegeneraliseerde lineaire gemengde-effectmodellen (logistische regressie) om geneste datastructuren in aanmerking te nemen. Het onderzoek vergeleek nauwkeurigheidspercentages en interactie-effecten tussen agenten (mens vs. LLM), prompttypes (experimenteel vs. controle) en conditionele zintypes (SC vs. BC).

Belangrijkste Bijdragen

1. Nieuwe Benchmark: De studie introduceert een cross-linguïstische benchmark die specifiek is ontworpen om logisch redeneren te ontwarren van pragmatische verrijking in conditionele zinnen, en verder gaat dan geaggregeerde nauwkeurigheid om specifieke inferentietypes te onderzoeken.
2. Systematische Vergelijking: Het biedt een grootschalige, populatie-gematchte vergelijking tussen mensen en een diverse set van 25 LLMs, waarbij modelreacties worden geaggregeerd om menselijke steekproefgroottes te matchen voor statistische geldigheid.
3. Architecturale en Trainingsanalyse: Het artikel evalueert systematisch of brede ontwerpelementen (openheid, architectuurtype, trainingsoriëntatie) pragmatische redeneercapaciteiten voorspellen, en adresseert gaten in de huidige literatuur over de drijvers van emergent redeneren.

Resultaten

• Menselijke Prestaties: Mensen onderscheidden consequent tussen SCs en BCs, en vertoonden robuuste pragmatische verrijking. Zij keurden perfected lezingen goed voor SCs (88%) en biscuit lezingen voor BCs (57%), in overeenstemming met eerdere bevindingen bij Engelssprekende populaties.
• LLM Prestaties:
  • Algemene Nauwkeurigheid: LLMs presteerden significant slechter dan mensen in kritieke experimentele condities die pragmatisch redeneren vereisten. Hoewel ze een hoge nauwkeurigheid behielden in controlevoorwaarden, daalde hun prestatie aanzienlijk wanneer contextuele inferentie vereist was.
  • Gedragsprofielen: Twee dominante gedragspatronen kwamen naar voren bij LLMs:
    1. Waarheidstabel-Adherents: Modellen die strikt volgden bij klassieke logica, waarbij ze onware antecedenten als vacuüm waar behandelden, en daardoor de nodige pragmatische inferenties voor zowel SCs als BCs niet afleidden.
    2. Op Regels Gebaseerde Biconditionalisators: Modellen die alle conditionele zinnen uniform versterkten tot biconditionalen (als en slechts als), waardoor ze geen onderscheid maakten tussen SCs en BCs en zo de biscuit-interpretatie volledig misten.
  • Variabiliteit: Er was een hoge heterogeniteit in prestaties tussen individuele modellen, variërend van bijna-kansnauwkeurigheid tot hoge nauwkeurigheid. Zelfs hoogpresterende modellen slaagden er echter niet in het flexibele, contextgevoelige redeneren van mensen te evenaren.
• Voorspellers van Prestaties:
  • Taal: De prestaties waren grotendeels taal-onafhankelijk; er werden geen significante verschillen gevonden tussen de vier talen voor zowel mensen als modellen.
  • Ontwerpelementen: Cruciaal bleken brede ontwerpeigenschappen – openheid (open vs. gesloten bron), architectuur (dicht vs. MoE) en trainingsoriëntatie (generatief vs. redenerend) – niet betrouwbaar modelnauwkeurigheid of pragmatische gevoeligheid te voorspellen. Hoog- en laagpresterende modellen werden in elke categorie aangetroffen.

Betekenis en Aanspraken
Het artikel concludeert dat huidige LLMs fungeren als nauwkeurige semantische operatoren, maar falen in het vastleggen van de pragmatische verrijkingen die kenmerkend zijn voor menselijk redeneren. De auteurs betogen dat LLMs een "Decontextualisatie-vooroordeel" vertonen, waarbij ze oppervlaktevorm en letterlijke betekenis verkiezen boven contextueel verrijkte interpretaties vanwege een gebrek aan verankering in reële communicatieve situaties.

De studie beweert dat pragmatisch redeneren een emergente vaardigheid is in de cognitieve toolkit van kunstmatige systemen, en niet een automatisch bijproduct van schaal of architecturale verfijning. De bevindingen suggereren dat het bereiken van menselijk redeneren mechanismen vereist voor contextintegratie en relevantieredenering die in huidige datagedreven systemen nog niet volledig zijn gerealiseerd. Bovendien impliceert het onvermogen van brede taxonomische labels (bijvoorbeeld "redeneringsgericht" of "MoE") om prestaties te voorspellen, dat pragmatische competentie een modelspecifieke eigenschap is die afhankelijk is van ondoorzichtige interne factoren en niet van hoog-niveau ontwerpkeuzes. De auteurs handhaven een bescheiden standpunt, met de opmerking dat hoewel pragmatisch redeneren nog niet volledig emergent is, het niet inherent onbereikbaar is, en mogelijk rijkere wereldverankering of interactieve leeromgevingen vereist om zich te ontwikkelen.