Technische Samenvatting: Zijn LLM's Stabiele Formele Logische Vertalers in Logisch Redeneren over Linguïstisch Diverse Teksten?

1. Probleemdefinitie

Logische redeneersystemen die gebruikmaken van Large Language Models (LLM's) hanteren vaak een neuro-symbolisch paradigma waarbij het LLM natuurlijke taal (NL) vertaalt naar formele logica, die vervolgens door een symbolische solver wordt verwerkt. Hoewel effectief, rust deze aanpak zwaar op de veronderstelling dat de vertalingsstap getrouw en consistent is. Een kritieke, maar onderbelichte kwetsbaarheid is symbooldrift: het falen van LLM's om semantisch equivalente uitdrukkingen naar hetzelfde logische symbool te mappen wanneer die uitdrukkingen in verschillende linguïstische vormen verschijnen (bijv. synoniemen, parafrases of syntactische variaties).

Bestaande benchmarks voor logisch redeneren maken meestal gebruik van zeer uniforme taal, waarbij vaak identieke oppervlaktevormen worden herhaald voor dezelfde concepten. Hierdoor falen ze in het evalueren of LLM's symboolconsistentie kunnen handhaven over realistische linguïstische variaties. Deze kloof leidt tot een overschatting van de robuustheid van LLM's, aangezien tekst in de echte wereld vaak hetzelfde concept uitdrukt via diverse formuleringen, wat de redeneerketen kan verbreken en solver-fouten kan veroorzaken.

2. Methodologie

2.1 SoLT: Een Benchmark voor Linguïstische Diversiteit

Om het gebrek aan evaluatie voor vertaalstabiliteit aan te pakken, introduceren de auteurs SoLT (Stability of Logical Translation). SoLT is geen nieuw dataset vanaf nul, maar een systematische transformatie van bestaande redeneerdatasets (LogicDeduction, ProntoQA, FOLIO, ProofWriter, ProverQA) met behulp van een Logic-invariant Linguistic Diversification methode.

De diversificatiepipeline werkt in drie stadia:

1. Identificatie van Herhaalde Concepten: Het systeem identificeert oppervlakte-uitdrukkingen die meerdere keren binnen een probleem voorkomen ($freq_q(e) \ge 2$).
2. Constructie van Diversificatiestrategieën: Voor elk herhaald concept genereert het systeem varianten op drie niveaus:
   • Woordniveau: Synoniemvervanging (met behulp van WordNet).
   • Zinsniveaus (Phrase-level): Parafraseren (met behulp van PPDB).
   • Zinsniveau: Syntactische herschrijvingen (bijv. actief-passief alternatieven, derde-persoons herformulering) met behulp van LLM's.
3. Candidate Generatie onder Semantische Filtering: gegenereerde kandidaten worden gefilterd met sterke zin-embedding modellen (bijv. BGE-large-en-v1.5) om te garanderen dat de semantische gelijkenis de drempelwaarde ($\theta = 0.90$) overschrijdt. Een LLM assembleert vervolgens het uiteindelijke gediversifieerde probleem, waarbij kandidaten worden geselecteerd die de oppervlakte-diversiteit maximaliseren en de herhaalde vormen voor identieke concepten minimaliseren.

Validatie via embedding-gelijkenisscores en menselijke/LLM logische invariantie-scoring (1–5 schaal) bevestigt dat SoLT de semantische betekenis en logische structuur behoudt terwijl de linguïstische variatie aanzienlijk wordt vergroot.

2.2 MenTaL: Een Mental Representation-Guided Framework

Om symbooldrift te mitigeren, stellen de auteurs MenTaL (Mental Representation Table-guided Translation) voor. Geïnspireerd door cognitieve theorieën over mentale representatie, begeleidt MenTaL het LLM expliciet bij het construeren en onderhouden van een Mental Representation Table (MRT) tijdens het vertalingsproces.

De MRT mapt semantisch equivalente uitdrukkingen naar een verenigd logisch symbool ($\sigma$). Het framework definieert drie update-operaties voor de tabel:

• Uitbreiden (Extending): Het toewijzen van een nieuw symbool aan een voorheen onbekend concept.
• Hergebruiken (Reusing): Het mappen van een nieuwe uitdrukking naar een bestaand symbool als deze semantisch equivalent is ($e^{(i)} \equiv e^{(j)}$).
• Controleren & Verfijnen (Checking & Refining): Het aanpassen van mappings voor gedeeltelijke overlappingen of subsumpties (bijv. het mappen van "populaire show" naar een verfijnd atomair symbool).

MenTaL kan worden geïmplementeerd via:

• In-Context Learning: Het verstrekken van voorbeelden van MRT-constructie in de prompt voor closed-source modellen.
• Supervised Fine-Tuning (SFT): Het trainen van kleinere open-source modellen (bijv. LLaMA-3-8B) op redeneertracen gegenereerd door high-performance modellen met behulp van MenTaL.

3. Kernbijdragen

1. SoLT Benchmark: Een algemene methode en de daaruit voortvloeiende benchmark die redeneerdatasets herschrijft naar diverse, logisch equivalente vormen om de stabiliteit van de vertaling onder linguïstische variatie systematisch te evalueren.
2. MenTaL Framework: Een lichtgewicht, generaliseerbare aanpak die consistente symboolmapping afdwingt door de concept-symbool relaties expliciet te organiseren in een mentale representatietabel.
3. Empirische Analyse: Uitgebreide experimenten die aantonen dat huidige LLM's lijden onder wijdverbreide symbooldrift onder linguïstische diversiteit en dat MenTaL dit probleem effectief mitigeert.

4. Experimentele Resultaten

4.1 Instabiliteit van Huidige LLM's

Experimenten op SoLT met vier LLM's (GPT-3.5, GPT-4, DeepSeek-V3, DeepSeek-R1) en drie symbolische solvers onthullen significante prestatiedegradatie:

• Nauwkeurigheidsdaling: Onder directe prompting daalt de nauwkeurigheid aanzienlijk op gediversifieerde inputs (bijv. van 0.51 naar 0.24 gemiddeld over taken).
• Symbol Dispersion Score (SDS): Een nieuwe metriek die symbooldrift kwantificeert. De SDS stijgt scherp op SoLT-inputs (wat duidt op inconsistente mapping) terwijl deze nabij nul blijft op de originele datasets.
• Foutanalyse: De primaire foutmodus is logische fouten veroorzaakt door inconsistente symbooltoewijzing, in plaats van parsing- of executiefouten. Zelfs milde linguïstische variaties (bijv. synoniemvervanging) veroorzaken duidelijke nauwkeurigheidsdegradatie.
• Beperkingen van Prompt Tuning: Eenvoudige prompt-aanpassingen of few-shot voorbeelden die consistentie aanmoedigen, slaagden er niet in om de prestaties of de SDS op gediversifieerde taken significant te verbeteren.

4.2 Effectiviteit van MenTaL

Het toepassen van MenTaL levert consistente en stabiele prestatiewinsten op:

• In-Context Learning: Voor high-performance modellen verminderde MenTaL de SDS tot bijna nul op SoLT-taken en verbeterde de nauwkeurigheid met tot wel 40.74% (bijv. op ProntoQA).
• Supervised Fine-Tuning: Voor het kleinere LLaMA-3-8B model verbeterde standaard SFT de nauwkeurigheid, maar faalde in het verminderen van symbooldrift op gediversifieerde data. In contrast hiermee bereikte MenTaL-gebaseerde SFT een bijna nul SDS en een significant hogere nauwkeurigheid op zowel originele als gediversifieerde datasets, wat een sterke generalisatie over solvers en taken aantoont.
• Fouttoeschrijving: Handmatige analyse bevestigde dat ongeveer 50% van de fouten die door MenTaL werden gecorrigeerd, specif kind waren aan verbeterde symboolconsistentie, wat de gerichte effectiviteit van het mechanisme valideert.

4.3 Diversificatie-intensiteit

Experimenten waarbij de "diversificatie-intensiteit" (het aantal gemodificeerde zinnen per probleem) werd gevarieerd, lieten een vloeiende, continue daling van de LLM-nauwkeurigheid zien naarmate de intensiteit toenam. Dit duidt op een cumulatief effect waarbij het verwerken van meer semantische varianten progressief het vermogen van het model ondermijnt om een consistente symboolalignering te behouden.

5. Betekenis en Claims

Het artikel claimt dat het negeren van linguïstische diversiteit in huidige benchmarks een kritieke zwakte in LLM-gebaseerde logische vertalers maskeert: het onvermogen om een consistente symboolmapping te behouden over diverse uitdrukkingen. Deze "symbooldrift" verbreekt de logische coherentie in real-world scenario's waar synoniemen en parafrases gebruikelijk zijn.

De betekenis van dit werk ligt in:

1. Diagnose: Het bieden van een systematisch instrument (SoLT) om vertaalinstabiliteit te identificeren en te meten die standaard benchmarks missen.
2. Oplossing: Het bieden van een praktische, generaliseerbare methode (MenTaL) om de robuustheid van neuro-symbolische redeneersystemen te verbeteren zonder architecturale wijzigingen aan de solvers te vereisen.
3. Betrouwbaarheid: Het bewegen van het vakgebied naar meer betrouwbaar logisch redeneren in real-world toepassingen door te zorgen dat vertaalstabiliteit behouden blijft ondanks linguïstische variatie.

De auteurs concluderen dat hoewel MenTaL de stabiliteit aanzienlijk verbetert, de uitdaging van consistente symboolmapping een belangrijk gebied blijft voor toekomstig onderzoek, vooral naarmate LLM's worden ingezet in complexe, linguïstisch diverse omgevingen.