Hybrid Models for Natural Language Reasoning: The Case of Syllogistic Logic

Technische Samenvatting: Hybride Modellen voor Natuurlijke Taalredenering

Probleemstelling
Ondanks aanzienlijke vooruitgang in neurale modellen, blijft hun vermogen tot generalisatie een kritieke bottleneck voor toepassingen in logisch redeneren. De huidige literatuur verward vaak twee distincte aspecten van generalisatie: compositionaliteit en recursiviteit.

• Compositionaliteit wordt hier gedefinieerd niet als de standaard "bottom-up" constructie van betekenis, maar als een analytisch "top-down" vermogen: het vermogen om atomaire logische regels te abstraheren uit complexe structuren en deze toe te passen op eenvoudigere componenten.
• Recursiviteit is het vermogen om complexe representaties te construeren door iteratieve toepassing van een eindige verzameling regels (bijvoorbeeld het uitbreiden van een transitieve keten).

De auteurs betogen dat hoewel modellen recursief kunnen zijn (door het verwerken van lange ketens door oppervlakkige patronen na te bootsen), ze vaak echte compositionaliteit missen (het begrijpen van de structurele combinatie van individuele schakels). Dit gebrek verhindert robuust logisch redeneren, vooral wanneer modellen die zijn getraind op complexe inferenties falen in het identificeren van onderliggende eenvoudigere componenten.

Methodologie
Om deze capaciteiten te onderzoeken, gebruiken de auteurs syllogistische logica als een gecontroleerde benchmark. Dit fragment van natuurlijke taalredenering is expressief genoeg om niet-triviaal te zijn, maar toch computationeel hanteerbaar, in tegenstelling tot volledige eerste-orde logica.

1. Formeel Kader: De studie adopteert een syllogistisch bewijsstelsel gebaseerd op Smiley (1973), met vier kwantitatoren (A, E, I, O) en het toestaan van afleidingen uit willekeurige premissen. Het stelsel is bewezen geldig en compleet.
2. Symbolische Component: Een niet-deterministische geautomatiseerde bewijzer is geïmplementeerd. Deze probeert een hypothese $H$ af te leiden uit een kennisbasis $KB$ met behulp van:
   • Directe regelgebaseerde bewijzen (triviaal en regelgebaseerd).
   • Bewijs door contradictie (het vinden van een formule $F$ zodanig dat $KB \cup \{H\} \vdash F$ en $KB \vdash \neg F$).
3. Connectionistische Component: Twee voorgeprogrammeerde Large Language Models (LLM's)—FLAN-T5-base (encoder-decoder) en GPT-4o-mini (decoder-only)—zijn fijngefineerd op synthetische data om te fungeren als assistenten. De data bestaat uit kennisbassen weergegeven als grafieken, omgezet naar natuurlijke taal met pseudoworden om inhoudelijke bias te vermijden.
   • Taak 1 (Premisseselectie): Voorspel een minimale subset van premissen $P \subseteq KB$ zodanig dat $P \vdash H$.
   • Taak 2 (Bewijs door contradictie): Voorspel een weerleggingsformule $F$ om een bewijs door contradictie te faciliteren.
4. Generalisatie-evaluatie: De auteurs operationaliseerden compositionaliteit en recursiviteit door trainings- en testsets te manipuleren op basis van A-ketenlengtes (de lengte van transitieve inclusies):
   • Compositional (COM): Modellen getraind op lange ketens worden getest op korte ketens (deconstructie).
   • Recursive (REC): Modellen getraind op korte ketens worden getest op lange ketens (constructie).
   • Overall (OVE): Modellen getraind en getest over alle lengtes.

Belangrijkste Bijdragen

1. Empirisch Onderscheid: Een rigoureuze demonstratie dat LLM's een redelijke beheersing bezitten van recursiviteit, maar aanzienlijk worstelen met compositionaliteit. Modellen getraind op complexe inferenties falen in het generaliseren naar hun eenvoudigere samenstellende delen.
2. Structurele Beperkingen: Een theoretische bevinding dat generalisatie in neurale modellen beperkt wordt door logische structuur. Prestaties variëren systematisch over verschillende syllogismetypen (bijvoorbeeld Type $\tau_2$, de eenvoudigste inferentie, wordt beheerst, terwijl complexe combinaties zoals $\tau_1$ en $\tau_5$ uitdagend blijven).
3. Hybride Architectuur: Het voorstellen en evalueren van een neuro-symbolisch kader waarbij neurale componenten een symbolische bewijzer assisteren. De neurale modellen verkleinen de zoekruimte door te voorspellen kandidaat-premissen en contradictieformules, terwijl de symbolische bewijzer logische volledigheid en correctheid garandeert.

Resultaten

• Generalisatie-dispariteit: In de Recursieve setting presteerden modellen vergelijkbaar met de algehele baseline, wat suggereert dat ze patronen kunnen uitbreiden naar langere ketens. Echter, in de Compositional setting daalde de prestatie aanzienlijk (bijvoorbeeld daalde de GPT-accuraatheid bij premisseselectie van ~94% in OVE-kort naar ~76% in COM).
• Type-afhankelijke Variabiliteit: De prestaties waren sterk afhankelijk van het specifieke syllogismetype. Type $\tau_2$ (enkele A-keten) bereikte bijna perfecte accurate over alle settings, terwijl typen die meerdere ketens of gemengde kwantoren vereisen, significante degradatie vertoonden in compositional taken.
• Foutanalyse:
  • Onnodige Premisses: Modellen voegden vaak extra premissen toe die niet minimaal waren, maar wel geldig, waardoor de symbolische bewijzer succesvol kon zijn.
  • Gefabriceerde Premisses: In gevallen van echt falen genereerden modellen goed gevormde maar semantisch incorrecte premissen, vaak door syllogismetypen te verwarren met vergelijkbare hypothese-structuren (bijvoorbeeld het proberen een $\tau_3$-bewijs te construeren voor een $\tau_1$-hypothese).
• Hybride Efficiëntie: De hybride modellen verminderden de computationele kosten van de symbolische bewijzer aanzienlijk.
  • De pure symbolische bewijzer vereiste gemiddeld $\approx 10^{5.7}$ stappen.
  • Hybride modellen met Overall of Recursieve assistenten reduceerden dit tot $\approx 10^{2.4}$ stappen (een reductie van drie ordes van grootte).
  • Zelfs met Compositional assistenten (die een lagere accurate hadden), bleef het hybride systeem robuust, waarbij slechts iets meer stappen nodig waren ($\approx 10^{2.7}$ tot $10^{3.1}$) dan bij de best presterende assistenten, zonder afbreuk te doen aan de geldigheid of volledigheid van het uiteindelijke bewijs.

Betekenis en Claims
Het artikel claimt dat de waargenomen beperkingen in neurale redenering niet louter een kwestie van schaal zijn, maar voortkomen uit een fundamenteel onvermogen om structurele decompositie (compositionaliteit) uit te voeren versus patroonherhaling (recursiviteit). De auteurs stellen dat transformatoren-aandachtsmechanismen de laatste van nature kunnen ondersteunen, maar niet de eerste.

De betekenis van het werk ligt in het aantonen dat hybride modellen een haalbare weg vooruit bieden. Door neurale netwerken te benutten voor efficiënte verkleining van de zoekruimte en symbolisch redeneren voor logische garanties, is het mogelijk om de generalisatiebarrières van pure neurale systemen te overwinnen. De studie suggereert dat deze modulaire aanpak essentieel is voor het ontwikkelen van betrouwbare logische bewijzers, zelfs wanneer de neurale componenten imperfect zijn of getraind op beperkte data. De auteurs concluderen dat hoewel syllogistische logica een eenvoudig fragment is, het al niet-triviale grenzen blootlegt voor neurale generalisatie, wat verdere onderzoek motiveert naar rijkere logische fragmenten en de structurele redenen achter leerbaarheid.