💬 NLP

Beyond Logical Forms: LLM-Extracted Patterns for Fallacy Classification

Dit artikel stelt een raamwerk voor dat gebruikmaakt van Large Language Models om inductief datagedreven patronen te extraheren die abstracte logische structuren en linguïstische aanwijzingen combineren, wat de nauwkeurigheid en generalisatie van drogredenclassificatie aanzienlijk verbetert in vergelijking met zero-shot baselines en bestaande methoden.

Oorspronkelijke auteurs: Eleni Papadopulos, Firoj Alam, Giovanni Da San Martino

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eleni Papadopulos, Firoj Alam, Giovanni Da San Martino

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert mensen te betrappen die liegen of je proberen te misleiden met slechte logica. Deze trucjes worden logische drogredenen genoemd. Soms is de truc overduidelijk, zoals zeggen: "Als het regent, wordt de grond nat. Het regent, dus de grond is nat." Dat is goede logica. Maar een drogreden is als de goocheltruc van een illusionist: het argument lijkt slim aan de oppervlakte, maar als je beter kijkt, is de logica gebrekkig.

Lange tijd waren computers die deze trucjes probeerden te vangen als detectives die alleen naar de blauwdruk van een gebouw kijken. Ze controleren de structuur (de "logische vorm"), maar negeren de verf, de meubels en de geur van de kamer. Het probleem is dat veel slechte argumenten verraderlijk zijn vanwege hoe ze worden gezegd, niet alleen door hun structuur. Ze gebruiken specifieke woorden, emotionele tonen of retorische trucjes die een blauwdruk alleen niet kan zien.

De Nieuwe Aanpak: De Computer Leren "Tussen de Regels Door te Lezen"

Dit artikel introduceert een nieuwe manier om computers te leren deze trucjes te herkennen. In plaats van de computer alleen een rigide regelboek te geven dat door mensen is geschreven, laten de auteurs een superintelligente AI (een Large Language Model, of LLM) optreden als een stagiaire.

Zo hebben ze deze stagiaire getraind:

De Les (Verklaring Genereren): Ze lieten de AI duizenden voorbeelden van slechte argumenten zien en vroegen de AI om een uitleg te schrijven over waarom ze slecht waren. Dit is alsof je een student vraagt om een rekenfout in eigen woorden uit te leggen.
De Patroonjacht (Patroonextractie): Zodra de AI de fouten begreep, vroegen de onderzoekers de AI om het "recept" voor elk type trucje te vinden. De AI schreef niet zomaar een regel; de AI creëerde een sjabloon.
- Analogie: Stel je voor dat de AI een chef-kok is. In plaats van alleen te zeggen "Verbrand het toast niet," schrijft de AI een receptenkaart die zegt: "Als je ziet dat iemand zegt: 'X gebeurde, dus Y gebeurde' (zelfs als ze niet bewezen hebben dat het zo is), dan is dat een 'Vals Oorzaak'-drogreden."
- Cruciaal was dat deze receptenkaarten (patronen) de specifieke "smaak" van de taal behielden (zoals emotionele woorden of specifieke zinsneden), terwijl de logische structuur toch helder bleef.

Het Experiment: De Patronen op de Proef Stellen

De onderzoekers testten dit nieuwe "receptenkaart"-systeem tegen andere methoden met behulp van een dataset genaamd LOGIC (een verzameling logische puzzels).

De Oude Manier (Zero-Shot): Gewoon de AI vragen: "Is dit een drogreden?" zonder enige hulp. Het was alsoal een detective vragen een zaak op te lossen zonder aanwijzingen.
De "Blauwdruk"-Manier: De AI alleen de abstracte logische structuur geven (zoals de blauwdruk van een gebouw).
De Nieuwe Manier (Patronen): De AI de "receptenkaarten" geven die de stagiaire heeft gemaakt.

De Resultaten:
De nieuwe methode was een groot succes.

Wanneer de AI de patroongebaseerde recepten gebruikte, had hij ongeveer 73-74% van de antwoorden goed.
Dit was veel beter dan de "Zero-Shot"-methode (die ongeveer 62% goed had) en beter dan het gebruik van alleen de abstracte blauwdrukken.
Het versloeg zelfs andere geavanceerde methoden die vertrouwden op door mensen geschreven regels.

De onderzoekers testten deze "recepten" ook op verschillende soorten gesprekken, zoals Reddit-reacties (informele, rommelige internettaal) en transcripten van presidentiële debatten (formele, politieke taal). De patronen werkten ook goed in deze nieuwe omgevingen, wat bewijst dat ze niet alleen de trainingsdata uit het hoofd leren, maar ook daadwerkelijk de logica begrijpen.

Waarom Sommige Trucs Moeilijker te Vangen Waren

De onderzoekers merkten iets interessants op:

Groep 1 (De Makkelijke): Drogredenen met zeer duidelijke structuren, zoals "Cirkelredenering" (hetzelfde twee keer zeggen in andere woorden), werden bijna perfect herkend. Dit zijn als een huis met een scheef dak; je kunt de fout van buitenaf zien.
Groep 2 (De Moeilijke): Drogredenen die leunen op subtiele context of emotionele manipulatie, zoals de "Red Herring" (afleiden met een irrelevant onderwerp), waren moeilijker te vangen. Dit zijn als een huis waar de muren recht zijn, maar de meubels zo zijn neergezet om een geheime deur te verbergen. De AI had hier meer moeite mee omdat het de nuance van het gesprek moest begrijpen, niet alleen de vorm van het argument.

De Kern van het Verhaal

Dit artikel laat zien dat om een logische truc te vangen, je niet alleen naar het skelet van het argument kunt kijken; je moet naar het hele lichaam kijken, inclusief de kleding die het draagt (de taal) en de context waarin het zich bevindt.

Door AI zijn eigen "detective-gidsen" (patronen) te laten genereren op basis van echte voorbeelden, hebben de onderzoekers een systeem gecreëerd dat veel beter is in het opsporen van slechte redeneringen dan eerdere methoden. Het is een datagestuurde aanpak die niet vereist dat mensen elke regel zelf schrijven, waardoor het flexibel genoeg is om de rommelige, genuanceerde manier waarop mensen echt praten en discussiëren aan te kunnen.

Belangrijke Opmerking: De auteurs benadrukken expliciet dat ze deze methoden alleen testen op datasets van argumenten. Zij beweren niet dat deze technologie klaar is voor klinisch gebruik, juridische oordelen of realtime moderatie op sociale media, noch suggereren zij dat het gebruikt kan worden om mensen te manipuleren. Het is momenteel een onderzoeksinstrument voor een beter begrip van hoe men drogredenen kan detecteren.

Technisch Overzicht: Voorbij Logische Vormen: Door LLM Geëxtraheerde Patronen voor Drogredenclassificatie

Probleemstelling

Logische drogredenen, gedefinieerd als defecte redeneerpatronen, dragen significant bij aan informatieverwarring. Hoewel traditionele classificatie onderscheid maakt tussen formele drogredenen (schendingen van de logische structuur) en informele drogredenen (contextafhankelijke fouten in alledaagse taal), blijft automatische detectie een uitdaging. Bestaande benaderingen kampen met twee primaire beperkingen:

Overmatige afhankelijkheid van Abstracte Logica: Methoden die argumenten mappen naar een enkele, abstracte logische vorm, falen vaak in het vastleggen van het volledste spectrum van hoe drogredenen zich manifesteren in natuurlijke discourse, met name voor informele drogredenen waar nuance en context cruciaal zijn.
Rigiditeit van Handmatig Ontwikkelde Schema's: Voorgaand werk dat gebruikmaakt van handmatig ontworpen sjablonen (bijv. gebaseerd op de argumentatieschema's van Walton) is beperkt in reikwijdte en slaagt er niet in de diversiteit van drogreden types en intra-klasse variaties te representeren.
Computationele Kosten: Veel gesuperviseerde benaderingen vereisen intensieve fine-tuning van Large Language Models (LLMs), wat middelenintensief is.

Het paper stelt dat puur abstracte representaties onvoldoende zijn en dat een meer uitgebreide karakterisering een integratie vereist van logische structuur met contextuele linguïstische aanwijzingen (lexicale markers, retorische middelen).

Methodologie

De auteurs stellen een datagestuurd framework voor dat inductief "structurele patronen" extraheert uit drogredelijke voorbeelden en hun verklaringen met behulp van LLM's. Deze benadering vermijdt fine-tuning en vertrouwt in plaats daarvan op inference-only prompting.

1. Patroongeneratie

Het proces omvat twee stappen met specifieke LLM's:

Stap 1: Verklaringgeneratie: Met behulp van llama-3.3-70B-Instruct genereert het systeem verklaringen voor trainingsvoorbeelden die rechtvaardigen waarom een specifieke zin een aangewezen drogreden bevat. Deze stap beoogt het redeneerproces expliciet te maken.
Stap 2: Patroonextractie: Met behulp van OpenAI's reasoning model o4-mini extraheert het systeem patronen uit de zinnen en de gegenereerde verklaringen. Het model krijgt de instructie om:
- Functiewoorden (preposities, bijwoorden) te behouden.
- Inhoudswoorden te abstraheren naar placeholders (bijv. X, Y, Z) terwijl de oorspronkelijke redeneervorm behouden blijft.
- Terugkerende lexicale schema's en syntactische deeltjes te vangen die een drogredelijke intentie overbrengen.
- Nieuwe definities van drogredenen af te leiden op basis van deze patronen.

De resulterende patronen combineren logische structuur (variabelen) met concrete linguïstische kenmerken (specifieke zinsdelen, geladen termen).

2. Experimentele Opzet

Het framework werd geëvalueerd op drie datasets:

LOGIC: 2.449 voorbeelden over 13 typen drogredenen (educatieve dialogen).
REDDIT: Drogredelijke reacties uit diverse subreddits.
ELECDEBATE: Transcripten van Amerikaanse presidentiële debatten op televisie.

Baselines en Configuraties:
De studie vergeleken de voorgestelde methode met verschillende baselines en prompting-strategieën:

Zero-Shot: Alleen de namen van de drogredenen verstrekken.
Definities (DEF): Gebruik van handmatig gecureerde of door LLM gegenereerde definities.
Logische Vormen: Gebruik van door experts ontworpen logische vormen van logicallyfallacious.com.
LLM-Afgeleide Patronen: Gebruik van de geëxtraheerde structurele patronen (PATTERNS) en definities (NEW DEF).
One-Shot Varianten: Inclusief statische voorbeelden, voorbeelden met verklaringen, en dynamische retrieval gebaseerd op semantische of syntactische gelijkenis.
Multi-Step Classificatie: Een chain-of-thought benadering waarbij het model een logische vorm genereert, deze koppelt aan een patroon en vervolgens classificeert.

Experimenten werden uitgevoerd over zes verschillende LLM's (waaronder gpt-4o, o4-mini, deepseek-r1, llama-3.3-70B, etc.) om de robuustheid en de impact van redeneercapaciteiten te beoordelen.

Belangrijkste Bijdragen

Geautomatiseerde Patroonextractie: Een nieuw framework dat LLM's gebruikt om inductief structurele patronen te extraheren uit drogredelijke voorbeelden en verklaringen, waarmee men verder gaat dan handmatig ontworpen templates.
Inference-Only Classificatie: Een methode die een hoge prestatie behaalt zonder fine-tuning, door gebruik te maken van gegenereerde patronen en prompting-strategieën (inclusief one-shot en dynamische retrieval).
Cross-Dataset Validatie: Demonstratie dat patronen geëxtraheerd uit één domein (LOGIC) effectief generaliseren naar diverse domeinen (REDDIT, ELECDEBATE) en argumentatiestijlen.

Resultaten

De experimenten op de LOGIC-dataset leverden de volgende belangrijke bevindingen op:

Prestatiewinst: De voorgestelde aanpak presteerde significant beter dan zero-shot baselines en concurrerende unsupervised methoden.
- gpt-4o met PATTERNS bereikte 73,5% nauwkeurigheid.
- o4-mini met DYNAMIC + EXP + PATTERNS bereikte 74,2% nauwkeurigheid.
- Deze resultaten vertegenwoordigen een verbetering van 8,2% ten opzichte van door experts ontworpen logische vormen en een gemiddelde verbetering van 10,7% ten opzichte van handmatig ontworpen schema's (Robbani et al., 2024).
Reasoning Modellen: Modellen met expliciete redeneercapaciteiten (bijv. o4-mini, gpt-4o) vertoonden consequent superieure prestaties vergeleken met niet-reasoning modellen.
Dynamische Prompting: Dynamische one-shot prompting (het ophalen van gelijkaardige voorbeelden) zorgde voor aanzienlijke winst (een stijging van ongeveer 8,87%) ten opzichte van statische one-shot benaderingen.
Generalisatie:
- Op REDDIT presteerden LOGIC-afgeleide patronen beter dan concurrerende benaderingen en behaalden ze resultaten die vergelijkbaar zijn met patronen die direct uit de dataset zijn geëxtraheerd.
- Op ELECDEBATE presteerde dynamische retrieval het best, hoewel LOGIC-afgeleide patronen nog steeds een robuuste generalisatie vertoonden.
- Cross-dataset tests bevestigden dat patronen gegenereerd uit REDDIT en ELECDEBATE effectief drogredenen in LOGIC konden classificeren, wat de overdraagbaarheid van de methode valideert.

Foutanalyse

Groep 1 vs. Groep 2: De modellen presteerden significant beter op drogredenen met duidelijke structurele kenmerken (Groep 1, bijv. Circulaire Redenering, Ad Hominem) vergeleken met die die sterk leunen op genuanceerd semantisch begrip (Groep 2, bijv. Red Herring, Emotionele Taal).
Ambiguïteit: Sommige argumenten komen overeen met meerdere structurele patronen, wat ambiguïteit creëert. De studie merkte op dat hoewel patroonmatching effectief is, het een contextbewuste toepassing vereist om gevallen op te lossen waarin structurele uitlijning alleen onvoldoende is.
Beperkingen van Multi-Step: De multi-step classificatiebenadering (genereer vorm $\to$ match patroon $\to$ classificeer) presteerde minder goed dan directe patroonmatching, wat suggereert dat huidige LLM's moeite hebben om de kloof tussen abstracte logische vormen en inhoudsafhankelijke manifestaties binnen een enkele chain of thought te overbruggen.

Betekenis en Claims

Het paper claimt dat datagestuurde patroonextractie een effectieve methode is voor het genereren van generaliseerbare logische representaties voor drogredendetectie. De auteurs stellen dat:

Het samenvoegen van abstracte logische structuren met contextuele linguïstische aanwijzingen gunstig is voor classificatie, met name voor informele drogredenen.
LLM's succesvol deze representaties inductief kunnen extraheren zonder de noodzaak voor dure fine-tuning.
De resulterende patronen niet gebonden zijn aan een vaste set drogredenen en kunnen adapteren aan intra-klasse variaties, wat een flexibeler alternatief biedt voor handmatig ontworde schema's.

De studie concludeert dat hoewel puur abstracte representaties onvoldoende zijn, het voorgestelde framework erin slaagt om logische structuren met linguïstische aanwijzingen te combineren om de automatische detectie van drogredenen over diverse domeinen heen significant te verbeteren.