Technical Report -- A Context-Sensitive Multi-Level Similarity Framework for First-Order Logic Arguments: An Axiomatic Study

Probleemstelling

Formele argumentatie (formal argumentation) richt zich vaak op het structureren van argumenten en het bepalen van hun acceptabiliteit. Een groeiende uitdaging in dit domein is het kwantificeren van de gelijksoortigheid (similarity) tussen argumenten. Bestaande methoden zijn voornamelijk gericht op propositionele logica, wat beperkingen oplevert voor complexere redeneringen die een rijkere structuur vereisen.

In de Eerste Orde Logica (FOL) moeten argumenten gestructureerde inhoud bevatten (predicaten, variabelen, quantoren). Bestaande benaderingen voor FOL kampen met twee grote problemen:

1. Syntactische nabijheid: Ze hebben moeite om semantische gelijkenissen te vangen die niet direct in de syntaxis terug te vinden zijn.
2. Schaalbaarheid: Methoden die variabele instantiatie vereisen, lopen vast in combinatorische explosies, vooral in open domeinen (zoals natuurlijke taal).

Daarnaast is er behoefte aan methoden die contextgevoelig zijn; niet alle onderdelen van een argument zijn even belangrijk (bijv. een actie is vaak belangrijker dan een locatie), maar huidige modellen behandelen componenten vaak uniform.

Methodologie

De auteurs stellen een nieuw raamwerk voor voor het meten van gelijkenis tussen FOL-argumenten, gebaseerd op een vier-niveau parametrisch model en een contextgevoelige weging.

1. Logische Voorbereiding (CNF-transformatie)

Om schaalbaarheid te garanderen en variabele instantiatie te vermijden, worden argumenten omgezet naar Conjunctive Normal Form (CNF).

• Existentiële quantoren worden verwijderd via Skolemisatie (vervanging door Skolem-functies of -constanten).
• Hoewel Skolemisatie alleen de vervulbaarheid (satisfiability) behoudt en niet de volledige logische equivalentie, biedt het een canonieke benadering die geschikt is voor structurele vergelijking.
• Argumenten worden gedefinieerd als paren $\langle \Phi, \alpha \rangle$ (ondersteuning en claim), waarbij beide componenten in CNF zijn.

2. Het Vier-Niveau Gelijksoortigheidsmodel

Het model berekent gelijkenis op vier oplopende niveaus van abstractie:

1. Predicaten en Termen ($sim_P$): De basislaag. Hier wordt gebruikgemaakt van taalkundige modellen (zoals SBERT) voor semantische gelijkenis of strikte syntactische vergelijking.
2. Literale Gelijksoortigheid ($sim_L$): Combineert de gelijkenis van predicaten en parameters (argumenten). Er wordt onderscheid gemaakt tussen geordende (positie-afhankelijke) en ongeordende (best-match) vergelijkingen.
3. Clausule Gelijksoortigheid ($sim_C$): Vergelijkt volledige clausules (disjuncties van literalen) met behulp van een fuzzy Tversky-maatstaf. Dit maakt het mogelijk om gedeeltelijke overeenkomsten te meten.
4. Formule/Argument Gelijksoortigheid ($sim_S$ en $sim_{Arg}$): Aggregeert clausule-gelijksoortigheden naar het niveau van hele argumenten (ondersteuning en claim), gewogen door een parameter $\eta$.

3. Contextgevoelige Weigting

Een kerninnovatie is de integratie van contextuele gewichten ($w_p$ voor predicaten, $w_c$ voor clausules).

• In plaats van alle elementen gelijk te wegen, kunnen gebruikers (of toekomstige leermethoden) specifieke elementen als belangrijker markeren (bijv. het predicaat "Tease" weegt zwaarder dan "AtLocation").
• Dit zorgt voor een verklarebare (explainable) gelijkenisberekening, waarbij de bijdrage van elk component transparant is.

4. Axiomatische Grondslag

Het raamwerk wordt getoetst aan een uitgebreide set axioma's (principes) om rationeel gedrag te garanderen, zoals:

• Maximaliteit: Een argument is maximaal gelijk aan zichzelf.
• Symmetrie: $sim(A, B) = sim(B, A)$.
• Substitutie: Als $A$ en $B$ identiek zijn, moeten ze gelijk zijn aan een derde argument $C$.
• Minimaliteit en Non-Zero: Gelijkenis moet voortkomen uit de basisniveaus (predicaten/termen).
• Monotonie en Versterking: Hoe toevoeging van informatie de totale gelijkenis beïnvloedt.

Belangrijkste Bijdragen

1. Uitgebreide Axiomatische Basis: Het definiëren en analyseren van principes specifiek voor FOL-argumenten, inclusief nieuwe principes voor "Versterking" (Reinforcement) en contextuele monotonie.
2. Gestructureerd Parametrisch Model: Een vier-laags architectuur die syntactische en semantische informatie combineert, van predicaatniveau tot het volledige argument.
3. Twee Model-families:
   • Syntax-gevoelig: Gebruikt taalmodellen (SBERT) voor semantische gelijkenis tussen symbolen (bijv. "hond" en "aap" hebben een zekere gelijkenis).
   • Syntax-onafhankelijk: Gebruikt strikte syntactische matching (gelijk = 1, anders = 0).
   • Beide families integreren contextuele gewichten voor nuance.
4. Hybride Aanpak: De combinatie van symbolische logica (FOL/CNF) met neurale netwerken (embeddings) en contextuele weging, wat zowel theoretische garanties als praktische toepasbaarheid biedt.

Resultaten en Evaluatie

De auteurs illustreren hun methode met een casestudy uit het STSb-dataset (Semantic Textual Similarity) en een scenario met dieren in de dierentuin.

• Voorbeeld: Vergelijking van "Een hond plagen een aap" vs. "Een aap plagen een hond".
  • SBERT geeft een hoge score (0.985) zonder uitleg.
  • ChatGPT-4o geeft een lagere score (0.400) met tekstuele uitleg, maar zonder kwantificering.
  • Dit model geeft een score van 0.628 (nabij de menselijke beoordeling van 0.630).
  • Verklaring: Het model herkent dat de locatie-clausules perfect overeenkomen (maar weinig gewicht hebben), terwijl de "plagen"-clausules een rolverwisseling hebben (hoge gewicht, lagere gelijkenis). De uiteindelijke score weerspiegelt deze nuance.
• Argumentvergelijking: Het model toont aan hoe de gewogen aggregatie van ondersteuning en claim de ranking van vergelijkbare argumenten kan beïnvloeden, afhankelijk van de context (bijv. in een debat versus bij het decoderen van een enthymeme).
• Theoretische Validatie: De auteurs bewijzen dat hun modellen voldoen aan 13 van de 14 voorgestelde principes (behalve "Non-Zero" in bepaalde scenario's, wat menselijke beoordelingen ook schendt).

Betekenis en Toekomstperspectief

Dit werk is significant omdat het de kloof overbrugt tussen formele logica en natuurlijke taalverwerking (NLP).

• Interpreteerbaarheid: In tegenstelling tot "black-box" embedding-methoden, biedt dit raamwerk een symbolische decompositie die precies aangeeft waarom twee argumenten als gelijkaardig worden beschouwd.
• Toepassingen: Het is veelbelovend voor argumentatie-aggregatie in graduele semantiek, het decoderen van onvolledige argumenten (enthymemen), en het clusteren van argumenten in grote datasets.
• Toekomstig werk: De auteurs plannen onderzoek naar niet-symmetrische gelijkenismaten, het automatiseren van het leren van contextuele gewichten, en uitgebreide empirische evaluaties op tekstuele benchmarks.

Kortom, dit artikel introduceert een robuust, theoretisch onderbouwd en praktisch toepasbaar raamwerk dat de complexiteit van logische argumenten in natuurlijke taal op een gestructureerde en verklarebare manier kan analyseren.