An LLM-Based System for Argument Reconstruction

Technische Samenvatting: Een op LLM gebaseerd systeem voor argumentherconstructie

Probleemstelling
Computationele argumentatie staat voor een fundamentele tweedeling. Enerzijds bieden formele Argumentatiekaders (AF's) rigoureuze, op grafieken gebaseerde structuren voor het evalueren van de aanvaardbaarheid van argumenten, maar worstelen ze met het extraheren van argumenten uit ruwe natuurlijke taal, vaak falend in het hanteren van impliciete premissen, pragmatische context en de variabiliteit van real-world discours. Anderzijds beschikken Grote Taalmodellen (LLM's) over rijke contextuele kennis en kunnen ze impliciete verbindingen identificeren, maar missen ze systematische, theoretisch onderbouwde structuren voor het representeren van argumenten. Generaties van kant-en-klare LLM's leiden vaak tot inconsistente outputs die moeilijk te vergelijken of te aggregeren zijn, terwijl traditionele argument mining-benaderingen vaak afhankelijk zijn van oppervlakkige kenmerken die diepere logische relaties missen. De kernuitdaging is deze perspectieven te overbruggen: het creëren van een systeem dat gebruikmaakt van de vloeiendheid en gezond verstand-redenering van LLM's, terwijl het zich houdt aan de structurele strengheid van formele argumentatiekaders.

Methodologie
De auteurs stellen een end-to-end op LLM gebaseerd systeem voor dat argumenten uit natuurlijke taaltekst reconstrueert tot Gerichte Acyclische Grafieken (DAG's). Het systeem maakt gebruik van een meervoudige pijplijn die is ontworpen om argumentatieve structuren stapsgewijs op te bouwen en door middel van expliciete beperkingen goed gevormde outputs te waarborgen. De pijplijn bestaat uit de volgende fasen:

1. Identificatie van argumentatieve componenten: De LLM identificeert en enumerert claims en premissen, en filtert irrelevante inhoud eruit. In tegenstelling tot op regels gebaseerde systemen, maakt het gebruik van vooraf getraind contextueel begrip om argumentatieve spanningsgebieden te onderscheiden.
2. Samenvoegen en herschrijven (optioneel): Redundante of nauw verbonden componenten worden samengevoegd om logische eenheid te waarborgen. Componenten worden herschreven om contextafhankelijke uitdrukkingen (bijvoorbeeld voornaamwoorden) op te lossen, waardoor ze zelfstandig worden.
3. Identificatie van conclusie en relaties:
   • Identificatie van conclusie: De hoofdc conclusie wordt geëxtraheerd.
   • Premisse-relatie (Recursieve strategie): Met behulp van een breedte-voorwaartse doorloop identificeert het systeem recursief premissen die een doelconclusie ondersteunen of aanvallen. Deze decompositie vermindert complexiteit en dwingt een acyclische structuur af door kandidaat-premissen te beperken tot niet-bezochte componenten.
4. Geavanceerde structurele verfijning (optioneel):
   • Controle op niet-bezochte premissen: Waarborgt dat losgekoppelde componenten worden aangehecht of samengevoegd als ze cycli vormen.
   • Gekoppelde versus convergente premissen: Onderscheidt tussen premissen die gezamenlijk een conclusie rechtvaardigen (gekoppeld) en die welke onafhankelijke redenen bieden (convergent), waarbij voor gekoppelde relaties tussenliggende knopen worden gebruikt.
   • Herstel van impliciete premissen: Identificeert en genereert ontbrekende premissen (enthymemen) die noodzakelijk zijn voor de geldigheid van het argument.
   • Onderscheid weerlegging en ondermijning: Maakt onderscheid tussen aanvallen op een premisse (weerlegging) en aanvallen op de inferentieverbinding zelf (ondermijning), waarbij voor laatstgenoemde tussenliggende knopen worden ingevoegd.
5. Grafiekconstructie en visualisatie: De uiteindelijke output is een DAG waarbij knopen componenten representeren en gerichte randen ondersteunings- of aanvalrelaties. Het systeem bevat een stap voor transductieve reductie om redundante randen te verwijderen en een diagrambouwer voor visuele inspectie.

Belangrijkste bijdragen

• Gedifferentieerd kader: Het artikel presenteert een nieuw systeem dat LLM-gedreven extractie integreert met formele argumentatiebeperkingen, waardoor de kloof tussen natuurlijke taalverwerking en formele logica effectief wordt overbrugd.
• End-to-end pijplijn: Een modulaire, meervoudige pijplijn die niet alleen componenten extrahert, maar ook complexe logische relaties (ondermijningen, gekoppelde premissen, impliciete aannames) inferreert en een DAG-structuur afdwingt.
• Nieuw dataset: De auteurs hebben een kleine, geannoteerde dataset van 42 argumenten samengesteld, afgeleid uit een leerboek over argumentatietheorie (Introduction to Argumentative Analysis van Marcus Sacrini), met diagrammen die overeenkomen met hun voorgestelde representatieschema.

Experimentele resultaten
Het systeem werd geëvalueerd via twee complementaire experimenten:

1. Interne evaluatie (Leermiddel-dataset):

   • Componentniveau: Het systeem behaalde 92,50% nauwkeurigheid bij conclusiedetectie. Span-detectie leverde een F1-score van 75,70% op, en de nauwkeurigheid van relatiedetectie was 80,57%.
   • Structuurniveau: Menselijke annotatoren beoordeelden het systeem hoog op een schaal van 1–3 voor Impliciete Premissen (2,86), Ondermijningen (2,90) en Convergente/Gekoppelde Premissen (2,85), met een hoge onderlinge overeenstemming tussen annotatoren.
   • Globaal niveau: De gegenereerde grafieken werden hoog beoordeeld voor Volledigheid (2,96) en Getrouwheid (2,92), wat aangeeft dat het systeem hoofdstructuren vastlegt zonder inhoud te hallucineren.

2. Externe evaluatie (Benchmark-datasets: AAEC en AbstRCT):

   • Bij evaluatie op standaard argument mining-benchmarks vertoonde de volledige pijplijn (inclusief span-detectie) lagere prestaties (bijvoorbeeld een F1 van 27,64 op AAEC voor componentclassificatie), voornamelijk vanwege moeilijkheden bij het exact matchen van spans in vergelijking met de grondwaarheid.
   • Echter, wanneer het systeem werd voorzien van goudstandaard-componenten (door span-detectie te omzeilen), verbeterden de prestaties aanzienlijk. Op de AbstRCT-dataset behaalde het een Link Prediction F1 van 51,51 en een Relation Detection F1 van 46,21, waarmee het de state-of-the-art baseline (Morio et al., 2022) met respectievelijk +11,77 en +7,5 overtrof. Dit suggereert dat het model de relationele structuur effectief vastlegt zodra de componenten bekend zijn.

Betekenis en claims
Het artikel claimt dat het voorgestelde systeem het potentieel demonstreert van op LLM gebaseerde pijplijnen voor schaalbare argumentherconstructie. Het herstelt succesvol argumentatieve structuren die overeenkomen met standaarden uit de argumentatietheorie, waaronder genuanceerde fenomenen zoals ondermijningen en impliciete premissen. De auteurs concluderen dat, hoewel het systeem tekstboekachtige argumenten adequaat reconstrueert en redelijke prestaties behaalt op benchmarks wanneer het wordt aangepast aan verschillende annotatieschema's, uitdagingen blijven bestaan bij componentidentificatie (span-detectie). Het werk benadrukt dat het combineren van de contextuele sterktes van LLM's met de structurele strengheid van formele kaders een haalbare weg vooruit is, hoewel er toekomstig werk nodig is om promptingsstrategieën te verfijnen en het systeem te evalueren op complexere, realistischere datasets.