Technische Samenvatting: Neurosymbolisch Leren voor Argumentatie tijdens Inference

Probleemstelling

Claimverificatie is een kritieke taak in hoog-risicodomeinen zoals gezondheidszorg, financiën en wetenschappelijke ontdekking. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken op dit gebied, is standaard binaire classificatie (Waar/Niet Waar) vaak onvoldoende wanneer onderliggende informatie onvolledig of tegenstrijdig is. In dergelijke gevallen is een "Onzeker" oordeel geschikter dan een geforceerde binaire beslissing. Bovendien moeten in hoog-risicobestellingen de verklaringen voor deze oordelen trouw zijn—wat betekent dat het redeneerproces de factoren die de uiteindelijke beslissing bepalen, werkelijk moet weerspiegelen, in plaats van te vertrouwen op post-hoc rationalisaties die mogelijk niet trouw zijn aan de interne logica van het model.

Bestaande benaderingen behandelen argumentatie vaak als een uitleglagen tijdens inference of vertrouwen op kant-en-klare LLM's om argumenten te genereren zonder deze te optimaliseren voor de specifieke verificatietaken. Bovendien richten veel versterkingsleerbenaderingen (RL) voor redeneren zich op taken met verifieerbare, deterministische uitkomsten (bijvoorbeeld wiskunde), en slagen ze er niet in om de inherente onzekerheid van claimverificatie aan te pakken, waarbij uitkomsten dubbelzinnig kunnen zijn.

Methodologie: Argumentatie tijdens Inference (ITA)

De auteurs introduceren Argumentatie tijdens Inference (ITA), een trainbaar neurosymbolisch raamwerk ontworpen voor ternaire claimverificatie (Waar, Niet Waar, Onzeker). In tegenstelling tot eerdere methoden die argumentatie uitsluitend gebruiken voor uitleg, integreert ITA formele argumentatiese semantics direct in de trainingslus om zowel argumentgeneratie als scoring te sturen.

Kernraamwerk

Het systeem werkt op Kwantitatieve Bipolaire Argumentatieramenwerken (QBAF's):

1. Argumentgeneratie: Een LLM (geparameteriseerd door $\theta$) genereert een set ondersteunende ($S_c$) en aanvallende ($T_c$) argumenten voor een gegeven claim $c$. De claim zelf wordt behandeld als een argument $a_c$.
2. Toewijzing van Basisscore: Een leerbare Basisscoremodel (BSM) (geparameteriseerd door $\phi$) wijst een intrinsieke sterkte (basisscore) $\tau(a) \in [0, 1]$ toe aan elk gegenereerd argument. De basisscore van de claim is vastgesteld op een neutrale prior van 0,5.
3. Semantische Aggregatie: Een deterministische argumentatiese semanticsfunctie, DF-QuAD, aggregeert de basisscores en de ondersteunings/aanvalsrelaties om een uiteindelijke argumentatieve sterkte $\hat{v}_c = \sigma(a_c)$ voor de claim te berekenen.
4. Afleiding van Oordeel: De uiteindelijke sterkte wordt omgezet in een ternair oordeel met behulp van vaste drempels:
   • Niet Waar: $\hat{v}_c \leq 1/3$
   • Waar: $\hat{v}_c \geq 2/3$
   • Onzeker: $1/3 < \hat{v}_c < 2/3$

Trainingsstrategieën

ITA maakt gebruik van twee verschillende trainingsfasen om de componenten te optimaliseren:

1. Zwak toezicht leren voor Basisscores (BSM):

   • Priming-fase: De regressiehead van de BSM wordt geïnitieerd met behulp van toezichtleren op tripels van (claim, argument, basisscore), waarbij scores worden gegenereerd door een basis-LLM te prikken.
   • Semantische Verliesfase: De BSM wordt fijngekalibreerd met behulp van een neurosymbolische verliesfunctie. Het verlies is de Gemiddelde Kwikfout (MSE) tussen de voorspelde claimsterkte (afgeleid via DF-QuAD) en het grondwaarheid-label (omgezet naar 0, 0,5 of 1). Omdat DF-QuAD differentieerbaar is, kunnen gradiënten via de semantics worden teruggepropageerd om de BSM bij te werken.
   • Auxiliaire Verliezen: Om lokale eigenschappen te verbeteren, introduceren de auteurs Consistentieverlies (minimaliseren van variantie voor semantisch equivalente argumenten) en Rankingverlies (afdwingen van een vooraf gedefinieerde ordening van argumentkwaliteit).

2. Versterkingsleren voor Argumentgeneratie:

   • De argumentgenerator wordt geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO).
   • Beloningsfunctie: De beloning is afgeleid van de uiteindelijke claimsterkte $\hat{v}_c$ geproduceerd door de BSM en DF-QuAD. Het biedt maximale beloning voor sterktes die binnen het juiste classificatie-interval vallen (bijvoorbeeld hoge sterkte voor "Waar"-labels) en lineair afnemende beloningen naarmate de sterkte zich verwijdert van de juiste drempel. Dit zet de argumentatiese semantics om in een trainingsignaal, waardoor de generator wordt aangemoedigd argumenten te produceren die leiden tot juiste oordelen.

Belangrijkste Bijdragen

1. Trainbaar Neurosymbolisch Raamwerk: De introductie van ITA, die de rol van argumentatie uitbreidt van een statische uitleglagen tijdens inference naar een dynamische leerverbinding waar semantics het modeltrainen sturen.
2. Optimalisatiestrategieën: De voorstellen van twee nieuwe trainingsstrategieën:
   • Het leren van basisscores via downstream argumentatieve oordelen in plaats van uitsluitend te vertrouwen op statische LLM-scores.
   • Het gebruik van formele argumentatiese semantics om beloningen te genereren voor versterkingsleren, en zo argumentgeneratie te optimaliseren voor de specifieke taak van claimverificatie.
3. Trouw Verklaarbaarheid: Door constructie is het uiteindelijke oordeel een deterministische functie van de gegenereerde argumenten, hun geleerde scores en de semantics. Dit zorgt ervoor dat de uitleg trouw is aan het beslissingsproces, en vermijdt de valkuilen van post-hoc redeneersporen.

Experimentele Resultaten

De auteurs hebben ITA geëvalueerd op twee ternaire claimverificatiedatasets: TFU Evaluation Claims (afgeleid van StrategyClaim en DEBATunE) en AVeriTeC (wereldwijde claims). Ze hebben ITA vergeleken met niet-argumentatieve baselines (directe voorspelling via SFT en GRPO) en argumentatieve baselines (met behulp van kant-en-klare LLM's voor argumenten en scores).

• Prestaties:

  • Basisscoremodellen: Geleerde BSM's presteerden aanzienlijk beter dan argumentatieve baselines die constante of geprikte scores gebruikten. Het best presterende BSM (getraind op door GPT-5 gegenereerde argumenten met semantische, ranking- en consistentieverliezen) behaalde 0,677 nauwkeurigheid op TFU en 0,460 gebalanceerde nauwkeurigheid op AVeriTeC, en presteerde beter dan alle trouw verklaarbare baselines en concurreerde met de sterkste directe-voorspelling baselines.
  • Argumentgeneratoren: Het trainen van de argumentgenerator via GRPO leverde gemengde maar positieve resultaten op, met lichte verbeteringen ten opzichte van niet-getrainde generators wanneer gekoppeld aan geprikte scores, hoewel de winsten minder consistent waren dan die van het trainen van de BSM.
  • Combinatie: Het combineren van een getrainde generator met een getrainde BSM leverde geen additieve verbeteringen op ten opzichte van de beste BSM alleen, wat suggereert dat de scorer is gekalibreerd op een specifieke argumentverdeling.

• Lokale Eigenschappen: Training met auxiliaire verliezen verbeterde aanzienlijk de consistentie van scores voor parafraseerde argumenten en de ranking van argumenten op kwaliteit, wat aantoont dat het raamwerk wenselijke lokale eigenschappen kan leren die verder gaan dan alleen downstream nauwkeurigheid.

Betekenis en Claims

Het artikel beweert dat ITA aantoont dat formele argumentatiese semantics kunnen dienen als een nuttig trainingsignaal voor LLM's, niet alleen als een aggregatieregel tijdens inference. Door argumentatie te integreren in de trainingslus, bereikt het systeem concurrerende prestaties met directe voorspellingsmethoden terwijl het procedurale trouw behoudt—het oordeel is expliciet afgeleid van inspecteerbare argumentatieve structuren.

De auteurs positioneren dit werk als een stap naar transparantere en betrouwbaardere AI in hoog-risicodomeinen, waar het vermogen om uit te leggen waarom een claim onzeker of onwaar is, even belangrijk is als de classificatie zelf. Ze erkennen beperkingen, waaronder het ontbreken van externe bewijsopvraging (argumenten worden gegenereerd uit modelkennis) en de beperking tot argumentatieramenwerken met diepte 1, en noteren deze als richtingen voor toekomstig werk.