Improving Implicit Discourse Relation Recognition with Natural Language Explanations from LLMs

Probleemstelling

Implicit Discourse Relation Recognition (IDRR) is de taak om de semantische relatie tussen twee tekstfragmenten (argumenten) te identificeren zonder dat er expliciete connectieven (zoals "maar", "omdat", "en") aanwezig zijn. Dit blijft een uitdagende taak in de Natural Language Processing (NLP) vanwege de noodzaak van diep semantisch inzicht.

De huidige methoden hebben twee belangrijke beperkingen:

1. Gebrek aan interpretatie: Bestaande modellen voorspellen alleen de relatie (bijv. "Vergelijking" of "Uitbreiding") zonder een onderbouwing of uitleg te geven. Dit beperkt het vertrouwen van gebruikers en de transparantie van het model.
2. Beperkingen van LLM's: Hoewel Large Language Models (LLM's) sterke redeneervermogens en uitleggeneratie hebben, presteren ze vaak slechter dan gespecialiseerde, lichtgewicht modellen die zijn getraind op menselijk geannoteerde data, vooral wanneer ze alleen via prompting of in-context learning worden gebruikt. Daarnaast zijn LLM's te zwaar en duur voor implementatie in low-resource omgevingen.

De centrale vraag is: Kunnen we de redeneervermogens van LLM's distilleren naar lichtgewicht modellen om zowel de prestaties als de interpretatie van IDRR te verbeteren?

Methodologie

De auteurs stellen een plug-and-play classificatie-generatie framework voor dat de redeneerkracht van LLM's overbrengt naar compacte modellen via natuurlijke taalverklaringen. De aanpak bestaat uit twee hoofdfasen:

1. Constructie van een Verklaring-verrijkt Dataset (Explanation-enhanced PDTB)

• Bron: Het gebruikte corpus is de Penn Discourse Treebank (PDTB).
• Generatie: Een krachtige LLM (in dit geval gekozen als Qwen-long na vergelijking) wordt geprompted om voor elk trainingsvoorbeeld een natuurlijke taalverklaring te genereren, gebaseerd op de gouden label (de correcte relatie).
• Prompt-strategie: Geïnspireerd op Chain-of-Thought, bestaat de prompt uit instructies, voorbeelden en de input. De gegenereerde verklaring heeft twee delen:
  1. Een herformulering van de twee argumenten.
  2. Een redenering die uitlegt waarom deze argumenten een specifieke discourse-relatie hebben.
• Kwaliteit: De gegenereerde verklaringen zijn van hoge kwaliteit (gemiddelde menselijke score 4.53/5) en vereisen minimale handmatige correctie.

2. Het Classificatie-Generatie Framework

Het voorgestelde model (EIDRR) combineert twee taken in één architectuur:

• Gedeelde Encoder: Een pre-getraind taalmodel voor taalbegrip (bijv. RoBERTa) verwerkt de invoer.
• Classificatiemodule: Voorspelt de discourse-relatie (bijv. Temporaal, Vergelijking).
• Generatiemodule: Bestaat uit een decoder (bijv. T5-decoder) gekoppeld aan een Transformer-module. Deze module is cruciaal om de mismatch op te lossen tussen de encoder (ontworpen voor begrip) en de decoder (ontworpen voor generatie).
• Training: Het model wordt getraind met multi-task learning. De totale loss functie is een gewogen som van de classificatie-verlies ($L_c$) en het generatie-verlies ($L_g$):
  $$L_{total} = \alpha L_c(y, \hat{y}) + \beta L_g(e, \hat{e})$$
  Waarbij $y$ het echte label is en $e$ de gegenereerde verklaring. De auteurs gebruiken een twee-fasen training: eerst focus op generatie ($\beta > \alpha$), daarna verschuiving naar classificatie ($\alpha > \beta$).

Belangrijkste Bijdragen

1. Interpreteerbare IDRR: Eerste poging om IDRR modellen te maken die niet alleen een label voorspellen, maar ook een menselijk leesbare, onderbouwde verklaring genereren.
2. Distillatie van LLM-kracht: Een effectieve methode om de redeneerpatronen van grote LLM's te distilleren naar lichtgewicht modellen via gegenereerde uitleg.
3. Plug-and-Play Architectuur: Het framework kan eenvoudig worden geïntegreerd met bestaande IDRR-modellen (zowel op basis van prompts als classificatie) door simpelweg een Transformer-module en een generatiecomponent toe te voegen.
4. Generaliseerbaarheid: De methode is niet beperkt tot IDRR; het is succesvol toegepast op Sentiment Classificatie (ATSC) en Natural Language Inference (NLI).

Resultaten

De experimenten zijn uitgevoerd op de PDTB-dataset en vergeleken met state-of-the-art baselines.

• Prestaties IDRR:

  • Het EIDRR-model bereikte een Accuracy van 73,14% en een F1-score van 68,01%.
  • Dit is een significante verbetering ten opzichte van de beste bestaande methoden (zoals Discoprompt met 71,70% Acc) en veruit superior aan pure LLM's zonder fine-tuning (ChatGPT: 50,24% Acc).
  • Het toevoegen van de verklaringstaak verbeterde de prestaties met ongeveer 1,34% in Accuracy en 1,14% in F1 ten opzichte van een model zonder uitleggeneratie.

• Kwaliteit van Verklaringen:

  • Menselijke evaluatie gaf een gemiddelde score van 4,20/5 voor de gegenereerde verklaringen.
  • 93% van de verklaringen scoorde 3 of hoger.
  • De verklaringen waren zeer vloeiend (97,13% perfecte score) en feitelijk accuraat (98,57% scoorde 1 of hoger).

• Betrouwbaarheid (Faithfulness):

  • Tests met Feature Importance Agreement en Robustness Equivalence toonden aan dat de gegenereerde verklaringen daadwerkelijk de redeneerprocessen van het model weerspiegelen. Het verwijderen van belangrijke features voor classificatie had een grotere impact op de nauwkeurigheid dan willekeurig verwijderen, wat aantoont dat de uitleg en de voorspelling consistent zijn.

• Generaliseerbaarheid:

  • Op ATSC en NLI-taken leverde de methode ook verbeteringen op (ongeveer 1% tot 1,85% stijging in Accuracy) en hoge scores voor menselijke evaluatie van de uitleg.

Betekenis en Conclusie

Dit paper toont aan dat het combineren van classificatie en generatie van natuurlijke taalverklaringen een krachtige strategie is. Door de redeneerkracht van LLM's te distilleren in lichtgewicht modellen, wordt niet alleen de nauwkeurigheid van IDRR verbeterd, maar wordt het model ook transparanter en betrouwbaarder voor gebruikers. De "plug-and-play" aard van de oplossing maakt het een praktische toevoeging voor bestaande NLP-systemen, met potentie voor bredere toepassing in andere domeinen waar interpretatie en redenering cruciaal zijn.