From Prediction to Justification: Aligning Sentiment Reasoning with Human Rationale via Reinforcement Learning

Probleemstelling

Hoewel Aspect-based Sentiment Analysis (ABSA) systemen hoge nauwkeurigheid bereiken bij het identificeren van sentimentpolariteiten, functioneren ze vaak als "black boxes". Ze missen de expliciete redeneercapaciteiten die kenmerkend zijn voor menselijke affectieve cognitie. Mensen categoriseren sentiment niet alleen; ze construeren causale verklaringen voor hun oordelen. Bestaande modellen, zelfs Large Language Models (LLMs) die via instructie-tuning zijn getraind, voorspellen labels zonder menselijk begrijpbare onderbouwing. Dit gebrek aan transparantie beperkt de interpretabiliteit en het vertrouwen in real-world toepassingen. De kernvraag is hoe LLMs kunnen worden toegerust om expliciet de menselijke redeneerprocessen te leren die leiden tot sentimenttoewijzingen.

Methodologie: ABSA-R1

De auteurs stellen ABSA-R1 voor, een nieuw framework gebaseerd op een LLM dat is getraind met Versterkend Leren (Reinforcement Learning - RL). Het model volgt een cognitief paradigma van "reden voor het voorspellen" (reason-before-predict), waarbij het eerst een natuurlijke taalredenering genereert voordat het een definitief sentimentlabel of een triplet (aspect, mening, sentiment) voorspelt.

De architectuur en trainingsstrategie omvatten drie kerncomponenten:

1. Cognitief Uitgelijnde Beloning (Sentiment-Aware Reward Model):
   Om te voorkomen dat het model oppervlakkige patronen exploiteert ("reward hacking"), wordt een regelgebaseerde beloningsfunctie ontworpen die twee aspecten combineert:

   • Format Beloning ($R_f$): Zorgt voor structurele coherentie. Het model moet specifieke tags (zoals <thought> en <answer>) gebruiken en logische overgangen (bijv. "eerst", "daarom") tonen.
   • Antwoord Beloning ($R_a$): Evalueert de nauwkeurigheid van de uiteindelijke voorspelling. Voor extractietaken (AOSTE) wordt een zachte F1-score gebruikt met een straf voor hallucinaties of ontbrekende elementen.
     De totale beloning is een gewogen som: $R = \lambda \cdot R_f + (1-\lambda) \cdot R_a$.

2. Performance-Driven Rejection Sampling (PRS):
   Dit is een meta-cognitieve filterstrategie. Tijdens het trainingsproces worden meerdere generaties (trajecten) gegenereerd voor een invoer.

   • Als een generatie volledig correct is, wordt deze verworpen (niet gebruikt voor training).
   • Alleen generaties die fouten bevatten (onjuiste redenering of voorspelling) worden behouden voor het updaten van het beleid.
     Dit dwingt het model om specifiek te leren van zijn eigen fouten en zich te richten op moeilijke, ambiguïteit bevattende gevallen.

3. Trainingsdoel:
   Het model wordt getraind met een verbeterde variant van Generalized Reward Policy Optimization (GRPO). De doelstelling is om de kansverdeling te optimaliseren op basis van de genormaliseerde voordelen (advantage) van de gegenereerde trajecten, waarbij de focus ligt op het verbeteren van de redeneerkwaliteit.

Belangrijkste Bijdragen

• ABSA-R1 Framework: Een RL-gebaseerd LLM dat expliciet menselijke sentimentredenering nabootst door voorspellingen te onderbouwen met interpreteerbare, natuurlijke taal-justificaties.
• Nieuwe Beloningsmechanismen: Introductie van een Cognition-Aligned Reward Model dat de synchronisatie tussen redenering en voorspelling garandeert, gecombineerd met een Performance-Driven Rejection Sampling strategie om robuustheid op moeilijke gevallen te vergroten.
• State-of-the-Art (SOTA) Prestaties: Het bereiken van nieuwe topprestaties op zowel Aspect-Based Sentiment Classification (ABSC) als Aspect-Opinion-Sentiment Triplet Extraction (AOSTE) op meerdere benchmarks, met een aanzienlijke verbetering ten opzichte van niet-redenerende baselines.

Experimentele Resultaten

De prestaties zijn getest op vier SemEval-benchmarks (Lap14, Rest14, Rest15, Rest16).

• AOSTE (Triplet Extractie): ABSA-R1 behaalde een gemiddelde F1-score van 80.04. Dit is een verbetering van 9.02 punten ten opzichte van de beste gestructureerde baseline (TAGS) en 4.26 punten ten opzichte van de beste LLM-baseline (Qwen2.5-7B). Het model presteerde vooral sterk op complexe datasets zoals Rest15 (84.81 F1).
• ABSC (Sentiment Classificatie): Het model behaalde een gemiddelde nauwkeurigheid van 89.95 en een F1-score van 80.88, wat een significante verbetering is ten opzichte van instructie-getrainde baselines (zoals InstructSFT).
• Ablatie Studies:
  • Het verwijderen van PRS leidde tot een dramatische daling in prestaties (bijv. -10 punten op Lap14), wat aantoont dat het leren van fouten cruciaal is.
  • Het verwijderen van de Sentiment-Aware Reward (SAR) resulteerde ook in lagere scores, wat bevestigt dat de koppeling tussen redenering en voorspelling essentieel is voor kwaliteit.
• Menselijke Evaluatie: Bij een kwalitatieve evaluatie van 50 willekeurige voorbeelden bleek 94.0% van de gegenereerde redeneerketens logisch correct en feitelijk consistent met de invoer.

Significantie en Conclusie

Dit werk vormt een doorbraak in interpreteerbare NLP door de kloof te overbruggen tussen machine-voorspelling en menselijk begrip. In plaats van alleen een label te geven, leert ABSA-R1 het "waarom" achter een sentiment te articuleren. Door het simuleren van "Systeem 2"-denken (langzaam, analytisch redeneren) via RL, creëert het model niet alleen nauwkeurigere resultaten, maar ook transparante en betrouwbare besluitvormingsprocessen. Dit is een belangrijke stap richting affectieve computing-systemen die beter aansluiten bij menselijke cognitie en vertrouwen.