Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis

Technische Samenvatting: Het Afstemmen van LLM-Onzekerheid op Menselijke Meningsverschillen in Subjectiviteitsanalyse

Probleemstelling
Huidige Large Language Models (LLM's) voor subjectiviteitsanalyse (bijvoorbeeld sentimentanalyse, sarcasmedetectie en detectie van beledigend taalgebruik) worden doorgaans getraind op geaggregeerde labels die voortvloeien uit meerderheidsstemming. Dit paradigma comprimeert de intrinsieke variaties in menselijke oordelen tot één enkel supervisiessignaal. Bijgevolg wordt de onzekerheid die inherent is aan steekproeven met lage overeenkomst genegeerd, wat vaak leidt tot oververzekerde voorspellingen en rigide beslissingsgrenzen. Deze beperking ondermijnt de betrouwbaarheid en generalisatie van het model in complexe subjectieve situaties waar semantische grenzen vaag zijn en menselijke interpretaties variëren. Het kernprobleem dat wordt aangepakt, is hoe modellen in staat kunnen worden gesteld om niet alleen labels te voorspellen, maar ook onzekerheid tot uitdrukking te brengen die de verdeling van menselijke meningsverschillen nauwkeurig weerspiegelt.

Methodologie: Het DPUA-kader
De auteurs stellen een tweefasig kader voor dat Disagreement Perception and Uncertainty Alignment (DPUA) (Waarneming van Meningsverschillen en Afstemming van Onzekerheid) wordt genoemd, om subjectiviteitsanalyse met bewustzijn van onzekerheid operationeel te maken. Het kader vereist dat modellen gezamenlijk labelvoorspelling, rationalegeneratie en schatting van vertrouwen uitvoeren.

1. Fase 1: Waarneming van Meningsverschillen (Adaptieve Ontkoppelde Leerstrategie)

   • Doel: De gevoeligheid van het model voor signalen van meningsverschillen vergroten, terwijl de prestaties van de taak behouden blijven.
   • Mechanisme: De auteurs introduceren een adaptieve ontkoppelde leerstrategie tijdens Supervised Fine-Tuning (SFT). Het trainingsdoel wordt herwogen op basis van de menselijke overeenkomstsscore ($C^h_i$) van elke steekproef.
     • Steekproeven met hoge overeenkomst: Ontvangen sterkere supervisie voor labelvoorspelling om stabiele beslissingspatronen te waarborgen.
     • Steekproeven met lage overeenkomst: Ontvangen een verhoogde gewicht voor rationalegeneratie om het model aan te moedigen signalen en bewijs gerelateerd aan meningsverschillen te leren.
   • Output: Het model leert rationales te genereren die zowel rechtvaardiging voor labels als potentiële bronnen van ambiguïteit of meningsverschillen identificeren.

2. Fase 2: Afstemming van Onzekerheid (GRPO-gebaseerde Optimalisatie)

   • Doel: Redenering met bewustzijn van onzekerheid verfijnen en de uitdrukking van vertrouwen van het model afstemmen op de verdeling van menselijke meningsverschillen.
   • Mechanisme: De auteurs maken gebruik van Group Relative Policy Optimization (GRPO). Deze fase optimaliseert het model met twee specifieke beloningscomponenten:
     • Beloning voor Redenering met Bewustzijn van Onzekerheid: Evalueert de kwaliteit van de gegenereerde rationale (rechtvaardiging van het label en identificatie van signalen van meningsverschillen) met behulp van een beoordelend model (GPT-4o-mini). De weging van deze componenten wordt dynamisch aangepast op basis van de menselijke overeenkomstsscore.
     • Beloning voor Kalibratie van Onzekerheid: Meet de discrepantie tussen de voorspelde vertrouwensverdeling van het model en de empirische verdeling van menselijke meningsverschillen met behulp van de Mean Absolute Error (MAE). Deze beloning moedigt het model aan om minder verzekerd te zijn bij steekproeven met lage overeenkomst en meer verzekerd bij die met hoge overeenkomst.
   • Optimalisatie: Het model wordt bijgewerkt door de groepsrelatieve voordeel van bemonsterde outputs te maximaliseren, wat redenering bevordert die overeenkomt met menselijke patronen van onzekerheid.

Belangrijkste Bijdragen

• Paradigmaverschuiving: Het artikel pleit voor "subjectiviteitsanalyse met bewustzijn van onzekerheid", waarbij wordt afgeweken van het aanpassen aan één enkel geaggregeerd label naar een setting waarin modellen meningsverschilsignalen moeten identificeren en gekalibreerde onzekerheid moeten uitdrukken.
• Kadervoorstel: De introductie van DPUA, een tweefasig kader dat gezamenlijk labelvoorspelling, rationalegeneratie en schatting van vertrouwen modelleert.
• Empirische Validatie: Systematische evaluatie op drie subjectiviteitsanalysetaken (sarcasmedetectie, sentimentanalyse en detectie van beledigend taalgebruik) die aantoont dat DPUA de kernprestaties van de taak behoudt, terwijl het de afstemming tussen modelonzekerheid en menselijke meningsverschillen aanzienlijk verbetert.

Experimentele Resultaten
Experimenten werden uitgevoerd op drie datasets: Conversational Sarcasm Corpus (CSC), GoEmotions (GOE) en MD-Agreement (MD), met Qwen-3 en LLaMa-3.1 als backbones.

• Afstemming van Onzekerheid: DPUA presteerde aanzienlijk beter dan baselines (zero-shot, few-shot, standaard SFT en vanilla GRPO) op metrieken voor afstemming van onzekerheid. Het verminderde de Mean Absolute Error (MAE) tussen model- en menselijke verdelingen met ongeveer 5,94% tot 8,31% en verbeterde de Pearson-correlatiecoëfficiënten met 5,13% tot 6,06% over de verschillende backbones.
• Taakprestaties: In tegenstelling tot standaard baselines met bewustzijn van onzekerheid die soms nauwkeurigheid opofferen, behield DPUA concurrerende prestaties bij labelvoorspelling, met lichte verbeteringen in Accuracy en F1-scores ten opzichte van sterke baselines.
• Mitigatie van Oververzekerdheid: Visualisatie van vertrouwensverdelingen toonde aan dat DPUA oververzekerdheid bij grensgevallen mitigeert, door intermediate waarschijnlijkheidswaarden toe te wijzen aan gevallen met lage overeenkomst, waarbij standaard SFT de neiging heeft om overdreven zeker te zijn.
• Generalisatie: In out-of-distribution (OOD) transfer-settings (bijvoorbeeld trainen op GOE en testen op CSC) toonde DPUA superieure generalisatie, met de beste of concurrerende resultaten bij zowel labelvoorspelling als afstemming van onzekerheid, wat suggereert dat de geleerde patronen met bewustzijn van onzekerheid overdraagbaar zijn.
• Uitlegbaarheid: Casestudies en evaluaties van rationales gaven aan dat DPUA informatiever en sluitender rationales genereert die ambiguïteit en potentieel menselijke meningsverschillen expliciet weerspiegelen.

Betekenis en Claims
Het artikel beweert dat het modelleren van menselijke meningsverschillen als een intrinsieke bron van onzekerheid cruciaal is voor het ontwikkelen van betrouwbare LLM's in scenario's voor subjectieve besluitvorming. Door het vertrouwen van het model af te stemmen op de daadwerkelijke verdeling van menselijke meningsverschillen, adresseert DPUA het probleem van oververzekerdheid bij grensgevallen, wat een veelvoorkomende foutmodus is in huidige systemen voor subjectiviteitsanalyse. De auteurs stellen dat hun aanpak een betrouwbaardere basis biedt voor subjectieve taken door ervoor te zorgen dat modellen onzekerheid uitdrukken op een manier die consistent is met de complexiteit van menselijke cognitie, in plaats van een vals gevoel van zekerheid af te dwingen via geaggregeerde labels. Het werk benadrukt dat afstemming van onzekerheid een onderscheiden uitdaging is ten opzichte van labelvoorspelling en specifieke architecturale en trainingsstrategieën vereist om effectief te worden bereikt.