💬 NLP

Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales

Dit paper introduceert een raamwerk dat annotator-specifieke rationales integreert om zowel labelvoorspellingen als uitleg te modelleren, waarbij een voorafgeplaatste brug-architectuur stabielere labeluitlijning en hogere semantische consistentie bereikt dan bestaande perspectivistische modellen.

Oorspronkelijke auteurs: Olufunke O. Sarumi, Charles Welch, Daniel Braun

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Olufunke O. Sarumi, Charles Welch, Daniel Braun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep mensen vraagt om een kort verhaal te lezen en te zeggen of het waar is, niet waar, of niet te zeggen.

In de wereld van kunstmatige intelligentie (AI) doen computers vaak hetzelfde. Maar hier is het probleem: als tien mensen dat verhaal lezen, zullen ze misschien allemaal een ander antwoord geven. De ene zegt "waar", de andere "niet te zeggen".

Vroeger dachten onderzoekers: "Oké, laten we gewoon kijken wat de meerderheid zegt en dat als het 'echte' antwoord gebruiken." Maar dit nieuwe paper zegt: "Nee, wacht even! Dat is niet eerlijk."

Elke persoon heeft een eigen kijk op de wereld, gebaseerd op hun achtergrond, leeftijd of ervaring. Dat is niet per se een fout; het is gewoon een perspectief.

Hier is wat deze onderzoekers hebben gedaan, vertaald in een simpel verhaal:

1. Het Probleem: De "Stemmen" van de Mensen

Stel je voor dat je een klas hebt met vier leerlingen (de annotators). Ze moeten een zin beoordelen.

Leerling A is een jonge student uit China.
Leerling B is een oudere professor uit Duitsland.
Leerling C en D zijn ook studenten.

Als ze een zin over technologie beoordelen, zeggen ze misschien allemaal "waar", maar waarom?

Leerling A denkt: "Ja, want technologie helpt mensen."
Leerling B denkt: "Ja, maar alleen als het veilig is."

De AI moet niet alleen het antwoord ("waar") voorspellen, maar ook begrijpen waarom die specifieke leerling dat antwoord gaf. Dat noemen ze rationales (redenen).

2. De Oplossing: Twee Manieren om de AI te Leren

De onderzoekers hebben een slimme manier bedacht om de AI te leren niet alleen het antwoord, maar ook de reden van elke specifieke persoon te voorspellen. Ze hebben twee methoden getest:

Methode 1: De "Nabootser" (Post-hoc Explainer)

Stel je voor dat je de AI eerst laat raden wat het antwoord is. Daarna zeg je tegen de AI: "Oké, je hebt gezegd dat het 'waar' is. Nu moet je een reden bedenken die klinkt als die van Leerling A."
De AI kijkt dan naar een tekstje met de instructie: "Je bent Leerling A, een jonge Chinese student. Geef een reden."

Voordeel: De AI leert goed om woorden te gebruiken die lijken op die van de mens.
Nadeel: Het is alsof de AI pas na het raden nadenkt over de reden. De twee stappen zijn los van elkaar.

Methode 2: De "Brugbouwer" (Prefixed Bridge Explainer)

Dit is de slimme, nieuwe methode. Stel je voor dat de AI een geheime brug bouwt tussen haar "brein" (waar ze het antwoord bedacht) en haar "mond" (waar ze de reden uitspreekt).
In plaats van pas na het raden te denken, sturen ze de gevoelens en gedachten die de AI had terwijl ze het antwoord bedacht, direct door naar het gedeelte dat de tekst schrijft.

Voordeel: De reden die de AI schrijft, komt direct voort uit hoe ze het antwoord zag. Het voelt veel natuurlijker en "echter". Het is alsof de AI denkt en spreekt in één adem.

3. Wat Vonden Ze? (De Resultaten)

Ze hebben dit getest met een dataset genaamd VariErrNLI (een verzameling van 500 verhalen met de antwoorden en redenen van vier verschillende mensen).

De "Brugbouwer" (Methode 2) was de winnaar: De AI gaf niet alleen het juiste antwoord, maar de redenen die ze schreven, pasten perfect bij de manier waarop de echte mensen dachten. Het was alsof de AI echt in het hoofd van die specifieke persoon kroop.
De "Nabootser" (Methode 1) deed het ook goed: Ze gebruikten woorden die erg leken op die van de mensen (lexicale gelijkenis), maar de diepere betekenis was soms wat minder scherp.
Belangrijkste les: Als je de AI leert om de redenen van mensen te begrijpen, wordt de AI ook beter in het voorspellen van het antwoord zelf! Het is een win-win situatie.

4. Waarom is dit belangrijk?

Vroeger zagen AI-onderzoekers verschillen tussen mensen als "ruis" of "fouten" die we moesten weggooien.
Dit paper zegt: "Nee, die verschillen zijn de hele tijd het verhaal!"

Door de AI te leren om de persoonlijke redenen van elke gebruiker te begrijpen, maken we AI-systemen:

Eerlijker: Ze erkennen dat er niet één "waarheid" is, maar veel perspectieven.
Betrouwbaarder: Ze kunnen uitleggen waarom ze iets zeggen, vanuit het oogpunt van de gebruiker.
Menselijker: Ze begrijpen dat een 22-jarige student en een 33-jarige professor misschien hetzelfde antwoord geven, maar om heel verschillende redenen.

Kort samengevat:
De onderzoekers hebben een AI gebouwd die niet alleen weet wat je denkt, maar ook hoe je denkt. Ze hebben een brug gebouwd tussen het antwoord en de reden, zodat de AI niet als een robot klinkt die een antwoord raden, maar als een mens die echt begrijpt waarom jij dat antwoord hebt gekozen.

Probleemstelling

Traditionele NLP-systemen (Natural Language Processing) streven vaak naar één consensuslabel per taak, waarbij menageert dat annotatoren het oneens kunnen zijn. Het perspectivistisch NLP (Perspectivist NLP) benadrukt echter dat annotaties de specifieke oordelen van individuele annotatoren moeten reflecteren, gezien verschillen in achtergrond, interpretatie en socio-demografische factoren.

Hoewel bestaande perspectivistische benaderingen labels per annotator modelleren, blijven de redenen (rationales) achter deze labels vaak abstract of worden ze slechts indirect gebruikt. De meeste methoden modelleren perspectieven via linguïstische signalen of metadata (zoals ID's of demografie), maar integreren zelden de door de mens geschreven verklaringen expliciet in het model. Dit leidt tot een gebrek aan nuance: twee annotatoren kunnen hetzelfde label geven, maar om fundamenteel verschillende redenen. Het artikel stelt dat het modelleren van deze uitleggen essentieel is voor een eerlijke weergave van meningsverschillen en voor het bouwen van betrouwbare, interpreteerbare systemen.

Methodologie

De auteurs stellen een raamwerk voor dat annotator-specifieke labelvoorspelling en de bijbehorende uitleggen (rationales) gezamenlijk modelleert. Ze gebruiken het VariErrNLI-dataset, dat gedesaggregeerde Natural Language Inference (NLI)-labels bevat (Entailment, Neutral, Contradiction) samen met door annotatoren geschreven uitleggen.

Het raamwerk bestaat uit twee hoofdcomponenten:

Annotator-bewuste Classificatie (User Passport):
- Een classifier (gebaseerd op DeBERTa-v3-base) die labels voorspelt voor specifieke annotatoren.
- In plaats van de invoer tekst te wijzigen, wordt de User Passport-methode gebruikt. Hierbij worden de identiteit van de annotator (via een leerbaar embedding) en hun demografische metadata (geslacht, leeftijd, nationaliteit, opleiding) op representatieniveau gefuseerd met de contextuele representatie van de tekst.
- Dit creëert een specifieke vector $z_{ij}$ die zowel de tekstinhoud als de perspectief van de annotator vastlegt.
Annotator-geconditioneerde Uitleggeneratie:
De auteurs vergelijken twee architecturen voor het genereren van de rationale ( $r_a$ ):
- Post-hoc Prompt-based Explainer: Een standaard encoder-decoder model (Flan-T5) dat uitleggen genereert op basis van een tekstuele prompt. De prompt bevat de context, het statement, de gold-labels, de annotator-persoonlijkheid (metadata) en een speciaal "control token" voor de annotator-ID. De voorspellingen van de classifier worden als tekst in de prompt ingevoegd. Er is geen differentieerbare verbinding tussen de classifier en de explainer.
- Prefixed Bridge Explainer: Een meer geïntegreerde aanpak. De interne, geconditioneerde representatie ( $z_{ij}$ ) van de classifier wordt via een kleine neurale "Bridge" (een 2-laags MLP) omgezet in een reeks prefix-embeddings. Deze prefixen worden aan de invoer van de T5-encoder toegevoegd voordat de encoding plaatsvindt. Hierdoor wordt de generatie direct gestuurd door de interne representaties van de classifier, wat een sterkere koppeling tussen voorspelling en uitleg creëert.

Belangrijkste Bijdragen

Integratie van Rationales: Het is een van de eerste werken dat annotator-specifieke uitleggen expliciet modelleert als een uitdrukking van perspectief, in plaats van ze slechts als post-hoc rechtvaardiging te behandelen.
Architecturale Innovatie: De introductie van de Prefixed Bridge architectuur, die de interne representaties van een classifier direct doorgeeft aan een generatief model, waardoor de uitleg beter afgestemd is op de onderliggende redenering van het model.
Dataset Gebruik: Het toepassen van het VariErrNLI-dataset voor perspectivistisch modelleren, waarbij gebruik wordt gemaakt van zowel label-disagreement als de bijbehorende menselijke uitleggen.
Perspectivistische Explainability: Het verschuiven van focus van het verklaren van modelbeslissingen naar het modelleren van menselijke redeneringen.

Resultaten

De experimenten tonen aan dat het modelleren van uitleggen de voorspellende prestaties aanzienlijk verbetert ten opzichte van een baseline (User Passport classifier zonder uitleggeneratie):

Voorspellende Prestatie: Beide explainer-methoden verbeteren de Macro-F1-score aanzienlijk (van 70.5 naar >92). De Prefixed Bridge Explainer behaalt de hoogste scores (Macro-F1: 93.9, Exact Match: 92.4), wat wijst op een sterkere overeenstemming met de gouden labels.
Kwaliteit van Uitleggen:
- De Post-hoc Explainer presteert iets beter op ROUGE-L (lexicale overlap), wat suggereert dat de gegenereerde tekst meer lijkt op de referentie-uitdrukkingen.
- De Prefixed Bridge Explainer presteert beter op Semantische Similariteit. Dit betekent dat de gegenereerde uitleggen qua betekenis beter aansluiten bij de rationale, zelfs als de woordkeuze verschilt.
Stabiliteit: De Prefixed Bridge benadering toont stabielere prestaties over verschillende annotatoren heen, vooral bij annotatoren met minder consistente uitleggen. De kwalitatieve analyse toont aan dat de Bridge-explainer beknoptere en directer gefundeerde uitleggen produceert die beter aansluiten bij de kern van de voorspelling, terwijl de Post-hoc methode soms meer verbaal en minder gefocust is.

Betekenis en Conclusie

De studie concludeert dat het gezamenlijk modelleren van labels en uitleggen een rijkere en waarheidsgetrouwere weergave van meningsverschillen biedt. Door uitleggen niet als een naderende stap, maar als een integraal onderdeel van het perspectief te behandelen, kunnen systemen de nuance in menselijke oordelen beter vastleggen.

De Prefixed Bridge architectuur blijkt de meest effectieve methode om de relatie tussen voorspelling en redenering te behouden, wat leidt tot semantisch consistentere en betrouwbaardere systemen. Dit werk vormt een belangrijke stap in de richting van transparante, perspectief-gevoelige NLP-systemen die de diversiteit van menselijke interpretaties respecteren en modelleren, in plaats van ze te reduceren tot een enkel gemiddeld antwoord. De auteurs wijzen echter op beperkingen, zoals de kleine dataset en het gebrek aan gecontroleerde demografische variatie, en pleiten voor toekomstig onderzoek met grotere datasets en mogelijke ensemble-methoden.