The Moralization Corpus: Frame-Based Annotation and Analysis of Moralizing Speech Acts across Diverse Text Genres

Probleemstelling

Hoewel er reeds veel onderzoek is gedaan naar het modelleren van morele waarden in teksten (vaak gericht op het voorspellen van morele sentimenten of het analyseren van bias in Large Language Models - LLM's), is het pragmatische patroon van morelisering (moralization) onderbelicht. Morelisering wordt gedefinieerd als een overtuigingsstrategie waarbij morele waarden strategisch worden ingeroepen om specifieke eisen, oordelen of standpunten te rechtvaardigen.

De huidige uitdagingen zijn:

1. Complexiteit en impliciete aard: Morelisering is pragmatisch complex; de morele waarde en de daaruit voortvloeiende eis (demand) zijn vaak niet expliciet, maar impliciet en contextafhankelijk.
2. Gebrek aan gestructureerde frameworks: Bestaande computatiele studies gebruiken vaak vereenvoudigde categorische frameworks (bijv. één morele waarde per zin), wat de nuance en de interactie tussen waarden, eisen en actoren in argumentatieve discoursen niet vastlegt.
3. Subjectiviteit: Het identificeren van morelisering is inherent subjectief, wat de betrouwbaarheid van annotatie en automatische detectie bemoeilijkt.

Methodologie

De auteurs introduceren een nieuwe aanpak die bestaat uit drie hoofdbestanden: het creëren van een corpus, het ontwikkelen van een annotatieschema, en het evalueren van LLM's.

1. Het Moralization Corpus (Dataset)

• Bronnen: Een dataset van 11.503 tekstdelen (gemiddeld 83 tokens) uit zeven verschillende genres in het Duits: politieke debatten, krantenartikelen (commentaren, brieven aan de redactie, gerechtelijke verslagen), Wikipedia-discussies, interviews en non-fictie boeken.
• Data Collectie: Gebruikmakend van een meertalig woordenlijst (DIMI) met 3.000 moreel indicerende woorden, werden tekstfragmenten opgehaald.
• Selectie: Fragmenten werden geanalyseerd op het onderscheid tussen echte morelisering en neutrale vermeldingen van waarden (Neutral Value-Referring Instances - NVI's).

2. Frame-Based Annotatieschema
In plaats van alleen labels toe te kennen, wordt een moreliseringframe gedefinieerd dat de volgende constitutieve elementen koppelt:

• Morele Waarden: Gecodeerd volgens de Moral Foundations Theory (MFT): Zorg/Schade, Rechtvaardigheid/Bedrog, Loyaliteit/Verraad, Autoriteit/Subversie, Zuiverheid/Verontreiniging, en Vrijheid/Onderdrukking.
• Eisen (Demands): Duidelijke of impliciete oproepen tot actie, het nalaten van actie, of het innemen van een standpunt.
• Protagonisten: De actoren binnen het discours, gecategoriseerd naar groepstype (individuen, generiek, instituties, sociale groepen) en rol (de eisende partij, de geadresseerde, begunstigde, benadeelde).

3. Annotatieproces
Het proces was meervoudig en iteratief om subjectiviteit te beheersen:

• Identificatie: Eerst werd bepaald of een fragment een morelisering was of een NVI (Kappa = 0,71).
• Pilot & Volledige annotatie: Annotatoren (linguïsten) labelden waarden, eisen en protagonisten.
• Review & Re-annotatie: Een tweede ronde van review en een specifieke herbeoordeling van NVI's die mogelijk toch morelisering bevatten.
• Validatie: Formele checks op consistentie.

4. Experimenten met LLM's
Verschillende state-of-the-art LLM's (LLaMA, Cohere, Mistral, GPT-5, Claude) werden getest op de taak van morelisering-detectie en component-extractie.

• Prompt Engineering: Zeven verschillende prompt-configuraties werden getest, variërend van basis-instructies tot complexe prompts met Chain-of-Thought (CoT), voorbeelden (few-shot), en verplichte uitleggen.
• Evaluatie: Vergelijking van modelprestaties met menselijke annotaties (inclusief experts en studenten) en onderlinge modelovereenkomst.

Kernbijdragen

1. Het Moralization Corpus: Een uniek, multimodaal corpus van 11.503 geannoteerde fragmenten dat morelisering analyseert als een interactie tussen waarden, eisen en protagonisten, in plaats van als een statisch label.
2. Frame-Based Annotation Framework: Een gestructureerd schema dat de pragmatische en linguïstische complexiteit van morelisering vastlegt, inclusief de onderscheiding tussen expliciete en impliciete eisen en de rol van protagonisten.
3. Empirische Evaluatie van LLM's: Een uitgebreide studie naar de capaciteit van LLM's om morelisering te detecteren, met een focus op de invloed van prompt-ontwerp en de mate van overeenstemming met menselijke annotatoren.
4. Open Science: Publicatie van alle data, annotatiehandleidingen en code om interdisciplinair onderzoek te faciliteren.

Resultaten

1. Dataset Statistieken

• Morelisering is minder frequent dan neutrale vermeldingen van waarden (NVI's).
• De verdeling van morele waarden varieert per genre (bijv. Fairness/Cheating is dominant in Wikipedia-discussies, terwijl Care/Harm overal voorkomt).
• Eiselementen zijn vaak impliciet (47%), vooral in commentaren en brieven, terwijl ze in parlementaire debatten vaak expliciet zijn.
• Collectieve actoren (instituties, sociale groepen) worden vaker genoemd dan individuen.

2. Prestaties van LLM's

• Prompt-ontwerp: Gedetailleerde instructies (definitie van waarden, eisen en de link ertussen) hadden een groter effect op de prestaties dan het toevoegen van voorbeelden (few-shot) of het vragen om uitleg (explanation-based prompting).
• Prestatieverschillen: Cohere behaalde de beste F1-scores, gevolgd door ensemble-modellen. Claude en Mistral presteerden minder goed.
• Component Extractie: Het automatisch detecteren van de precieze spannen van morele waarden en protagonisten bleek zeer moeilijk (lage F1-scores < 0,30), vooral vanwege contextuele impliciete uitdrukkingen. Het extraheren van de eis (demand) deed het beter, maar bleef lastig bij impliciete formuleringen.

3. Mens-Machine Vergelijking

• Overeenkomst: Experts waren het meer met elkaar eens dan studenten. Curieus genoeg stemden studenten meer overeen met de LLM's dan experts, wat suggereert dat LLM's een "liberale" classificatie neigt die dichter bij een bredere (maar minder gespecialiseerde) menselijke intuïtie ligt dan bij de strikte operationele definitie van experts.
• Foutenanalyse:
  • False Positives (Modellen zien morelisering waar er geen is): Vaak veroorzaakt door het herkennen van morele woorden in neutrale contexten (bijv. historische verslaggeving) of gebrek aan context.
  • False Negatives (Modellen missen morelisering): Voornamelijk door het niet herkennen van impliciete eisen of de argumentatieve link tussen een waarde en een eis.
• Subjectiviteit: De analyse bevestigt dat morelisering detectie een subjectieve taak blijft, waarbij modellen sterk leunen op oppervlakkige linguïstische signalen (woorden, modale werkwoorden) terwijl experts dieper ingaan op pragmatische inferentie.

Betekenis en Conclusie

Dit paper biedt een methodologische basis voor het analyseren van hoe morele retoriek functioneert in verschillende discoursen. De belangrijkste bevindingen zijn:

1. Complexiteit van Morelisering: Morelisering is niet alleen aanwezig in populistische of manipulatieve teksten, maar is een veelvoorkomende pragmatische strategie in diverse genres, vaak met impliciete eisen.
2. Beperkingen van Huidige LLM's: Hoewel LLM's goed kunnen detecteren of een tekst moreel geladen is, worstelen ze met de subtiele, pragmatische nuance (vooral impliciete eisen en de argumentatieve link). Gedetailleerde prompts helpen, maar vervangen geen diepgaand pragmatisch begrip.
3. Toekomstperspectief: De resultaten onderstrepen de noodzaak van fijnmazige evaluatiemethoden en de potentie van dit corpus voor onderzoek in de linguïstiek, sociale wetenschappen en AI-ethiek. Het corpus maakt het mogelijk om niet alleen dat er moreel wordt gesproken te detecteren, maar ook hoe (strategieën, rollen, framing) dit gebeurt.

Kortom, het werk verschuift de focus van het simpele "moraliseren van teksten" naar het analyseren van de structurele en pragmatische dynamiek van morele argumentatie, met een realistische evaluatie van de huidige staat van de kunst in NLP.