The Moral Foundations Reddit Corpus

Deze paper introduceert het Moral Foundations Reddit Corpus, een handmatig geannoteerde dataset van 16.123 Reddit-opmerkingen gebaseerd op de Moral Foundations Theory, en toont aan dat fijngefineerde encoder-modellen momenteel beter presteren dan grote taalmodellen bij het detecteren van morele sentimenten.

De kern

De Smaak van Moraliteit: Een Reis door de Reddit-Keuken

Stel je voor dat internet een gigantisch, drukke markt is. Op Twitter zijn de kraampjes klein: mensen roepen korte, scherpe kreten van 280 tekens. Maar op Reddit zijn de kraampjes veel groter. Mensen zitten daar urenlang te discussiëren, vertellen lange verhalen en bouwen complexe argumenten op.

De auteurs van dit paper (Jackson Trager en zijn team) hebben besloten om niet naar de kleine kraampjes te kijken, maar naar de grote markten van Reddit. Ze wilden een nieuwe "smaaktest" maken voor kunstmatige intelligentie (AI), specifiek gericht op morele gevoelens.

Hier is wat ze hebben gedaan, vertaald in simpele taal:

1. Het Probleem: De AI is nog niet slim genoeg

Voorheen bestond er al een grote verzameling tweets (de Moral Foundations Twitter Corpus) die handmatig was beoordeeld door mensen. Het was als een receptenboekje voor AI om te leren wat "goed" en " kwaad" is. Maar Twitter is beperkt: korte berichten, veel anonimiteit, en een specifieke sfeer.

De onderzoekers dachten: "Wat als we kijken naar de lange, gedetailleerde discussies op Reddit? Misschien leren de AI-modellen daar beter wat mensen echt voelen."

2. De Oplossing: Het MFRC (De Reddit-Verzameling)

Ze hebben 16.123 Reddit-berichten geselecteerd uit 12 verschillende communities. Denk aan deze communities als verschillende buurten:

• Politieke buurten: Waar mensen ruziën over Amerika en Frankrijk.
• Alledaagse buurten: Waar mensen vragen stellen als "Ben ik de idioot?" of advies vragen over relaties.

Elk bericht is niet door een computer, maar door minstens drie echte mensen in detail beoordeeld. Dit is belangrijk, want moraal is subjectief. Wat voor de één "rechtvaardig" is, is voor de ander "onrechtvaardig".

3. De Nieuwe Smaakpapillen: De 8 Categorieën

Vroeger gebruikten we 5 "morele fundamenten" (zoals Zorg of Loyaliteit). Maar de theorie is bijgewerkt. Stel je voor dat je een soep proeft. Vroeger zei je: "Het is zout." Nu zeggen we: "Het is zout, maar ook specifiek te zout voor mijn smaak, of juist net genoeg."

Ze hebben de categorieën verfijnd:

• Zorg (Care): Iemand helpen of beschermen.
• Gelijkheid (Equality): Iedereen moet hetzelfde krijgen.
• Proportionaliteit (Proportionality): Iedereen moet krijgen wat hij/zij verdient (hard werken = beloning).
• Loyaliteit: Samen staan voor je groep.
• Autoriteit: Respect voor leiders en regels.
• Reinheid (Purity): Iets dat heilig of vies is (zowel fysiek als spiritueel).
• Dunne Moraliteit: Iemand zegt "Dat is fout!", maar geeft geen reden.
• Expliciet/Impliciet: Wordt de morele boodschap hardop gezegd of zit hij erin verwerkt?

4. De Test: Mens vs. Machine

Nu de "smaakpapillen" (de data) klaar waren, wilden ze testen of de slimste AI's (zoals Llama en Ministral) dit ook konden. Ze stelden de AI's voor drie uitdagingen:

1. Zonder training (Zero-shot): "Hier is een zin, wat is er moreel aan?" (Alsof je iemand vraagt een vreemde taal te vertalen zonder woordenboek).
2. Met voorbeelden (Few-shot): "Kijk naar deze 5 voorbeelden, en doe dan dit."
3. Oefenen (Fine-tuning): De AI mag het hele boekje bestuderen en oefenen.

Het Resultaat:
De AI's die gewoon "raadden" (zonder training) deden het erg slecht. Zelfs met een paar voorbeelden lukte het niet goed.
Pas toen ze de AI's oefenen lieten (fine-tuning), begonnen ze te presteren. Maar zelfs dan bleven ze achter bij de menselijke beoordelaars.

De les: Morele taal is zo complex en menselijk, dat zelfs de slimste computers nog niet kunnen denken zoals een mens. Ze missen de "buikgevoelens" en de nuance die mensen hebben.

5. Waarom is dit belangrijk?

Dit paper is als een nieuwe meetlat voor de wereld van AI.

• Het laat zien dat we meer menselijke data nodig hebben om AI eerlijk en veilig te maken.
• Het laat zien dat Reddit een unieke plek is om te zien hoe mensen echt denken, anders dan op Twitter.
• Het helpt onderzoekers om te begrijpen waarom mensen ruziën, waarom ze elkaar helpen, en hoe we AI kunnen trainen om deze menselijke gevoelens te begrijpen in plaats van ze te negeren.

Kortom: De onderzoekers hebben een enorme, gedetailleerde "moraal-kaart" van Reddit getekend. Ze hebben getest of robots deze kaart kunnen lezen, en ontdekten dat robots nog steeds moeten leren hoe ze de menselijke ziel moeten begrijpen. Het is een stap voorwaarts om AI menselijker (en menselijker) te maken.

Technische samenvatting

Probleemstelling

Moraal taalgebruik en framing spelen een cruciale rol in zowel pro-sociaal gedrag als polarisatie en haat. Hoewel er reeds methoden zijn ontwikkeld om morele sentimenten in tekst te detecteren met Natural Language Processing (NLP), zijn deze taken fundamenteel subjectief. De huidige staat van de kunst leunt zwaar op handmatig geannoteerde datasets om goede prestaties te behalen.

De belangrijkste beperking van bestaande bronnen, zoals het Moral Foundations Twitter Corpus (MFTC), is dat deze beperkt is tot het platform Twitter. Verschillende sociale media-platforms hebben unieke linguïstische en sociale structuren (bijvoorbeeld karakterlimieten, anonimiteit en gemeenschapsnormen) die de aard van morele taal beïnvloeden. Daarnaast is de theoretische basis voor morele annotatie geëvolueerd: de oorspronkelijke Moral Foundations Theory (MFT) splitste het concept "Fairness" (Rechtvaardigheid) recentelijk op in twee distincte fundamenten: Equality (Gelijkheid) en Proportionality (Proportionaliteit). Er was dus behoefte aan een nieuw corpus dat:

1. Afkomstig is van een ander platform (Reddit) met langere teksten en andere gemeenschapsdynamieken.
2. Gebaseerd is op de bijgewerkte MFT-theorie (met de splitsing van Fairness).
3. Gecreëerd is door een diverse groep annotatoren om bias te onderzoeken.

Methodologie

1. Corpus Opbouw (MFRC)
De auteurs hebben het Moral Foundations Reddit Corpus (MFRC) samengesteld, bestaande uit 16.123 Engelse Reddit-commentaren.

• Bron: De data is gecurateerd uit 12 verschillende subreddits, verdeeld in drie categorieën:
  • VS-politiek: r/politics, r/conservative, r/antiwork.
  • Alledaags moreel leven: r/AmItheAsshole, r/confession, r/relationshipadvice, r/nostalgia.
  • Franse politiek: r/europe, r/worldnews, r/neoliberal, r/geopolitics, r/Conservative (met focus op de presidentsverkiezingen van 2017).
• Sampling: Vanwege de zeldzaamheid van expliciete morele taal in sommige domeinen, werd een semi-supervised methode gebruikt. Eerst werden posts gescored op "morele lading" met behulp van woordembeddings en een lijst met zadenwoorden. Vervolgens werd een gebalanceerde dataset samengesteld met 50% posts met hoge morele lading (>95e percentiel) en 50% met lagere lading.

2. Annotatieproces
Elke post is geannoteerd door minimaal drie getrainde annotatoren (uit een pool van vijf) op basis van een herziene coderingshandleiding.

• Categorieën (8 labels):
  1. Care (Zorg)
  2. Equality (Gelijkheid)
  3. Proportionality (Proportionaliteit)
  4. Loyalty (Loyaliteit)
  5. Authority (Autoriteit)
  6. Purity (Zuiverheid)
  7. Thin Morality (Dun moreel oordeel: morele uitspraken zonder specifieke basis in de zes fundamenten)
  8. Implicit/Explicit Morality (Of het morele sentiment expliciet of impliciet is).
• Metadata: De annotatoren hebben ook gedetailleerde demografische en psychologische data (inclusief politieke ideologie en morele waarden via de MFQ-2) gedeeld om bias-analyse mogelijk te maken.

3. Evaluatie en Baselines
De auteurs hebben een reeks modellen getraind en geëvalueerd om de meerwaarde van het corpus te testen:

• LLM's (Large Language Models): Llama3-8B en Ministral-8B.
  • Settings: Zero-shot, Few-shot (5 shots), en Parameter-Efficient Fine-Tuning (PEFT/LoRA).
• Encoder-only modellen: BERT (volledig fine-tuned).
• Taken: Zowel single-label als multi-label classificatie.
• Metingen: F1-score, precisie en recall, berekend via stratified 5-fold cross-validatie. Er werd gebruikgemaakt van een gewogen verliesfunctie om het onbalans tussen morele en niet-morele posts aan te pakken.

Belangrijkste Resultaten

1. Prestatie van Modellen

• Fine-tuning vs. Prompting: De resultaten tonen aan dat fine-tuned modellen (BERT en PEFT-Llama) significant beter presteren dan zero-shot en few-shot prompting met grote taalmodellen.
  • BERT (single-label) behaalde de hoogste F1-scores (bijv. ~0.62 voor Care, ~0.58 voor Equality).
  • LLM's in zero-shot settings presteerden aanzienlijk slechter (F1-scores vaak onder de 0.30 voor de meeste categorieën).
• Single vs. Multi-label: BERT presteerde beter in single-label settings dan in multi-label settings. Bij LLM's was het verschil minder duidelijk, waarbij multi-label training soms vergelijkbare resultaten opleverde.
• Subreddit Variatie: De prestaties varieerden per subreddit-bucket. Modellen presteerden over het algemeen beter op "Alledaags moreel leven" dan op politieke subreddits, wat suggereert dat de context en het type morele taal (bijv. meer expliciet in politiek) de modellering beïnvloeden.

2. Cross-Corpus Generalisatie
Er werd getest of modellen getraind op het oude Twitter-corpus (MFTC) konden generaliseren naar het nieuwe Reddit-corpus (MFRC) en vice versa.

• De prestaties daalden aanzienlijk bij cross-corpus evaluatie. Dit bevestigt dat platform-specifieke kenmerken (lengte van teksten, gemeenschapsnormen) en de theoretische update (Fairness -> Equality/Proportionality) grote uitdagingen vormen voor generalisatie.

3. Subjectiviteit en Bias
De analyse van annotator-metadata bevestigt dat annotators bias hebben (bijv. een liberale schuif in politieke voorkeur). Het artikel benadrukt dat het verzamelen van deze metadata essentieel is om de subjectiviteit in morele annotatie te begrijpen en te corrigeren.

Bijdragen

1. Het MFRC Dataset: Een nieuw, groot corpus van 16.123 Reddit-commentaren, geannoteerd volgens de meest recente versie van de Moral Foundations Theory (met de splitsing van Fairness).
2. Methodologische Transparantie: Het openbaar maken van gedetailleerde demografische en psychologische metadata van de annotatoren, wat onderzoek naar bias en subjectiviteit in NLP mogelijk maakt.
3. Benchmarks voor AI-Alignment: Het bieden van robuuste baselines voor verschillende NLP-architecturen (van BERT tot moderne LLM's) voor de taak van morele sentimentdetectie. De resultaten onderstrepen dat voor deze subjectieve taak human-annotated data en fine-tuning nog steeds superior zijn aan pure prompting van LLM's.

Significantie

Dit werk is van groot belang voor zowel de NLP-gemeenschap als de sociale wetenschappen:

• Theoretische Actualisering: Het is het eerste grote corpus dat de recente theoretische wijzigingen in de Moral Foundations Theory (de splitsing van Fairness) operationeel maakt in data.
• Platform-Diversiteit: Het breidt het onderzoek uit van Twitter naar Reddit, wat inzicht geeft in hoe anonimiteit en langere teksten de expressie van morele waarden beïnvloeden.
• AI-Alignment: Het corpus dient als een cruciale testset voor het evalueren van de morele redeneerkracht van AI-modellen. De bevindingen dat LLM's zonder fine-tuning slecht presteren op deze taak, benadrukken de noodzaak van menselijke annotatie voor het aligneren van AI met menselijke morele waarden.
• Toekomstig Onderzoek: Het stelt onderzoekers in staat om de dynamiek van morele taal in online gemeenschappen beter te modelleren, wat essentieel is voor het begrijpen van polarisatie, haatzaaiing en pro-sociaal gedrag in het digitale tijdperk.