From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP

Probleemstelling

Het paper adresseert een fundamenteel probleem in de Natural Language Processing (NLP) en het trainen van Large Language Models (LLM's): de behandeling van Human Label Variation (HLV).

• Traditionele Visie: Historisch gezien werd onenigheid tussen annotatoren (inter-annotator disagreement) beschouwd als "ruis" of fouten die geëlimineerd moesten worden om tot één "gouden" label te komen. Dit leidde tot het gebruik van meerderheidsstemming (majority vote) om datasets te creëren.
• Huidige Uitdaging: Met de opkomst van post-training methoden zoals Reinforcement Learning from Human Feedback (RLHF) en het aligneren van LLM's op menselijke voorkeuren, blijkt deze aanpak problematisch. Bestaande voorkeursdatasets (zoals die gebruikt voor RLHF) collapse vaak meerdere annotaties tot één enkel label. Hierdoor worden diverse menselijke perspectieven en legitieme meningsverschillen verwijderd, wat resulteert in een kunstmatige consensus.
• Gevolg: Dit "platwalsen" van diversiteit ondermijnt de pluralistische uitlijning van AI-systemen. Het negeert het feit dat onenigheid vaak geen fout is, maar een reflectie van de inherente subjectiviteit en de pluraliteit van menselijke waarden, vooral in sociale contexten (bijv. haatzaaiende taal, ethische dilemma's).

Methodologie en Conceptueel Kader

Het paper is een position paper en biedt geen nieuwe empirische resultaten, maar synthetiseert bestaande literatuur en empirische bevindingen in een nieuw conceptueel kader. De methode bestaat uit drie hoofdbestanddelen:

1. Conceptuele Evolutie van HLV: De auteurs introduceren een drie-staps kader dat de verschuiving in de perceptie van HLV beschrijft:

   • Stap 1: Noise (Ruis): HLV wordt gezien als fouten die verwijderd moeten worden (Human Adjacent).
   • Stap 2: Signal (Signaal): HLV wordt erkend als waardevolle informatie die gemodelleerd moet worden om robuustheid te vergroten (Human Aware).
   • Stap 3: Selbstzweck (Doel op zich): HLV wordt gezien als een intrinsieke waarde en een leidende ontwerpprincipe. Het behoud van menselijke pluraliteit is een doel op zich, niet slechts een middel tot betere prestaties (Human Centered).

2. Analyse van Bestaande Datasets: De auteurs analyseren kritisch huidige voorkeursdatasets (zoals Multi-Pref en HelpSteer2). Ze tonen aan dat een aanzienlijk deel van de onenigheid (bijv. >30% in sommige datasets) systematisch is en niet toe te schrijven aan annotatiefouten, maar aan echte verschillen in voorkeuren.

3. Sociotechnisch Kader: Het paper integreert het sociotechnische evaluatiekader van Weidinger et al. (2023), waarbij AI-systemen niet alleen als technische componenten, maar als systemen die ingebed zijn in sociale contexten worden bekeken.

Belangrijkste Bijdragen

De auteurs leveren drie hoofdbijdragen:

1. Het "Selbstzweck"-Principe: Ze pleiten ervoor dat het behoud van HLV wordt behandeld als een Selbstzweck (een intrinsiek doel). Dit betekent dat het behoud van diverse menselijke perspectieven een fundamenteel ontwerpprincipe moet zijn voor mensgericht AI, ongeacht de impact op traditionele prestatie-metrics.
2. Kritische Analyse van Voorkeursdatasets: Ze identificeren de beperkingen van huidige datasets die onenigheid aggregeren tot één label, waardoor pluralistische uitlijning onmogelijk wordt gemaakt.
3. Actiegericht Strategieën: Ze bieden concrete, uitvoerbare strategieën voor het integreren van HLV in toekomstige datasets en aligneringspijplijnen:
   • Selectie van Annotatoren: Gebruik van survey-methodologie (gestratificeerde quotas) om een annotatiepool te creëren die de diversiteit van de bevolking weerspiegelt, in plaats van een willekeurige of beperkte groep.
   • Publicatie van Annotator-niveau Voorkeuren: In plaats van gemiddelde scores, moeten datasets individuele annotaties vrijgeven. Dit stelt onderzoekers in staat om verdelingsmodellen (distributional reward models) te bouwen die onzekerheid en heterogeniteit vastleggen in plaats van deze te reduceren tot één scalar.
   • Diverse Feedback-protocollen: Het gebruik van een mix van feedbacktypes (absolute ratings, pairwise vergelijkingen, en beschrijvende evaluaties) om nuance beter vast te leggen dan alleen binair "win/loss" feedback.
   • Pluralisme als Redenering: In situaties waar één beslissing noodzakelijk is (zoals in het recht), moet het AI-systeem de redenering van verschillende perspectieven documenteren en rechtvaardigen, in plaats van alleen de uitkomst te leveren. Dit is analoog aan het vastleggen van minderheidsstandpunten in gerechtelijke uitspraken.

Resultaten en Bevindingen

Hoewel het een position paper is, worden er belangrijke bevindingen uit de literatuur samengevoegd:

• Systematische Onenigheid: Onenigheid in voorkeursdatasets is vaak systematisch en gerelateerd aan demografische of ideologische factoren, niet willekeurige ruis.
• Schade door Aggregatie: Het samenvoegen van labels tijdens het trainen van reward-modellen kan leiden tot een verlies van pluralistische uitlijning. Modellen worden beloond voor het maken van "beslissende keuzes" in gevallen waar er geen consensus is, wat de diversiteit van menselijke waarden onderdrukt.
• Tie-voorkeuren: Het paper onderscheidt HLV van "gelijkgestemde" (tied) voorkeuren. Ties zijn geen ruis, maar geven aan dat sommige opties voor mensen niet strikt rangschikbaar zijn; het modelleren hiervan is essentieel voor een volledig beeld van menselijke waarden.

Betekenis en Impact

De betekenis van dit paper ligt in de fundamentele verschuiving die het voorstaat in de NLP-gemeenschap:

• Van Techniek naar Sociotechniek: Het verlegt de focus van puur technische optimalisatie (F1-scores, accuracy) naar een sociotechnische benadering waarbij menselijke diversiteit centraal staat.
• Veiligheid en Ethiek: Voor de veiligheidsevaluatie van AI is het cruciaal om te begrijpen hoe modellen omgaan met diverse menselijke waarden. Het negeren van HLV kan leiden tot systemen die bias versterken of minderheidsgroepen negeren.
• Toekomst van Alignering: Het paper biedt een blauwdruk voor de volgende generatie aligneringsalgoritmen. In plaats van te streven naar één "beste" beleid (policy), moeten algoritmen een "navigeerbare beleidsruimte" creëren die de verdeling van menselijke onenigheid weerspiegelt.
• Praktische Implementatie: Het biedt concrete richtlijnen voor onderzoekers en bedrijven om datasets te bouwen die pluralisme behouden, wat essentieel is voor het ontwikkelen van AI-systemen die echt menselijk en inclusief zijn.

Kortom, het paper stelt dat het behoud van menselijke labelvariatie niet langer een optioneel "nice-to-have" is, maar een noodzakelijke voorwaarde voor het bouwen van ethisch verantwoorde en sociaal robuuste AI-systemen in het tijdperk van Large Language Models.