Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization
Dit artikel introduceert het Multi-Agent Perspectivist Preference Optimization (MAP-PO) framework, dat annotator-discrepantie bij seksisme-detectie aanpakt door labelgedrag te clusteren en gespecialiseerde taalmodel-agenten te finetunen die via preferentie-optimalisatie worden gecoördineerd om diverse perspectieven te behouden terwijl de afstemming met meerderheidslabels wordt gehandhaafd.
Oorspronkelijke auteurs:Hadi Mohammadi, Tina Shahedi, Robert A. Bagheri, Mehdi Dastani, Masoume M. Raeissi
Oorspronkelijke auteurs: Hadi Mohammadi, Tina Shahedi, Robert A. Bagheri, Mehdi Dastani, Masoume M. Raeissi
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij een gemene grap kan herkennen. Je vraagt tien verschillende mensen om een grap te lezen en te beslissen of deze seksistisch is. Sommigen zeggen: "Ja, dat is verschrikkelijk," terwijl anderen zeggen: "Nee, dat is maar een grap." In de oude dagen van de informatica, als de meerderheid "Ja" zei, negeerde de computer simpelweg de "Nee"-stemmen en noemde het een feit. Maar wat als die "Nee"-stemmen geen fouten zijn? Wat als ze gewoon verschillende mensen zijn die de wereld door een andere lens bekijken? Dit is de kern van een vakgebied genaamd "perspectivistische" wetenschap. Het stelt dat wanneer mensen het oneens zijn, die onenigheid geen ruis is die verwijderd moet worden, maar een signaal dat bestudeerd moet worden. De grote vraag is: hoe bouw je een computer die niet alleen een winnaar kiest, maar ook echt begrijpt waarom verschillende mensen dingen anders zien?
Dit artikel introduceert een slim nieuw systeem genaamd MAP-PO (Multi-Agent Perspectivist Preference Optimization) om precies dat probleem op te lossen. In plaats van te proberen één robot de "perfecte" rechter te laten zijn, bouwden de onderzoekers een team van drie gespecialiseerde robot-agenten. Zo hebben ze het gedaan: Eerst keken ze naar de mensen die de gegevens labelden (de mensen) en groepeerden ze hen niet op leeftijd of geslacht. In plaats daarvan groepeerden ze hen op basis van hoe ze stemden. Sommige mensen waren heel streng en zeiden vaak "Ja"; anderen waren milder. De onderzoekers ontdekten dat deze "stemstijlen" de echte sleutel waren tot het begrijpen van de gegevens, niet de achtergrond van de mensen.
Vervolgens trainden ze één robot-agent om elke van deze drie stemstijlen na te bootsen. Maar hier zat de crux: als ze de robots simpelweg vertelden: "Luister alleen naar je eigen groep," werden de robots krankzinnig. Ze werden extreme karikaturen, waarbij de ene robot voor alles "Ja" zei en de andere voor alles "Nee", waardoor ze het contact met de echte mensen verloren die ze zouden moeten vertegenwoordigen. Het artikel stelde vast dat ze dit konden oplossen door de robots een "teamsignaal" te geven. Ze moesten niet alleen beloond worden voor het trouw zijn aan hun eigen stijl, maar ook voor het samenwerken om het juiste algemene antwoord te krijgen. Toen ze deze teambeloning toevoegden, bleven de robots in balans. Ze leerden onderscheidende persoonlijkheden te zijn zonder de controle te verliezen. Uiteindelijk was dit team van drie robots beter in het opsporen van seksisme dan welke enkele robot of enig ouderwets computerprogramma dan ook, wat bewees dat het levend houden van verschillende perspectieven zorgt voor een slimmer en eerlijker systeem.
Technische Samenvatting: Leren van seksisme-detectie middels Multi-Agent Perspectivistische Preferentie-optimalisatie
Probleemstelling
Seksisme-detectie in natuurlijke taalverwerking (NLP) is inherent subjectief. Annotatoren verschillen vaak van mening over de vraag of een specifieke tekst seksisme bevat, niet vanwege fouten, maar omdat ze de inhoud daadwerkelijk verschillend waarnemen. Standaard NLP-benaderingen verwerpen deze onenigheid meestal door meerdere annotaties samen te voegen tot een enkele "grondwaarheid" via meerderheidsstemming, waarbij minderheidsmeningen als ruis worden behandeld. Perspectivistisch onderzoek stelt echter dat deze onenigheid een signaal is dat gemodelleerd moet worden in plaats van gemiddeld weggefilterd. De uitdaging ligt in het creëren van systemen die deze diverse annotatorperspectieven kunnen vertegenwoordigen zonder een enkele consensus af te dwingen, terwijl het systeem wel gekalibreerd blijft aan de werkelijke distributie van menselijke oordelen.
Methodologie: MAP-PO
De auteurs stellen Multi-Agent Perspectivistische Preferentie-optimalisatie (MAP-PO) voor, een raamwerk ontworpen om diverse annotatorperspectieven te behouden via een multi-agent systeem. De methodologie verloopt in drie hoofdfasen:
Gedragsclustering: In plaats van annotatoren te groeperen op basis van demografische attributen (leeftijd, geslacht, etc.), clusteren de auteurs hen op basis van labelgedrag. Gebruikmakend van de EXIST 2024-dataset (Engelse en Spaanse tweets), worden annotatoren gekarakteriseerd door drie kenmerken:
YES-percentage: De frequentie waarmee een annotator tekst als seksistisch labelt.
Overeenkomstpercentage: De frequentie van overeenstemming met de meerderheid van de annotatoren.
Label-entropie: De balans tussen YES/NO-beslissingen. K-means clustering (k=3) wordt afzonderlijk toegepast voor elke taal, wat resulteert in drie onderscheidende gedragsclusters per taal.
Agent Training (Fine-tuning): Eén Large Language Model (LLM) agent wordt getraind per cluster. De training bestaat uit twee fasen:
Fase 1 (SFT): Agents ondergaan Supervised Fine-Tuning (SFT) op de meerderheidslabels van hun specifieke cluster. Om te voorkomen dat agents te ver uit elkaar drijven, wordt de trainingsdata gemengd met "gedeelde positieve voorbeelden" (teksten waar alle clusters het eens zijn over) en "team-alignment voorbeelden" (teksten gelabeld met de algemene meerderheid van de annotatoren).
Fase 2 (Preferentie-optimalisatie): De auteurs verkennen drie optimalisatiedoelen om het gedrag van de agents te verfijnen:
DPO (Direct Preference Optimization): Traint agents om de voorkeur te geven aan hun eigen clusterlabel boven het tegenovergestelde label op teksten waar de clusters van mening verschillen.
Mars-PO: Past DPO aan voor multi-agent systemen door gedeelde voorkeursparen (unanieme teksten) toe te voegen naast individuele paren.
GRPO (Group Relative Policy Optimization): Gebruikt een convexe beloningsfunctie die een individuele beloning (overeenkomst met het clusterlabel) combineert met een team-beloning (overeenkomst met de algemene meerderheid van de annotatoren). De team-gewicht (α) balanceert deze doelstellingen.
Inference (Inferentie): Tijdens de inferentie voorspellen de drie agents onafhankelijk. De uiteindelijke teamvoorspelling wordt bepaald door een meerderheidsstemming onder de agents. Het systeem gebruikt ook de onenigheid tussen agents als een betrouwbaarheidssignaal; een hoge mate van onenigheid duidt op teksten waarbij menselijke annotatoren ook van mening verschillen.
Belangrijkste Bijdragen
Gedragsmatige versus Demografische Clustering: Het artikel toont aan dat gedragskenmerken (YES-percentage, overeenkomst, entropie) annotatoren effectiever clusteren dan demografische attributen voor seksisme-detectie. Statistische tests laten geen significante associatie zien tussen clusterlidmaatschap en demografie zoals geslacht of leeftijd.
Multi-Agent Preferentie-optimalisatie: De auteurs passen het Mars-PO raamwerk aan om gespecialiseerde LLM-agents te finetunen voor een taak waarbij de "grondwaarheid" perspectief-afhankelijk is.
Analyse van Beloningsontwerp: Door uitgebreide experimenten over vier instellingen (twee talen × twee backbone-modellen: GPT-4.1-mini en Qwen3-8B) identificeren de auteurs dat het trainen van agents alleen op hun eigen clusterlabels leidt tot extreme polarisatie (agents die veel verder gaan dan de gedragingen die zij vertegenwoordigen). Daarentegen is het introduceren van een gedeeld team-niveau signaal (ofwel impliciet via data-mixing in SFT, ofwel expliciet via Mars-PO/GRPO-beloningen) noodzakelijk om agents gekalibreerd te houden bij hun specifieke clusters terwijl de teamaccuratesse behouden blijft.
Resultaten
De evaluatie beslaat vier instellingen: GPT-EN, GPT-ES, Qwen-EN en Qwen-ES. Belangrijkste bevindingen zijn:
Noodzaak van Fine-tuning: Zonder fine-tuning gedragen zero-shot agents zich bijna identiek (bijna 100% overeenstemming), waardoor ze er niet in slagen diverse perspectieven te vangen.
Polarisatie door Individuele-alleen Training: Zuivere individuele preferentie-optimalisatie (bijv. DPO zonder team-signalen) zorgt ervoor dat agents doorslaan, waarbij Cluster 1 agents bijna 0% van de teksten als seksistisch labelen en Cluster 3 agents bijna 100%, ongeacht de werkelijke clusterdistributie. Dit leidt tot hoge onenigheid en slechte kalibratie.
Effectiviteit van Team-signalen: Het toevoegen van een team-signaal herstelt de kalibratie consistent.
In de GPT-EN instelling bereikt het beste systeem (GRPO met α=0.17) een Team-accuratesse van 90,3% en een 90,3% Team F1, waarmee het alle baselines verslaat.
De SFT-mixed aanpak (impliciet team-signaal) presteert ook robuust, met een hoge kalibratie en minimale fouten.
Op de kleinere Qwen backbone presteert SFT licht beter dan GRPO, wat wijst op een capaciteitseffect waarbij rejection sampling in GRPO ruis introduceert ten opzichte van de supervised labels.
Generalisatie: De kernbevinding — dat optimalisatie op individueel niveau de agents polariseert en team-signalen hen herstellen — blijft standhouden over beide talen en beide backbone-modellen.
Betekenis en Claims
Het artikel claimt dat MAP-PO succesvol de onenigheid tussen annotatoren modelleert als een signaal in plaats van ruis. De primaire betekenis ligt in het aantonen dat:
Perspectieven zijn gedragsmatig, niet demografisch: Effectieve agent-identiteiten voor subjectieve taken worden afgeleid van labelgedrag, niet van demografische persona's.
Kalibratie vereist een team-anker: Om te voorkomen dat agents afdrijven naar onrealistische extremen, is een gedeeld team-niveau trainingssignaal essentieel. Dit signaal zorgt ervoor dat hoewel agents specifieke standpunten vertegenwoordigen, ze geworteld blijven in de bredere distributie van menselijke oordeelsvorming.
Onenigheid is informatief: Het vermogen van het systeem om divergerende outputs te produceren dient als een nuttig betrouwbaarheidssignaal, dat teksten markeert die echt omstreden zijn en mogelijk menselijke beoordeling vereisen, in plaats van een potentieel valse consensus af te dwingen.
De auteurs positioneren MAP-PO als een ondersteunend hulpmiddel voor contentmoderatie, bedoeld om omstreden gevallen te highlighten in plaats van autonome moderatiebeslissingen te nemen, waarbij zij de beperkingen met betrekking tot de dataset-omvang (EXIST 2024) en het specifieke block-ontwerp van de data erkennen.