💬 NLP

BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes

Het paper van het BioSentinel-team beschrijft hun deelname aan de EXIST 2026 Task 2.2, waarbij zij een op XLM-RoBERTa gebaseerd model gebruikten dat getraind was met een samengestelde verliesfunctie om effectief soft-label en hard-label voorspellingen te balanceren voor het classificeren van seksistische intentie in memes, wat uiteindelijk leidde tot specifieke ranglijsten in de CLEF 2026 evaluatie.

Oorspronkelijke auteurs: Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Gepubliceerd 2026-07-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een gigantisch, chaotisch dorpsplein waar iedereen schreeuwt, fluistert en tekeningen op de muren maakt. Soms zijn deze tekeningen (genaamd "memes") gewoon grappige grapjes, maar andere keren verbergen ze kwetsende opmerkingen over gender die moeilijk te ontdekken zijn. Dit is de wereld van sexisme-detectie, een tak van de computerwetenschap waarbij we machines leren om de kamer te lezen en te begrijpen of een grap onschuldig of kwetsend is.

Maar hier komt het lastige deel: mensen zijn het niet altijd eens over wat gemeen is. De één ziet een meme als een directe belediging, terwijl een ander denkt dat het een subtiele, ironische grap is, en een derde ziet er helemaal niets mis in. Dit wordt disagreement (meningsverschil) genoemd. In het verleden werden computers geleerd om slechts één "goed" antwoord te kiezen, zoals een leraar die een toets nakijkt met één enkel correct antwoordmodel. Echter, dit artikel betoogt dat wanneer mensen het niet met elkaar eens zijn, de computer niet zomaar één antwoord moet gokken; de computer moet leren om de spreiding van meningen te begrijpen, een beetje zoals een weersvoorspelling die zegt: "er is een kans van 60% op regen" in plaats van alleen maar te roepen: "het regent!" Deze aanpak wordt Learning with Disagreement genoemd, en het helpt machines om genuanceerder en minder overmoedig te worden.

De Missie van het BioSentinel-team: De Tekst Lezen, de Afbeelding Negeren

Maak kennis met het BioSentinel-team, een groep onderzoekers die deelnam aan een wedstrijd met hoge inzet genaamd EXIST 2026. Hun uitdaging? Een robot bouwen die naar memes kan kijken en kan beslissen of de maker direct was (duidelijk seksistisch), oordelend (gebruikmakend van ironie of subtiele hints), of geen (niet seksistisch).

De twist? De wedstrijd wilde niet alleen dat de robot één label koos. Het wilde dat de robot een waarschijnlijkheidsverdeling uitspuugde—een chique manier om te zeggen: "Ik ben 70% zeker dat dit direct is, 20% zeker dat het oordelend is, en 10% zeker dat het onschadelijk is." Dit bootst na hoe een groep menselijke juryleden anders over dezelfde meme zou kunnen stemmen.

De Strategie: Een Detective die Alleen de Tekst Gebruikt

Het team, onder leiding van Chandru Munisamy en vrienden uit India, besloot een heel specif kind spel te spelen. Hoewel memes afbeeldingen met tekst zijn, kozen zij ervoor om de afbeeldingen volledig te negeren. Ze gedroegen zich als een detective die alleen het transcript van een gesprek leest, waarbij de gezichtsuitdrukkingen en lichaamstaal worden genegeerd.

Waarom? Ze wilden zien of ze heel goed konden worden in het begrijpen van de woorden en de onzekerheid van de labels zonder afgeleid te worden door de rommelige visuele onderdelen. Ze gebruikten een krachtig taalbrein genaamd XLM-RoBERTa (een model met 270 miljoen parameters dat zowel Engels als Spaans spreekt) en leerden het een speciale truc.

In plaats van de model alleen te vertellen: "Dit is het antwoord," gaven ze het twee soorten huiswerk:

Het Zachte Huiswerk: "Hier is hoe de mensen hebben gestemd. Probeer die exacte mix van meningen te matchen." Ze gebruikten een wiskundig hulpmiddel genaamd KL Divergence om de gokken van het model te laten lijken op het menselijke stempatroon.
Het Harde Huiswerk: "Hier is de officiële winnaar van de stemming. Zorg ervoor dat je dit ook goed krijgt." Ze gebruikten een standaard hulpmiddel genaamd Weighted Cross-Entropy om ervoor te zorgen dat het model niet te veel in de war raakte.

Door deze twee lessen (70% zacht, 30% hard) te mengen, hoopten ze een model te creëren dat zowel accuraat als bewust was van de menselijke onenigheid.

De Resultaten: Een Solide, Maar Niet Perfecte Prestatie

Toen het BioSentinel-team hun systeem testte op het officiële examen (de testset), gebeurde het volgende:

Soft-Label Score: Ze behaalden een score van 0.3229 (ICM-Soft-Norm). Dit was beter dan een basisrobot die alleen de "meest voorkomende reactie gokt", die slechts 0.2835 haalde.
Hard-Label Score: Voor het kiezen van het beste enkele antwoord behaalden ze een score van 0.4236 (F1-score).
Ranglijst: Van de 118 teams die soft-label voorspellingen indienen, kwamen ze op de 40ste plaats. Van de 187 teams die hard-label voorspellingen indienen, waren ze 49ste.

Het team ontdekte dat hun "mix-en-match" trainingsmethode werkte. Wanneer ze de "zachte" les (de KL divergence) verwijderden, daalde hun vermogen om menselijke meningen te matchen drastisch (van 0.312 naar 0.142). Wanneer ze de "harde" les verwijderden, daalde hun nauwkeurigheid op enkele antwoorden. De combinatie was de sleutel tot hun succes.

De Strijd met "Oordelend"

Echter, de robot had een blinde vlek. Het was slecht in het opsporen van oordelend seksisme (het subtiele, ironische soort). De score voor deze specifieke categorie was een zeer lage 0.071.

Waarom? Het team realiseerde zich dat zonder de afbeelding, de robot de clou van de grap miste. Veel van deze memes vertrouwen op een visuele grap—zoals een karikatuur of een specifieke gezichtsuitdrukking—die de tekst alleen niet kon uitleggen. Bijvoorbeeld, een tekst die zegt "Zittend aan je familietafel..." kan onschuldig lijken, maar als de afbeelding een vader laat zien die de grootste vis krijgt en de moeder de kleinste, is de grap duidelijk. Zonder de afbeelding zag de robot alleen een neutrale zin.

Het team merkte ook iets grappigs op over hoe de robot leerde. Tijdens de eerste twee dagen van de training gokte hij zelfs één keer niet "oordelend". Hij begon pas de subtiele categorie te begrijpen nadat hij al had geleerd het verschil te zien tussen "onschadelijk" en "direct". Dit suggereert dat de subtiele zaken het moeilijkst te leren zijn en mogelijk meer tijd of speciale training nodig hebben.

Wat Ze Niet Deden (En Waarom Dat Er Toe Doet)

Het artikel is zeer eerlijk over wat ze niet hebben gedaan. Ze hebben geen hersengolfgegevens (EEG) of oogtrackinggegevens gebruikt die de wedstrijdorganisatoren hebben verstrekt. Waarom? Omdat de gegevens niet overeenkwamen tussen de trainings- en de testsets. Ze hebben ook niet geprobeerd om grotere, complexere modellen te gebruiken omdat die in hun specifieke opstelling instabiel en verward werden.

Ze testten ook een "temperatuur"-instelling (een knop die de gokken van de robot meer of minder zelfverzekerd maakt). Op hun oefentest maakte het draaien van deze knop naar 0.7 de robot iets beter in het matchen van menselijke meningen (waardoor de score steeg van 0.317 naar 0.326) en maakte het zijn zelfvertrouwen realistischer. Voor de definitieve officiële test hielden ze echter de standaardinstellingen aan om veilig te zijn.

De Conclusie

Het BioSentinel-team heeft aangetoond dat je een degelijke seksisme-detector kunt bouwen met alleen tekst, zolang je de machine leert om menselijke onenigheid te respecteren. Door een mix van "zachte" en "harde" lessen te gebruiken, creëerden ze een model dat de grijze gebieden van de menselijke opinie beter begrijpt dan oudere methoden.

Maar het artikel waarschuwt ons ook: als je de sluwe, ironische grappen wilt vangen, kun je niet alleen de tekst lezen. Je moet de afbeelding zien. De strijd van het team met de "oordelende" categorie bewijst dat de visuele context soms de enige is die de grap (of de belediging) zin geeft. Het team suggereert dat toekomstige robots zowel de woorden als de plaatjes moeten bekijken om het volledige verhaal te begrijpen.

Technische Samenvatting: BioSentinel bij EXIST 2026

Probleemdefinitie
Dit artikel behandelt EXIST 2026 Taak 2.2, "Source Intention in Memes," een uitdaging gericht op het classificeren van de communicatieve intentie achter memes die potentieel seksistische inhoud bevatten. De taak opereert onder een Learning with Disagreement (Le-Wi-Di) paradigma, waarbij modellen niet alleen een enkele harde label moeten voorspellen (direct, oordelend of geen), maar ook een zachte waarschijnlijkheidsverdeling die de variantie in menselijke annotator-meningen weerspiegelt. De dataset bestaat uit 3.984 trainings- en 1.053 testinstanties in het Engels en Spaans, elk geannoteerd door zes menselijke beoordelaars. Een belangrijke uitdaging is de inherente subjectiviteit van "oordelende" (impliciete/ironische) seksisme, waarbij annotatoren vaak van mening verschillen, en de klassenonbalans, waarbij de categorie "oordelend" slechts 14,2% van de oplosbare instanties vertegenwoordigt.

Methodologie
Het BioSentinel-team stelt een tekstgerichte aanpak voor met behulp van de xlm-roberta-base transformer (270 miljoen parameters). Het systeem sluit beeld- en fysiologische sensordata (EEG, oogtracking) doelbewust uit om de effectiviteit van soft-label optimalisatie op tekst te isoleren, waarbij zij wijzen op problemen met ontbrekende kenmerken en synchronisatie in de multimodale data.

De kerninnovatie ligt in de samengestelde verliesfunctie ontworiment voor het Le-Wi-Di paradigma:
$\mathcal{L}_{train} = \alpha \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{CE}$

KL-divergentie ( $\mathcal{L}_{KL}$ ): Minimaliseert de divergentie tussen de voorspelde distributie van het model en de zachte gouden distributie afgeleid van de stemmen van annotatoren. Deze term ( $\alpha=0,7$ ) is de primaire drijfveer voor het afstemmen van voorspellingen op menselijke onzekerheid.
Gewogen Cross-Entropy ( $\mathcal{L}_{CE}$ ): Toegepast op instanties met officiële harde labels, gebruikmakend van vaste genormaliseerde klassengewichten om de ondervertegenwoordigde "oordelende" klasse zwaarder te bestraffen ( $\beta=0,3$ ).
Architectuur: Het model verwerkt via OCR geëxtraheerde tekst door XLM-RoBERTa, gevolgd door een classificatiekop (768 $\to$ 256 $\to$ 3).
Trainingsconfiguratie: Getraind voor 6 epochs op NVIDIA A100 GPU's met AdamW met een leersnelheid van $2 \times 10^{-5}$ . Het definitieve checkpoint (Epoch 4) werd geselecteerd op basis van de minimale validatie KL-divergentie.
Temperatuur-analyse: Hoewel de officiële testvoorspellingen de ruwe softmax gebruikten ( $T=1,0$ ), gaf een post-hoc analyse op de validatieset aan dat een temperatuur van $T=0,7$ de soft-label metrieken verbeterde en de Expected Calibration Error (ECE) verminderde.

Belangrijkste Resultaten
Op de officiële testset behaalde het systeem de volgende prestaties:

ICM-Soft-Norm: 0,3229 (Rang 40 van de 118 inzendingen).
ICM-Norm: 0,3778.
Hard Macro-F1: 0,4236 (Rang 49 van de 187 inzendingen).

Het systeem presteerde aanzienlijk beter dan de meerderheidsklasse hard baseline (F1 = 0,1676) en de prior-distributie soft baseline (ICM-Soft-Norm = 0,2835).

Ablatie en Analyse

Bijdrage van het verlies: Ablatiestudies bevestigden dat KL-divergentie cruciaal is voor soft-label prestaties (ICM-Soft-Norm daalde van 0,312 naar 0,142 wanneer het werd verwijderd), terwijl Cross-Entropy essentieel is voor hard-label nauwkeurigheid (F1 daalde van 0,348 naar 0,294 wanneer het werd verwijderd).
Prestaties per klasse: Het model had aanzienlijke moeite met de "oordelende" klasse (F1 = 0,071). Foutanalyse suggereert dat dit komt door de afhankelijkheid van enkel de OCR-tekst, die visuele context, ironie en culturele tropes mist die essentieel zijn voor het identificeren van impliciete seksisme.
Cold-Start gedrag: Het model vertoonde een "cold-start" fenomeen, waarbij het in de eerste twee epochs nul "oordelende" voorspellingen produceerde, wat duidt op een moeilijkheid om subtiele patronen te leren zonder uitgebreide training of specifieke augmentatie.
Architecturale Stabiliteit: Exploratieve runs met grotere modellen (Gemma 2 2B, DeBERTa-v3-large, XLM-RoBERTa-large) waren minder stabiel dan het base model onder dezelfde hyperparameters, waarbij ze vaak divergeerden of convergeerden naar meerderheidsklasse-voorspellingen.

Betekenis en Claims
De auteurs positioneren dit werk als een demonstratie dat soft-label optimalisatie via KL-divergentie effectief de annotator-onenigheid in subjectieve NLP-taken vangt, wat beter is dan standaard meerderheidsstem-benaderingen. Het artikel beweert dat het combineren van KL-divergentie met gewogen cross-entropy een lichtgewicht, tekstueel model in staat stelt om een balans te vinden tussen distributionele afstemming en hard-label nauwkeurigheid.

De auteurs houden een bescheiden standpunt aan met betrekking tot hun bevindingen:

Beperkingen: Zij erkennen dat de tekstgerichte aanpak inherent faalt in het vangen van visueel-tekstuele interacties die centraal staan bij de interpretatie van memes, met name voor de "oordelende" klasse.
Reikwijdte: De stabiliteitsproblemen met grotere modellen worden gepresenteerd als exploratieve observaties in plaats van definitieve conclusies over model schaal, waarbij wordt opgemerkt dat een toegewijde hyperparameterzoektocht vereist is voor generalisatie.
Ethiek: Het artikel waarschuwt expliciet tegen het inzetten van dergelijke systemen voor geautomatiseerde contentmoderatie zonder menselijk toezicht vanwege de risico's op onrechtvaardige censuur en de propagatie van schadelijke inhoud via fout-negatieven.

Concluderend valideert het BioSentinel-systeem het nut van het Le-Wi-Di paradigma en samengestelde verliesfuncties voor de detectie van seksisme in memes, terwijl het de specifieke uitdagingen benadrukt van het modelleren van impliciete intentie zonder multimodale context.