💬 NLP

BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes

Das Paper des BioSentinel-Teams beschreibt ihre Teilnahme an der EXIST 2026 Task 2.2, bei der sie ein auf XLM-RoBERTa basierendes Modell einsetzten, das mit einer zusammengesetzten Verlustfunktion trainiert wurde, um Soft-Label- und Hard-Label-Vorhersagen zur Klassifizierung sexistischer Intentionen in Memes effektiv auszubalancieren, wodurch sie letztlich spezifische Platzierungen in der CLEF 2026-Evaluierung erreichten.

Ursprüngliche Autoren: Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Veröffentlicht 2026-07-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet als einen riesigen, chaotischen Marktplatz vor, auf dem jeder schreit, flüstert und Bilder an die Wände malt. Manchmal sind diese Bilder (genannt „Memes“) einfach nur lustige Witze, aber manchmal verbergen sie auch bösartige Kommentare über Geschlechterrollen, die schwer zu entdecken sind. Dies ist die Welt der Sexismus-Erkennung, ein Zweig der Informatik, bei dem wir Maschinen beibringen, den Raum zu lesen und zu verstehen, ob ein Witz harmlos oder verletzend ist.

Aber hier liegt der Knackpunkt: Menschen sind sich nicht immer einig darüber, was gemein ist. Eine Person sieht in einem Meme vielleicht eine direkte Beleidigung, während eine andere es für einen subtilen, ironischen Witz hält und eine dritte darin überhaupt nichts Schlimmes sieht. Dies wird als Uneinigkeit bezeichnet. In der Vergangenheit wurden Computer darauf trainiert, sich für eine einzige „richtige“ Antwort zu entscheiden, wie ein Lehrer, der eine Prüfung mit einem einzigen korrekten Lösungsschlüssel bewertet. Dieses Paper argumentiert jedoch, dass ein Computer, wenn Menschen sich nicht einig sind, nicht einfach eine Antwort raten sollte; er sollte lernen, die Verteilung der Meinungen zu verstehen, ähnlich wie eine Wettervorhersage, die sagt: „Es besteht eine Wahrscheinlichkeit von 60 % für Regen“, anstatt einfach nur zu rufen: „Es regnet!“. Dieser Ansatz wird als Learning with Disagreement (Lernen mit Uneinigkeit) bezeichnet und hilft Maschinen, nuancierter und weniger überheblich zu werden.

Die Mission des BioSentinel-Teams: Den Text lesen, das Bild ignorieren

Lernen Sie das BioSentinel-Team kennen, eine Gruppe von Forschern, die an einem hochkarätigen Wettbewerb namens EXIST 2026 teilgenommen hat. Ihre Herausforderung? Einen Roboter zu bauen, der sich Memes ansieht und entscheidet, ob der Ersteller direkt (offensichtlich sexistisch), wertend (unter Verwendung von Ironie oder subtilen Hinweisen) oder nein (überhaupt nicht sexistisch) war.

Die Wendung? Der Wettbewerb wollte nicht, dass der Roboter nur ein Label auswählt. Er sollte eine Wahrscheinlichkeitsverteilung ausgeben – eine schicke Art zu sagen: „Ich bin mir zu 70 % sicher, dass dies direkt ist, zu 20 % sicher, dass es wertend ist, und zu 10 % sicher, dass es harmlos ist.“ Dies ahmt die Art und Weise nach, wie eine Gruppe menschlicher Richter bei demselben Meme unterschiedlich abstimmen könnte.

Die Strategie: Ein Detektiv, der nur den Text nutzt

Das Team unter der Leitung von Chandru Munisamy und Freunden aus Indien entschied sich für ein ganz spezielles Spiel. Obwohl Memes Bilder mit Text sind, entschieden sie sich dazu, die Bilder vollständig zu ignorieren. Sie agierten wie ein Detektiv, der nur das Transkript eines Gesprächs liest und dabei Mimik und Körpersprache ignoriert.

Warum? Sie wollten sehen, ob sie wirklich gut darin werden könnten, die Wörter und die Unsicherheit der Labels zu verstehen, ohne durch die unordentlichen visuellen Teile abgelenkt zu werden. Sie verwendeten ein leistungsstarkes Sprachgehirn namens XLM-RoBERTa (ein Modell mit 270 Millionen Parametern, das sowohl Englisch als auch Spanisch spricht) und brachten ihm einen speziellen Trick bei.

Anstatt dem Modell einfach nur zu sagen: „Das ist die Antwort“, gaben sie ihm zwei Arten von Hausaufgaben:

Die weiche Hausaufgabe: „Hier ist, wie die Menschen abgestimmt haben. Versuche, genau diese Mischung an Meinungen zu treffen.“ Sie verwendeten ein mathematisches Werkzeug namens KL-Divergenz, um die Vermutungen des Modells so aussehen zu lassen wie das menschliche Abstimmungsmuster.
Die harte Hausaufgabe: „Hier ist der offizielle Gewinner der Abstimmung. Stelle sicher, dass du auch diese richtig bekommst.“ Sie nutzten ein Standardwerkzeug namens Weighted Cross-Entropy, um sicherzustellen, dass das Modell nicht zu verwirrt wird.

Indem sie diese beiden Lektionen mischten (70 % weich, 30 % hart), hofften sie, ein Modell zu erschaffen, das sowohl präzise als auch sich der menschlichen Uneinigkeit bewusst ist.

Die Ergebnisse: Eine solide, aber nicht perfekte Leistung

Als das BioSentinel-Team sein System auf der offiziellen Prüfung (dem Testset) testete, geschah Folgendes:

Soft-Label-Score: Sie erreichten einen Wert von 0,3229 (ICM-Soft-Norm). Dies war besser als ein einfacher „Rate den häufigsten Antwort“-Roboter, der nur 0,2835 erreichte.
Hard-Label-Score: Für das Auswählen der besten Einzelantwort erreichten sie einen F1-Score von 0,4236.
Ranking: Von 118 Teams, die Soft-Label-Vorhersagen einreichten, kamen sie auf Platz 40. Von 187 Teams, die Hard-Label-Vorhersagen einreichten, waren sie auf Platz 49.

Das Team stellte fest, dass ihre „Mix-and-Match“-Trainingsmethode funktionierte. Wenn sie die „weiche“ Lektion (die KL-Divergenz) entfernten, sank ihre Fähigkeit, menschliche Meinungen abzubilden, drastisch (von 0,312 auf 0,142). Wenn sie die „harte“ Lektion entfernten, sank ihre Genauigkeit bei den Einzelantworten. Die Kombination war der Schlüssel zu ihrem Erfolg.

Der Kampf mit der Kategorie „Wertend“

Der Roboter hatte jedoch eine Schwachstelle. Er war schlecht darin, wertende Sexismus (die subtile, ironische Art) zu erkennen. Sein Wert für diese spezifische Kategorie war ein sehr niedriger 0,071.

Warum? Das Team erkannte, dass der Roboter ohne das Bild die Pointe verpasste. Viele dieser Memes verlassen sich auf einen visuellen Witz – wie eine Karikatur oder einen spezifischen Gesichtsausdruck –, den der Text allein nicht erklären konnte. Zum Beispiel mag ein Text wie „Sitzt am Familientisch...“ harmlos erscheinen, aber wenn das Bild zeigt, dass der Vater den größten Fisch bekommt und die Mutter den kleinsten, ist der Witz klar. Ohativ das Bild sah der Roboter nur einen neutralen Satz.

Das Team bemerkte auch etwas Interessantes darüber, wie der Roboter lernte. In den ersten zwei Tagen des Trainings errat er kein einziges Mal „wertend“. Er begann erst, diese knifflige Kategorie zu verstehen, nachdem er bereits gelernt hatte, zwischen „harmlos“ und „direkt“ zu unterscheiden. Dies deutet darauf hin, dass das Subtile am schwersten zu lernen ist und möglicherweise mehr Zeit oder spezielles Training benötigt.

Was sie nicht getan haben (und warum es wichtig ist)

Das Paper ist sehr ehrlich darüber, was sie nicht getan haben. Sie haben nicht versucht, die Gehirnwellendaten (EEG) oder die Eye-Tracking-Daten zu verwenden, die die Organisator des Wettbewerbs bereitgestellt haben. Warum? Weil die Daten zwischen den Trainings- und Testsets nicht übereinstimmten. Sie haben auch nicht versucht, größere, komplexere Modelle zu verwenden, da diese in ihrem spezifischen Setup instabil und verwirrt wurden.

Sie testeten auch eine „Temperatur“-Einstellung (einen Regler, der die Vorhersagen des Roboters sicherer oder unsicherer macht). In ihrem Übungstest machte das Drehen dieses Reglers auf 0,7 den Roboter etwas besser darin, menschliche Meinungen abzubilden (erhöhte den Score von 0,317 auf 0,326) und machte seine Konfidenz realistischer. Für den finalen offiziellen Test blieben sie jedoch aus Sicherheitsgründen bei den Standardeinstellungen.

Das Fazk

Das BioSentinel-Team hat gezeigt, dass man einen ordentlichen Sexismus-Detektor allein mit Text bauen kann, solange man ihn lehrt, die menschliche Uneinigkeit zu respektieren. Durch die Verwendung einer Mischung aus „weichen“ und „harten“ Lektionen erschufen sie ein Modell, das die Grauzonen menschlicher Meinung besser versteht als ältere Methoden.

Aber das Paper warnt uns auch: Wenn man die hinterhältigen, ironischen Witze erfassen will, kann man nicht nur den Text lesen. Man muss das Bild sehen. Der Kampf des Roboters mit der Kategorie „wertend“ beweist, dass manchmal der visuelle Kontext das Einzige ist, was den Witz (oder die Beleidigung) sinnvoll macht. Das Team schlägt vor, dass zukünftige Roboter versuchen sollten, sowohl die Wörter als auch die Bilder zu betrachten, um die ganze Geschichte zu verstehen.

Technisches Resümee: BioSentinel bei EXIST 2026

Problemdefinition
Dieses Paper befasst sich mit der EXIST 2026 Task 2.2, „Source Intention in Memes“, einer Herausforderung, die auf die Klassifizierung der kommunikativen Intention hinter Memes fokussiert ist, die potenziell sexistische Inhalte enthalten. Die Aufgabe operiert unter einem Learning with Disagreement (Le-Wi-Di) Paradigma, das von Modellen verlangt, nicht nur ein einzelnes hartes Label (direkt, wertend oder kein/keines) vorherzusagen, sondern auch eine weiche Wahrscheinlichkeitsverteilung, welche die Varianz in den Meinungen menschlicher Annotatoren widerspiegelt. Der Datensatz besteht aus 3.984 Trainings- und 1.053 Testinstanzen in Englisch und Spanisch, die jeweils von sechs menschlichen Ratgebern annotiert wurden. Eine zentrale Herausforderung ist die inhärente Subjektivität von „wertender“ (impliziter/ironischer) Sexistenz, bei der Annotatoren häufig uneinig sind, sowie das Klassenungleichgewicht, wobei die Kategorie „wertend“ nur 14,2 % der auflösbaren Instanzen ausmacht.

Methodik
Das BioSentinel-Team schlägt einen textzentrierten Ansatz vor, der den xlm-roberta-base Transformer (270 Mio. Parameter) nutzt. Das System schließt Bild- und physiologische Sensordaten (EEG, Eye-Tracking) bewusst aus, um die Wirksamkeit der Soft-Label-Optimierung auf Text zu isolenieren, wobei auf Probleme mit fehlenden Merkmalen und Synchronisation in den multimodalen Daten verwiesen wird.

Die zentrale Innovation liegt in der zusammengesetzten Verlustfunktion (Composite Loss Function), die für das Le-Wi-Di Paradigma entwickelt wurde:
$\mathcal{L}_{train} = \alpha \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{CE}$

KL-Divergenz ( $\mathcal{L}_{KL}$ ): Minimiert die Divergenz zwischen der vorhergesagten Verteilung des Modells und der weichen Gold-Verteilung, die aus den Stimmen der Annotatoren abgeleitet wurde. Dieser Term ( $\alpha=0,7$ ) ist der primäre Treiber für die Abstimmung der Vorhersagen mit der menschlichen Unsicherheit.
Gewichtete Kreuzentropie ( $\mathcal{L}_{CE}$ ): Wird auf Instanzen mit offiziellen harten Labels angewendet, wobei fest definierte normalisierte Klassengewichte verwendet werden, um die unterrepräsentierte „wertende“ Klasse stärker zu bestrafen ( $\beta=0,3$ ).
Architektur: Das Modell verarbeitet per OCR extrahierten Text durch XLM-RoBERTa, gefolgt von einem Klassifizierungs-Head (768 $\to$ 256 $\to$ 3).
Trainingskonfiguration: Trainiert für 6 Epochen auf NVIDIA A100 GPUs mit AdamW und einer Lernrate von $2 \times 10^{-5}$ . Der finale Checkpoint (Epoche 4) wurde basierend auf der minimalen Validierungs-KL-Divergenz ausgewählt.
Temperatur-Analyse: Während für die offiziellen Testvorhersagen die rohe Softmax-Funktion ( $T=1,0$ ) verwendet wurde, zeigte eine Post-hoc-Analyse auf dem Validierungsdatensatz, dass eine Temperatur von $T=0,7$ die Soft-Label-Metriken verbesserte und den Expected Calibration Error (ECE) reduzierte.

Wichtigste Ergebnisse
Auf dem offiziellen Testset erreichte das System die folgenden Leistungen:

ICM-Soft-Norm: 0,3229 (Rang 40 von 118 Einreichungen).
ICM-Norm: 0,3778.
Hard Macro-F1: 0,4236 (Rang 49 von 187 Einreichungen).

Das System übertraf signifikant die Mehrheitsklassen-Hard-Baseline (F1 = 0,1676) und die Prior-Verteilungs-Soft-Baseline (ICM-Soft-Norm = 0,2835).

Ablation und Analyse

Beitrag des Verlusts: Ablationsstudien bestätigten, dass die KL-Divergenz entscheidend für die Soft-Label-Leistung ist (ICM-Soft-Norm sank von 0,312 auf 0,142, als sie entfernt wurde), während die Kreuzentropie essenziell für die Hard-Label-Genauigkeit ist (F1 sank von 0,348 auf 0,294, als sie entfernt wurde).
Klassenleistung: Das Modell hatte erhebliche Schwierigkeiten mit der „wertenden“ Klasse (F1 = 0,071). Die Fehleranalyse deutet darauf hin, dass dies auf die Beschränkung auf reinen OCR-Text zurückzuführen ist, der den visuellen Kontext, Ironie und kulturelle Tropen, die für die Identifizierung impliziter Sexistenz entscheidend sind, vermissen lässt.
Cold-Start-Verhalten: Das Modell zeigte ein „Cold-Start“-Phänomen, indem es in den ersten zwei Epochen null „wertende“ Vorhersagen lieferte, was auf eine Schwierigkeit hindeutet, subtile Muster ohne erweitertes Training oder spezifische Augmentierung zu erlernen.
Architekturstabilität: Explorative Durchläufe mit größeren Modellen (Gemma 2 2B, DeBERTa-v3-large, XLM-RoBERTa-large) waren unter denselben Hyperparametern weniger stabil als das Basismodell und neigten dazu, zu divergieren oder zu Vorhersagen der Mehrheitsklasse zu konvergieren.

Bedeutung und Ansprüche
Die Autoren positionieren diese Arbeit als Demonstration dafür, dass die Soft-Label-Optimierung via KL-Divergenz die menschliche Uneinigkeit in subjektiven NLP-Aufgaben effektiv erfassen kann, was herkömmliche Majoritäts-Voting-Ansätze verbessert. Das Paper behauptet, dass die Kombination von KL-Divergenz mit gewichteter Kreuzentropie es einem leichtgewichtigen, rein textbasierten Modell ermöglicht, die Balance zwischen Verteilungsabgleich und Hard-Label-Genauigkeit zu halten.

Die Autoren vertreten eine bescheidene Position bezüglich ihrer Ergebnisse:

Limitierungen: Sie räumen ein, dass der rein textbasierte Ansatz inhärent daran scheitert, die visuell-textuelle Interaktion zu erfassen, die für die Interpretation von Memes zentral ist, insbesondere für die Klasse der „wertenden“ Inhalte.
Umfang: Die Stabilitätsprobleme größerer Modelle werden als explorative Beobachtungen präsentiert und nicht als definitive Schlussfolgerungen über die Modellskalierung, wobei angemerkt wird, dass eine dedizierte Hyperparameter-Suche für die Generalisierung erforderlich wäre.
Ethik: Das Paper warnt explizit vor dem Einsatz solcher Systeme zur automatisierten Inhaltsmoderation ohne menschliche Aufsicht, aufgrund der Risiken ungerechter Zensur und der Verbreitung schädlicher Inhalte durch False Negatives.

Zusammenfassend validiert das BioSentinel-System die Nützlichkeit des Le-Wi-Di Paradigmas und zusammengesetzter Verlustfunktionen für die Erkennung von Sexismus in Memes, während es gleichzeitig die spezifischen Herausforderungen der Modellierung von impliziter Intention ohne multimodalen Kontext hervorhebt.