LeWiDi-2025 at NLPerspectives: Third Edition of the Learning with Disagreements Shared Task
Die dritte Edition der LeWiDi Shared Task bei NLPerspectives treibt die Entwicklung von meinungsdifferenzbewusster KI voran, indem sie den Benchmark auf vier vielfältige NLP-Aufgaben mit ordinalen Labeling-Schemata erweitert, sowohl Soft-Label- als auch perspektivistische Evaluationsparadigmen mit neuartigen Metriken einführt und neue Ressourcen sowie Einblicke in die Modellierung menschlicher Urteilsvariation bereitstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die menschliche Sprache zu verstehen. Lange Zeit haben wir Roboter, indem wir ihnen Beispiele zeigten, bei denen sich alle über die Antwort einig waren, wie „2 + 2 = 4“. Aber im echten Leben sind Menschen oft uneinig. Eine Person findet einen Witz vielleicht urkomisch, während eine andere ihn beleidigend findet. Eine Person sieht in einem Satz eine Lüge, während eine andere darin eine harmlose Meinung sieht.
Dieses Paper beschreibt die dritte Ausgabe eines „Wettbewerbs“ (genannt LeWiDi-2025), der darauf ausgelegt ist, KI-Modelle zu lehren, mit diesen Meinungsverschiedenheiten umzugehen, anstatt so zu tun, als gäbe es sie nicht.
Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben, unter Verwendung einiger alltäglicher Analogien:
1. Das Ziel: Der KI beibringen, der Menge zuzuhören
Anstatt die KI zu zwingen, sich für nur eine einzige „richtige“ Antwort zu entscheiden, wollten die Organisatoren sehen, ob die KI das gesamte Bild der menschlichen Meinung erfassen kann.
- Der alte Weg: Wenn 10 Leute über einen Film abstimmen und 6 sagen „Gut“ und 4 sagen „Schlecht“, würde die alte KI einfach gesagt bekommen: „Die Antwort ist Gut.“ Sie ignoriert die 4 Personen.
- Der neue Weg: Der KI wird gesagt: „Hier ist die ganze Geschichte: 6 Leute fanden ihn gut, 4 nicht. Deine Aufgabe ist es zu verstehen, warum sie so empfunden haben, und die Mischung der Meinungen vorherzusagen.“
2. Die vier „Spiele“ (Datensätze)
Der Wettbewerb gab den Teilnehmern vier verschiedene Arten von Rätseln, die sie lösen mussten, von denen jedes eine andere Art menschlicher Uneinigkeit repräsentiert:
- Das Sarkasmus-Spiel (CSC): Stellen Sie sich vor, Sie lesen eine Textnachricht. Ist es ein aufrichtiges Kompliment oder ein sarkastischer Seitenhieb? Verschiedene Menschen bewerten, wie „sarkastisch“ es ist, auf einer Skala von 1 bis 6.
- Das Ironie-Spiel (MP): Ein kurzer Post und eine Antwort. Ist die Antwort ironisch? Dies wurde in 9 verschiedenen Sprachen gespielt (wie Englisch, Spanisch und Arabisch), was zeigt, dass Ironie ein globales Problem ist.
- Das Paraphrasen-Spiel (Par): Es werden zwei Fragen gestellt. Fragen sie dasselbe? Anstatt eines einfachen „Ja/Nein“ bewerteten Menschen, wie ähnlich sie sich auf einer Skala von -5 bis 5 waren.
- Das Logik-Spiel (VEN): Eine Aussage und ein Fakt. Beweist der Fakt die Aussage, widerspricht er ihr oder hat er nichts damit zu tun? Hier mussten die Menschen auch Erklärungen für ihre Antworten schreiben.
3. Die zwei Wege zu spielen (Aufgaben)
Die Teilnehmer mussten zwischen zwei verschiedenen Wegen wählen, um das Verständnis ihrer KI zu zeigen:
- Aufgabe A: Der „Wettervorhersager“ (Soft-Label)
Anstatt eine spezifische Antwort zu erraten, agiert die KI wie ein Wettervorhersager. Sie sagt nicht nur „Es wird regnen“, sondern sagt: „Es gibt eine 60-prozentige Chance auf Regen, eine 30-prozentige Chance auf Sonne und eine 10-prozentige Chance auf Schnee.“ Die KI sagt die Verteilung voraus, wie Menschen abstimmen würden. - Aufgabe B: Der „Gedankenleser“ (Perspektivismus)
Das ist schwieriger. Die KI muss erraten, was eine bestimmte Person sagen würde. Wenn Sie der KI sagen: „Hier ist, was Person X normalerweise denkt“, muss die KI vorhersagen: „Basierend auf der Geschichte von Person X wird sie wahrscheinlich diese Antwort geben.“ Es ist, als ob man vorhersagt, ob Ihr mürrischer Onkel oder Ihre optimistische Tante einem Witz zustimmen würde.
4. Die neue Bewertung (Metriken)
In der Vergangenheit verwendeten die Richter ein einfaches Lineal, um zu messen, wie weit die KI daneben lag. Aber dieses Lineal funktionierte nicht gut für Dinge wie „Sarkasmus-Skalen“ oder „mehrere Sprachen“.
- Das neue Lineal: Sie haben neue Wege erfunden, um den Erfolg zu messen.
- Für die „Skalen“ (wie 1 bis 6) verwendeten sie eine Metrik, die versteht, dass eine Abweichung um einen Punkt (z. B. 4 statt 5 zu sagen) besser ist als eine Abweichung um fünf Punkte (z. B. 1 statt 5 zu sagen).
- Für die „Gedankenleser“-Aufgabe maßen sie, wie gut die KI die spezifischen Vorurteile und Gewohnheiten einzelner Menschen imitieren konnte.
5. Die Ergebnisse: Wer hat gewonnen?
Etwa 15 Teams nahmen am Wettbewerb teil. Hier ist das, was sie herausgefunden haben:
- Der „Großes Gehirn“-Ansatz: Die Top-Teams verwendeten Large Language Models (LLMs) – dieselbe Art von superintelligenten KIs, die Aufsätze schreiben und mit Ihnen chatten. Diese Modelle waren sehr gut darin, sich Beispiele anzusehen, wie verschiedene Menschen abgestimmt haben, und dieses Muster zu kopieren.
- Der „Klein, aber oho“-Ansatz: Einige Teams verwendeten kleinere, spezialisierte Modelle. Diese schnitten auf den kleineren, kniffligeren Datensätzen überraschend gut ab.
- Die Geheimzutat: Die Gewinnersysteme betrachteten nicht nur den Text; sie betrachteten, wer den Text schrieb. Sie nutzten Hinweise wie das Alter, das Geschlecht oder die bisherige Abstimmungshistorie des Annotators, um bessere Vermutungen anzustellen.
- Der „Erklärungs“-Bonus: Beim Logik-Spiel schnitten Teams, die der KI die Erklärungen fütterten, die die Menschen geschrieben hatten (und nicht nur die Antworten), viel besser ab. Es ist, als würde man verstehen, warum jemand abgestimmt hat, und nicht nur, wie.
6. Die Einschränkung (Limitierungen)
Die Autoren sind ehrlich darüber, was sie nicht getestet haben:
- Das „Neues Gesicht“-Problem: In der realen Welt treffen Sie vielleicht einen Fremden, dessen Meinung Sie noch nie gesehen haben. In diesem Wettbewerb wurde die KI an Menschen getestet, die sie bereits während des Trainings „kennengelernt“ hatte. Wir wissen noch nicht, ob diese Modelle auch eine völlig neue Person erfassen können.
- Nur Text: Der Wettbewerb drehte sich nur um Lesen und Schreiben. Wir wissen nicht, ob diese Methoden auch für Bilder, Videos oder Sprache funktionieren.
Zusammenfassung
Dieses Paper ist ein Zeugnis für einen Wettbewerb, der die KI gelehrt hat, aufzuhören so zu tun, als würden alle zustimmen. Durch die Verwendung neuer Bewertungsmethoden und die Konzentration auf die chaotische Realität menschlicher Uneinigkeit zeigten die Gewinner, dass die besten KI-Modelle diejenigen sind, die eine Menge betrachten, die verschiedenen Stimmen innerhalb dieser Menge verstehen und die Mischung der Meinungen vorhersagen können, anstatt nur einen einzelnen Sieger zu wählen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.