💻 computer science

SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs

Das Papier stellt SHALA-LLM vor, ein Reinforcement-Learning-Framework, das das Alignment von LLMs verbessert, indem es die Ambiguität von Annotator-Labels als wertvolle Information anstatt als Rauschen behandelt und dadurch ambivalente Stichproben dynamisch priorisiert, um menschliche Urteilverteilungen besser zu modellieren und gleichzeitig die Klassifizierungsleistung zu steigern.

Ursprüngliche Autoren: Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Wenn alle sich uneinig sind

Stellen Sie sich vor, Sie sind eine Lehrerin, die den Aufsatz eines Schülers bewertet. Sie bitten fünf verschiedene Experten, denselben Absatz zu lesen und zu entscheiden, ob er „Wahr“, „Falsch“ oder „Vielleicht“ ist.

Experte A sagt: „Definitiv Wahr.“
Experte B sagt: „Definitiv Falsch.“
Die Experten C, D und E sagen: „Es ist ein bisschen von beidem; es ist mehrdeutig.“

In der Vergangenheit haben Forscher, wenn sie KI (Large Language Models oder LLMs) trainierten, sich diese fünf Meinungen angesehen und gesagt: „Okay, drei Leute haben ‚Vielleicht‘ gesagt, also ist die Antwort Vielleicht.“ Sie haben die Tatsache, dass zwei Experten stark uneinig waren, ignoriert. Sie behandelten die Uneinigkeit als „Rauschen“ oder als einen Fehler, der behoben werden müsste.

Die Autoren dieses Papers argumentieren, dass dies ein Fehler ist. Sie sagen, die Uneinigkeit ist kein Rauschen; sie ist eine Information. Die Tatsache, dass kluge Menschen sich nicht einig werden können, sagt der KI, dass die Situation knifflig, komplex und interpretationsbedürftig ist.

Die Lösung: SHALA-LLM

Das Team hat eine neue Methode namens SHALA-LLM (Smartly Handling Ambiguous Labels in Aligning LLMs) entwickelt. Denken Sie an eine neue Art, die KI zu lehren, dem gesamten Gespräch der Experten zuzuhören und nicht nur der lautesten Stimme.

So funktioniert es, Schritt für Schritt:

1. Die „Wahlkabine“ statt einer einzelnen Antwort

Anstatt die KI zu zwingen, sich nur für ein Label zu entscheiden (wie „Wahr“), bittet SHALA-LLM die KI, eine Wahrscheinlichkeitsverteilung anzugeben.

Alter Weg: Die KI sagt: „Ich bin mir zu 100 % sicher, dass dies ‚Wahr‘ ist.“
SHALA-LLM Weg: Die KI sagt: „Ich denke, es besteht eine 40-prozentige Chance, dass es ‚Wahr‘ ist, eine 40-prozentige Chance, dass es ‚Falsch‘ ist, und eine 20-prozentige Chance, dass es ‚Vielleicht‘ ist.“

Dies entspricht der Realität der menschlichen Experten, die gespalten waren.

2. Der „Konfusions-Bonus“ (Das Geheimrezept)

Dies ist der kreativste Teil des Papers. Die Forscher haben erkannt, dass manche Fragen einfach sind (alle sind sich einig) und manche schwer (alle streiten).

Einfache Frage: Alle sind sich einig. Die KI erhält eine Standardbelohnung dafür, dass sie richtig liegt.
Schwierige Frage: Die Menschen sind verwirrt und uneinig.

In SHALA-LLM erhält die KI einen speziellen „Konfusions-Bonus“. Wenn die menschlichen Experten bei einem bestimmten Beispiel stark verwirrt sind, wird die KI mehr dafür belohnt, genau dieses Beispiel zu lernen.

Die Analogie: Stellen Sie sich einen Trainer vor, der einen Fußballspieler trainiert. Wenn der Spieler ein einfaches Tor schießt, bekommt er ein High-Five. Aber wenn der Spieler auf einem rutschigen, schlammigen Feld trainiert, auf dem der Ball unvorhersehbar springt (hohe Mehrdeutigkeit), und es trotzdem schafft, ein Tor zu erzielen, gibt ihm der Trainer einen riesigen Pokal.
Die KI lernt, dass die „schlammigen, verwirrenden“ Beispiele die wertvollsten sind, um intelligenter zu werden.

3. Das Ergebnis: Eine menschenähnlichere KI

Das Team hat dies bei Aufgaben wie getestet:

NLI (Natural Language Inference): Entscheiden, ob ein Satz logisch aus einem anderen folgt.
ER (Emotion Recognition): Erraten, ob eine Stimme glücklich, traurig oder wütend klingt.

Was passierte?

Bessere Übereinstimmung: Die „Vermutungen“ (Verteilungen) der KI stimmten viel besser mit der Verteilung der menschlichen Meinungen überein als zuvor. Es reduzierte die Lücke zwischen dem, was die KI dachte, und dem, was Menschen dachten, um bis zu 62 %.
Bessere Genauigkeit: Überraschenderweise wurde die KI auch besser darin, die einzelne „beste“ Antwort zu wählen, indem sie lernte, mit der Verwirrung umzugehen. Sie verbesserte ihre Genauigkeitsrate um bis zu 16 %.
Robustheit: Wenn die Aufgaben extrem schwierig und verwirrend wurden, brachen die alten KI-Modelle zusammen. Das SHALA-LLM-Modell blieb stabil. Es geriet nicht in Panik, wenn die Menschen uneinig waren; es nutzte diese Uneinigkeit, um tiefere Muster zu lernen.

Das Fazum

Das Paper behauptet, dass wir, indem wir menschliche Uneinigkeit als ein Merkmal (ein hilfreiches Signal) anstatt als einen Fehler (einen Bug) behandeln, eine KI bauen können, die ehrlicher in Bezug auf Unsicherheit ist und in realen Situationen, in denen die Dinge nicht schwarz-weiß sind, genauer arbeitet.

Die KI lernt nicht nur, was sie sagen soll; sie lernt, wie unsicher sie sein sollte, was sie zu einem viel besseren Nachahmer menschlicher Urteilskraft macht.

Technisches Resümee: SHALA-LLM

Problemstellung

Viele menschenzentrierte Aufgaben der natürlichen Sprachverarbeitung, wie etwa das Natural Language Inference (NLI) und die Emotionserkennung (ER), besitzen von Natur aus mehrere plausible Interpretationen. Dies führt zu Label-Ambiguität (Mehrdeutigkeit der Labels) und erheblichen Unstimmigkeiten unter menschlichen Annotatoren, die durch Faktoren wie kontextuelles Verständnis, kulturellen Hintergrund und persönliche Erfahrung getrieben werden.

Aktuelle Paradigmen des Alignment von Large Language Models (LLMs) behandeln diese Unstimmigkeiten der Annotatoren überwiegend als Rauschen. Sie kollabieren ambivalente Annotationen typischerweise zu einem einzigen „Goldstandard“-Label mittels Mehrheitsentscheidung oder Mittelwertbildung. Dieser Ansatz verwirft die reichhaltigen Informationen, die in menschlicher Uneinigkeit eingebettet sind, insbesondere in hochgradig ambivalenten Szenarien. Während jüngere Studien die distributionale Ausrichtung untersucht haben, operieren diese oft nur zur Inferenzzeit (via Prompting) und nicht direkt durch die Optimierung von LLMs während des Trainings, um die Unstimmigkeit der Annotatoren zu berücksichtigen. Folglich versagen bestehende Methoden darin, die volle Verteilung menschlicher Urteile zu bewahren oder Proben, bei denen Ambiguität am informativsten ist, dynamisch zu priorisieren.

Methodik: SHALA-LLM

Die Autoren schlagen SHALA-LLM (Smartly Handling Ambiguous Labels in Aligning LLMs) vor, ein Reinforcement Learning (RL)-Framework, das darauf ausgelegt ist, LLMs direkt mit empirischen Annotator-Distributionen anstatt mit einzelnen kollabierten Labels abzustimmen. Das Framework operiert durch die folgenden Schlüsselkomponenten:

1. Problemformulierung

Anstatt Annotationen zu einem einzelnen Label zu kollabieren, leitet SHALA-LLM eine empirische Label-Distribution ( $p_q$ ) aus $N$ menschlichen Annotatoren für eine gegebene Probe $q$ ab. Diese Distribution repräsentiert die Wahrscheinlichkeit jeder Kandidatenklasse basierend auf der Häufigkeit der Stimmen der Annotatoren. Das Ziel ist es, das LLM so zu trainieren, dass seine Vorhersagen ( $\hat{p}$ ) mit dieser zugrunde liegenden menschlichen Urteilswertverteilung übereinstimmen.

2. Verbalisierte Distributionsvorhersage

Um die distributionale Lernfähigkeit zu erleichtern, wird das LLM angewiesen, verbalisierte Distributionen zu generieren. Anstatt eine einzelne Klasse auszugeben, generiert das Modell eine textuelle Antwort, die Wahrscheinlichkeitsschätzungen für alle Kandidatenklassen enthält (z. B. in einem JSON-Format). Diese textuellen Ausgaben werden in eine vorhergesagte Wahrscheinlichkeitsverteilung $\hat{p}^{(q,i)}$ geparst.

3. Reward-Design: Ambiguitäts-verstärkte Optimierung

Die zentrale Innovation liegt in der Belohnungsfunktion (Reward Function), die innerhalb des Group Relative Policy Optimization (GRPO)-Frameworks verwendet wird. Der Reward $r^{SHALA}_{(q,i)}$ für einen Stichproben-Rollout ist definiert als:

$r^{SHALA}_{(q,i)} = \tilde{H}(p_q) \cdot [1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$

Wobei:

Distributionaler Alignment-Term: $[1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$ misst die Übereinstimmung zwischen der vorhergesagten Verteilung des Modells und der Annotator-Verteilung mittels der Jensen-Shannon-Divergenz (JS-Distanz). Dies ersetzt die spärlichen, binären Rewards der Mehrheits-Label-Supervision durch kontinuierliche Rewards, die proportional zur distributionalen Übereinstimmung sind.
Ambiguitäts-Verstärkungs-Term: $\tilde{H}(p_q)$ $\tilde{H} (p_{q})$ ist die normierte Entropie der Annotator-Distribution. Sie quantifiziert den Grad der Uneinigkeit (Ambiguität) unter den Annotatoren.
- Dynamische Gewichtung: Proben mit höherer Unstimmigkeit unter den Annotatoren (höhere Entropie) erhalten proportional verstärkte Rewards. Dies priorisiert hochgradig ambivalente Proben während der Optimierung dynamisch und zwingt das Modell, aus reicheren Strukturen der Uneinigkeit zu lernen, anstatt nur aus dominanten Labels.

4. Optimierung

Das Framework nutzt GRPO, um die Policy zu optimieren. Durch die Berechnung von gruppen-normalisierten Advantages basierend auf den Ambiguitäts-verstärkten Rewards fördert SHALA-LLM das Modell darin, Unsicherheit und diverse menschliche Interpretationen zu erfassen. Dies formt die Reward-Geometrie neu, was zu glatteren Advantage-Distributionen und informativeren Policy-Updates unter ambivalenter Supervision führt.

Zentrale Beiträge

Paradigmenwechsel: Die Arbeit stellt die Annahme in Frage, dass Unstimmigkeiten der Annotatoren Rauschen sind, und definiert sie stattdessen als informatives Signal, das das Modellverhalten verbessert.
Algorithmische Innovation: Sie führt einen neuartigen RL-basierten Algorithmus (SHALA-LLM) ein, der Ambiguitäts-bewusste Reward-Modulation direkt in den Trainingszyklus integriert, unter spezifischer Nutzung von GRPO.
Duale Verbesserung: Die Methode zeigt, dass die Modellierung der Annotator-Unstimmigkeit nicht nur die distributionale Ausrichtung (Erfassung menschlicher Unsicherheit) verbessert, sondern auch die Standard-Klassifikationsleistung (F1-Scores) steigert – entgegen der Annahme, dass die Handhabung von Ambiguität die Genauigkeit beeinträchtigt.

Experimentelle Ergebnisse

Das Framework wurde auf Ambiguitäts-sensitiven NLI- und ER-Benchmarks evaluiert: ChaosNLI, GoEmotions und MSP-Podcast.

Distributionale Ausrichtung: SHALA-LLM reduzierte die Jensen-Shannon-Distanz (JSD) zwischen Modellvorhersagen und menschlichen Verteilungen signifikant. Auf ChaosNLI wurde die JSD im Vergleich zur Majority-Label-Supervision (MLS) um 62,1 % reduziert. Auf MSP-Podcast sank die JSD um 6,2 %.
Klassifikationsleistung: Entgegen der Erwartung, dass distributionale Supervision die Genauigkeit der Punktschätzung verschlechtern könnte, verbesserte SHALA-LLM die F1-Scores. Auf ChaosNLI stieg der F1-Wert um 16,6 %; auf MSP-Podcast stieg er im Vergleich zu MLS um 29,2 %.
Robustheit gegenüber Ambiguität: Eine Analyse über verschiedene Ambiguitätsgrade (niedrig, mittel, hoch) zeigte, dass SHALA-LLM eine stabile Leistung beibehält, während die Ambiguität zunimmt, wohingegen Baseline-Methoden (wie MLS) in hoch-ambivalenten Szenarien signifikant an Leistung verlieren.
Kategoriespezifische Gewinne: Das Modell zeigte besonders starke Verbesserungen bei inhärent ambivalenten semantischen Kategorien (z. B. „Contradiction“ in NLI und „Surprise“ in ER), bei denen Baseline-Modelle oft Schwierigkeiten haben.
Reasoning-Verhalten: Die qualitative Analyse zeigte, dass SHALA-LLM Reasoning-Muster generiert, die mehrere valide Interpretationen und Unsicherheit widerspiegeln, anstatt die übermäßig selbstbewussten Single-Interpretation-Outputs, die typisch für Zero-Shot- oder Majority-Label-Baselines sind.

Bedeutung und Behauptungen

Die Autoren behaupten, dass SHALA-LLM den Wert demonstriert, Unstimmigkeiten der Annotatoren als Signal statt als Rauschen zu behandeln. Durch die Bewahrung von Unstimmigkeitsstrukturen und die dynamische Priorisierung ambivalenter Proben führt das Framework zu einem robusteren, stärker am Menschen ausgerichteten Verhalten der LLMs in subjektiven, realen Szenarien.

Die Arbeit kommt zu folgendem Schluss:

Bewahrung von Unstimmigkeiten: Die Beibehaltung der vollen Struktur menschlicher Urteile ermöglicht es Modellen, aus diversen und potenziell widersprüchlichen Labels zu lernen, was zu einer besseren Ausrichtung auf menschliche Verteilungen führt.
Leistungs-Synergie: Ambiguitäts-bewusste Optimierung opfert nicht die Klassifikationsgenauigkeit zugunsten der Ausrichtung, sondern stärkt beide.
Generalisierbarkeit: Der Ansatz ist effektiv über verschiedene Modalitäten (Text und Sprache) und Aufgabentypen (Inferenz und Emotionserkennung) hinweg.

Die Autoren räumen Einschränkungen ein und merken an, dass sich die aktuelle Evaluierung auf strukturierte Label-Verteilungen konzentriert und noch nicht auf offen-generative Aufgaben oder komplexe Multi-Turn-Interaktionen eingeht. Sie weisen zudem darauf hin, dass das Framework davon ausgeht, dass empirische Verteilungen die zugrunde liegenden Faktoren wie die Expertise der Annotatoren adäquat repräsentieren, was nicht alle Quellen der Ambiguität vollständig erfassen kann. Dennoch deutet die Arbeit auf eine vielversprechende Richtung für die Entwicklung robusterer, menschenzentrierter Large Language Models hin.