💬 NLP

SHARP: Social Harm Analysis via Risk Profiles for Measuring Inequities in Large Language Models

Dieses Paper führt SHARP ein, ein multidimensionales und distributionsbewusstes Evaluierungsframework, das über skalare Mittelwerte hinausgeht, um sozialen Schaden in großen Sprachmodellen mittels Risikoprofilen und tailsensiblen Metriken wie CVaR zu messen, wodurch signifikante verborgene Ungleichheiten und Worst-Case-Fehlentwicklungen aufgedeckt werden, die traditionelle Benchmarks verschleiern.

Ursprüngliche Autoren: Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

Veröffentlicht 2026-01-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Warum „Durchschnittswerte“ lügen

Stellen Sie sich vor, Sie kaufen ein Auto. Der Autoverkäufer sagt Ihnen: „Dieses Auto hat eine Durchschnittsgeschwindigkeit von 100 km/h.“ Das klingt gut, oder?

Aber was, wenn dieser „Durchschnitt“ ein Geheimnis verbirgt? Was, wenn das Auto normalerweise nur 10 km/h fährt, aber ab und zu, ohne Grund, plötzlich auf 200 km/h beschleunigt und dann verunfallt? Der Durchschnitt liegt immer noch bei 100, aber das Worst-Case-Szenario ist terrerisch.

Genau das ist das Argument der vorliegenden Arbeit in Bezug auf Large Language Models (LLMs). Aktuelle Tests betrachten meist die „durchschnittliche“ Leistung von KI. Sie geben eine einzige Zahl (einen Skalarwert) an, um zu sagen, wie „sicher“ oder „fair“ eine KI ist. Die Autoren sagen, dass dies gefährlich ist, weil es die seltenen, schweren Ausfälle verbirgt, die in Hochrisikosituationen wie bei Einstellungen, im Gesundheitswesen oder in der Justiz echten Schaden anrichten könnten.

Die Lösung: SHARP (Die „Wettervorhersage“ für KI)

Die Autoren führen ein neues Framework namens SHARP ein. Anstatt zu fragen: „Wie schneidet diese KI im Durchschnitt ab?“, fragt SHARP: „Was ist das Schlimmste, was diese KI tun könnte, und wie oft passiert das?“

Stellen Sie sich SHARP nicht als Zeugnis mit einer einzigen Note vor, sondern als eine Wettervorhersage für einen Sturm.

Der alte Weg: „Die durchschnittliche Windgeschwindigkeit heute beträgt 10 km/h.“ (Sicher, langweilig, übersieht den Hurrikan).
Der SHARP-Weg: „Obwohl der Durchschnitt bei 10 km/h liegt, besteht eine 5 %ige Chance auf eine 100 km/h starke Böe, die Bäume umknicken könnte.“

Wie SHSHARP funktioniert: Die vier „Gefahrenzonen“

Die Arbeit unterteilt „Schaden“ in vier spezifische Kategorien, vergleichbar mit vier verschiedenen Sensoren auf einem Raumschiff:

Bias (Voreingenommenheit): Ist die KI gegenüber bestimmten Gruppen voreingenommen?
Fairness (Gerechtigkeit): Behandelt sie Menschen in ihren Antworten ungleich?
Ethics (Ethik): Sagt sie Dinge, die moralisch falsch sind?
Epistemic Reliability (Epistemische Zuverlässigkeit): Lügt sie oder erfindet sie Dinge dazu (Halluzinationen)?

Anstatt all dies in eine einzige große „Sicherheitszahl“ zu mischen, misst SHARP sie separat. Es ist, als würde man den Motor, die Bremsen und die Reifen separat prüfen, anstatt nur zu sagen: „Das Auto ist zu 80 % gut.“

Das Geheimrezept: Den Blick auf den „Tail“ richten

Der wichtigste Teil von SHARP ist eine Metrik namens CVaR95 (Conditional Value at Risk).

Die Analogie: Stellen Sie sich eine Schlange von 100 Menschen vor.
- Durchschnittliches Risiko: Sie betrachten die Größe aller Menschen und finden den Durchschnitt.
- SHARP (CVaR95): Sie ignorieren die ersten 95 Personen. Sie schauen sich nur die größten 5 Personen an (den „Tail“ bzw. den „Endbereich“ der Verteilung). Dann berechnen Sie die Durchschnittsgröße von nur diesen 5 Personen.

Warum? Weil es in der Hochrisiko-KI auf den „Tail“ (die schlimmsten 5 % der Antworten) ankommt – genau jene, die Katastrophen verursachen können. Wenn eine KI meistens höflich ist, aber gelegentlich Hassrede verbreitet, sieht der „Durchschnitt“ gut aus, aber der „Tail“ sieht gefährlich aus. SHARP konzentriert sich ausschließlich auf diesen gefährlichen Bereich.

Was sie herausgefunden haben: Die „versteckten“ Gefahren

Die Autoren testeten 11 der klügsten verfügbaren KI-Modelle. Hier ist, was SHARP enthüllte, was herkömmliche Tests übersehen haben:

Die „Zwilling-Illusion“: Zwei KI-Modelle können exakt denselben durchschnittlichen Sicherheitswert haben. Aber wenn man sich ihre schlechtesten 5 % der Antworten ansieht, ist eines vielleicht leicht riskant, während das andere drei- bis viermal schlimmer ist. Auf einem Standard-Zeugnis sehen sie identisch aus, aber in einer Krise sind sie völlig verschieden.
Unterschiedliche Schwachstellen: Einige Modelle sind großartig darin, fair zu sein, aber schrecklich darin, nicht zu lügen (Halluzinationen). Andere sind gut darin, nicht zu lügen, aber schlecht darin, nicht voreingenommen zu sein. Man kann nicht einfach sagen: „Modell A ist besser als Modell B.“ Man muss sagen: „Modell A ist sicherer für dieses spezifische Risiko, aber Modell B ist sicherer für jenes.“
Bias ist das größte Problem: Über alle Modelle hinweg wurde der „Tail“ (die schlimmsten Fälle) am häufigsten durch Bias verursacht. Wenn Dinge wirklich schiefgingen, lag es meistens daran, dass die KI voreingenommen war.

Das Fazit: Hören Sie auf, sich auf Durchschnittswerte zu verlassen

Die Arbeit kommt zu dem Schluss, dass wir aufhören müssen, KI-Sicherheit wie ein einfaches Matheproblem mit einer einzigen Antwort zu behandeln.

Alter Weg: „Diese KI ist zu 90 % sicher.“ (Zu simpel, verbirgt die Gefahr).
SHARP-Weg: „Diese KI ist meistens sicher, aber in den schlimmsten 5 % der Fälle versagt sie massiv bei Bias und Halluzinationen.“

Durch die Nutzung von SHARP können Regulierungsbehörden und Unternehmen bessere Entscheidungen treffen. Anstatt die KI mit dem höchsten „Durchschnittswert“ zu wählen, können sie diejen mögen, die das sicherste Worst-Case-Szenario hat. Es ist der Unterschied zwischen dem Kauf eines Autos basierend auf seiner Höchstgeschwindigkeit versus dem Kauf eines Autos basierend darauf, wie gut seine Bremsen im Notfall funktionieren.

Kurz gesagt: SHARP ist ein neues Werkzeug, das verhindert, dass wir von „guten Durchschnitten“ getäuscht werden, und uns zwingt, die gefährlichen, seltenen Fehler zu betrachten, auf die es wirklich ankommt.

Technisches Resümee: SHARP – Social Harm Analysis via Risk Profiles

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend in hochsensiblen Bereichen eingesetzt (z. B. Gesundheitswesen, Finanzen, Strafjustiz), in denen seltene, aber schwere Ausfälle irreversible Schäden verursachen können. Aktuelle Evaluierungs-Benchmarks stützen sich überwiegend auf zentrierte Skalarwerte (z. B. durchschnittliche Genauigkeit, aggregierte Bias-Werte). Das vorliegende Paper argumentiert, dass diese Metriken unzureichend sind, da sie:

Die Verteilungsstruktur verschleiern: Sie kollabieren heterogene Verhaltensweisen in Punktschätzungen und verbergen so die Variabilität der Modellantworten.
Das Verhalten in den Randbereichen (Tail Behavior) ignorieren: Modelle mit ähnlicher durchschnittlicher Leistung können extrem divergente Worst-Case-Verhaltensweisen (Upper-Tail-Ereignisse) aufweisen, welche das praktische Risiko in Hochrisiko-Szenarien dominieren.
Kreuzdimensionale Interaktionen konfundieren: Sie erfassen nicht, wie verschiedene Fehlermodi (Bias, Fairness, Ethik, epistemische Zuverlässigkeit) interagieren und sich gegenseitig verstärken.

Infolgedessen sind gängige Evaluierungspraktiken schlecht auf die tatsächlichen Einsatzrisiken abgestimmt, und Governance-Mechanismen haben Schwierigkeiten, abstrakte Prinzipien in auditierbare, risikosensible Metriken zu übersetzen.

Methodik: Das SHARP-Framework

Die Autoren führen Social Harm Analysis via Risk Profiles (SHARP) ein, ein Framework, das für eine multidimensionale, distributionsbewusste Evaluierung sozialer Schädigung konzipiert ist. SHARP betrachtet soziale Schädigung nicht als skalare Größe, sondern als multivariate Zufallsvariable über eine feste Prompt-Distribution.

1. Evaluierungsprotokoll

Korpus: Die Evaluierung erfolgt auf einem festen Korpus von $n=901$ sozial sensiblen Prompts, die aus dem Bias Evaluation and Assessment Test Suite (BEATS) und dem BBQ-Benchmark abgeleitet wurden.
Beurteilung (Judging): Die Antworten von 11 Frontier-LLMs werden von drei blind evaluierten LLM-basierten Richtern (Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1) bewertet.
Aggregation: Die Outputs der Richter (boolische Indikatoren und ordinale Schweregrade) werden auf $[0, 1]$ normalisiert. Um Diskrepanzen zu berücksichtigen und gleichzeitig die Bewertung schwerwiegender Fälle zu betonen, werden die Scores mittels eines Log-Sum-Exp (LSE) Operators mit einem Temperaturparameter $\tau=0.20$ aggregiert. Dies interpoliert zwischen Mittelwert- und Max-Pooling und behält die Sensitivität gegenüber Worst-Case-Bewertungen bei.

2. Dimensionale Dekomposition

SHARP zerlegt soziale Schädigung in vier distinkte Dimensionen, die jeweils als Sub-Index repräsentiert werden:

Bias (B): Misst die Breite der betroffenen Kategorien, die Intensität des Schadens und verstärkende Faktoren (Explizitheit, Intersektionalität).
Fairness (F): Erfasst ungleiche Behandlungshinweise innerhalb einer Antwort (demografische Disparität, Chancengleichheit-Lücken, Gruppen-Disparität).
Ethik (E): Aggregiert Indikatoren für Wertemissalignment (ethische Fehlausrichtung, Wertekonflikt, Schadensrisiko, kulturelle Unsensibilität, Exklusionsrisiko).
Epistemische Zuverlässigkeit (K): Misst Unzuverlässigkeit (epistemische Unzulänglichkeit, epistemisches Risiko).

3. Risiko-sensitive Aggregation

Um kumulierte Schädigung zu modellieren, verwendet SHARP eine Union-of-Failures-Formulierung, die der Zuverlässigkeitsanalyse entlehnt ist.

Kumulierte Schädigung: Die Wahrscheinlichkeit des Eintretens eines Schadens über verschiedene Dimensionen hinweg wird als $H = 1 - \prod (1 - h_i)$ modelliert.
Additives Log-Risiko: Um eine Sättigung nahe 1 zu vermeiden und die Dekomponierbarkeit zu ermöglichen, reparametrisiert SHARP die restliche Sicherheit mittels einer negativen Log-Transformation. Das kumulierte Log-Risiko $L$ ist definiert als:
$L = -\log(1 - H + \epsilon) = \sum_i -\log(1 - h_i + \epsilon)$
Dies transformiert begrenzte Schadensintensitäten in unbegrenzte Risikoeinheiten, wobei die additiven Beiträge einzelner Dimensionen den kumulierten Risikodruck darstellen.

4. Distributionale Profilierung

Anstatt nur einen einzelnen Mittelwertbericht zu liefern, charakterisiert SHARP die empirische Verteilung der Prompt-basierten kumulierten Log-Risikowerte für jedes Modell mittels:

Erwartetes Log-Risiko ( $\mu_L$ ): Zentraltendenz.
Risikovolatilität ( $\sigma_L$ ): Dispersion des Risikos über die Prompts.
Conditional Value at Risk ( $CVaR_{0.95}$ ): Die primäre Metrik, welche das erwartete Log-Risiko unter den am schlechtesten abschneidenden 5 % der Prompts darstellt. Dies erfasst explizit die Schwere der Randbereiche (Tail Severity).

Kernergebnisse

Das Framework wurde auf 11 Frontier-LLMs (einschließlich Open-Weight- und proprietärer Systeme) angewendet.

1. Divergenz zwischen Mittelwert- und Tail-Risiko

Modelle mit ähnlichen durchschnittlichen Risikoprofilen zeigten ausgeprägte Unterschiede im Tail-Verhalten.

Beispiel: Claude Sonnet 4.5 erreichte ein $CVaR_{0.95}$ von 1,69, während DeepSeek-Chat und Mistral-Large jeweils 5,73 bzw. 5,99 erreichten. Dies entspricht einer mehr als verdreifachen Zunahme der kumulierten Schädigung im Worst-Case trotz relativ ähnlicher mittlerer Log-Risikowerte.
Signifikanz: Mittelwertbasierte Zusammenfassungen unterschätzen extremes Verhalten systematisch. LLaMA-3 405B zeigte ein $CVaR_{0.95}$ , das mehr als viermal höher war als das des risikoärmsten Modells.

2. Dimensionale Heterogenität

Marginale Tail-Schweregrade: Bias-bezogene Schädigungen wiesen über alle Modelle hinweg konsistent die stärksten Tail-Schweregrade auf. Epistemische und Fairness-Risiken besetzten ein intermediäres Regime, während ethische Fehlausrichtungen konsistent niedriger lagen.
Kumulierte Tail-Attribution: Die Treiber der schwersten kumulierten Ausfälle variierten je nach Modell. Bei einigen Systemen (z. B. Claude 3.5 Sonnet, GPT-4o) war epistemische Unzuverlässigkeit ein wesentlicher Faktor für das Tail-Risiko. Bei anderen (z. B. höher riskanten Open-Weight-Modellen) dominierten Bias-Mechanismen. Dies deutet darauf hin, dass keine einzelne Dimension universell die Worst-Case-Ergebnisse über alle Modelle hinweg treibt.

3. Statistische Validierung

Stabilität: Bootstrap-Resampling und Leave-one-judge-out-Analysen bestätigten, dass die Modell-Rankings basierend auf $CVaR_{0.95}$ stabil und robust gegenüber Variationen in der Zusammensetzung der Richter und den Aggregationsparametern sind.
Prompt-Abhängigkeit: Die Varianzdekomposition ergab, dass die Identität des Prompts einen größeren Anteil an der Gesamtvarianz erklärt (25,8 %) als die Identität des Modells (13,9 %), was die kontextsensitive Natur sozialer Schädigung und die Notwendigkeit einer distributionsbasierten Analyse gegenüber Punktwerten unterstreicht.

Bedeutung und Ansprüche

Das Paper positioniert SHARP als methodische Weiterentwicklung und nicht als Quelle absolut kalibrierter Realwelt-Schadensraten.

Wechsel von Skalar zu Distribution: Der primäre Beitrag ist das Argument, dass soziale Schädigung nicht adäquat als skalare Größe charakterisiert werden kann. Effektive Evaluierung erfordert Methoden, die die distributive Geometrie der Schädigung und deren kreuzdimensionale Interaktionen explizit modellieren.
Risikobeschränkte Auswahl: SHARP ermöglicht den Übergang von einer Totalordnung nach Durchschnittsleistung hin zu einer risikobeschränkten Modellauswahl. Durch die Verwendung von Tail-sensiblen Schwellenwerten (z. B. $CVaR_{0.95}$ ) können Stakeholder Modelle mit inakzeptabler Worst-Case-Exposition ausschließen, unabhängig von ihrer mittleren Performance.
Gezielte Mitigation: Die dimensionale Dekomposition ermöglicht die Diagnose spezifischer Fehlermodi (z. B. Unterscheidung zwischen Bias-getriebenen und epistemisch getriebenen Tail-Risiken) und unterstützt somit gezielte Interventionen statt einheitlicher Behebungsmaßnahmen.
Limitierungen: Die Autoren stellen explizit klar, dass SHARP keine populationsweite Fairness-Garantie oder kalibrierte Wahrscheinlichkeiten für reale Schäden liefert. Das Framework evaluiert intrinsisches Single-Turn-Verhalten unter einer festen, primär englischsprachigen Prompt-Distribution. Ein niedrig gemessener Risiko kann auf Verweigerung oder Ausweichmanöver hindeuten statt auf sichere Aufgabenlösung, und die Ergebnisse sind abhängig vom gewählten Richter-Ensemble.

Zusammenfassend bietet SHARP eine reproduzierbare, distributionsbewusste Grundlage für den Vergleich und die tail-sensitive Evaluierung und zeigt auf, dass eine sinnvolle Bewertung des LLM-Risikos über bloße Skalar-Durchschnitte hinausgehen und stat�tdessen ein multidimensionales Profiling von Worst-Case-Verhalten erfordert.