💬 NLP

Who Should Be Generated? Justifying Demographic Targets in Open-Ended Generation

Dieses Paper schlägt ein formales Framework zur Rechtfertigung demografischer Zielvorgaben in der Fairness-Evaluierung von Open-Ended Generation vor, wobei argumentiert wird, dass die Konstruktion von Zielvorgaben eine integrale Komponente der Fairness-Bewertung und nicht ein vorbereitender Schritt ist, und zeigt durch empirische Analysen auf, dass unterschiedliche Rechtfertigungen für Zielvorgaben (wie etwa geografische gegenüber berufsbezogener Prioritäten) zu signifikant divergierenden Fairness-Messungen führen.

Ursprüngliche Autoren: Zeshen Zheng, Yujia He, Qianmian Lin, Xiangyue Huang, Wenqing Chen

Veröffentlicht 2026-08-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zeshen Zheng, Yujia He, Qianmian Lin, Xiangyue Huang, Wenqing Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Juror in einer Talentshow, aber anstatt Sänger zu beobachten, schauen Sie KI-Robotern beim Schreiben von Geschichten zu. Die Aufgabe der KI ist es, Charaktere zu erfinden, wie etwa einen „CEO in den Vereinigten Staaten“. Jetzt kommt der knifflige Teil: Der Juror braucht ein Bewertungsblatt, um zu entscheiden, ob die KI fair ist. Aber was bedeutet „fair“ in dieser imaginären Welt?

In der realen Welt bedeutet Fairness oft, Menschen gleich zu behandeln. Aber wenn eine KI Charaktere aus dem Nichts erschafft, gibt es keine echte Person, mit der man sie vergleichen könnte. Die Juroren müssen also ein „Ziel“ wählen, auf das sie abzielen sollen. Soll die KI versuchen, die reale Anzahl der weiblichen CEOs in den USA heute abzubilden? Soll sie die Gesamtzahl der Frauen in den USA widerspiegeln? Oder sollte sie einfach eine Münze werfen und die Hälfte der CEOs Frauen und die andere Hälfte Männer machen, ungeachtet der Realität? Dies ist das große Rätsel, das das Paper behandelt: Wer soll generiert werden? Bevor wir sagen können, ob eine KI voreingenommen ist, müssen wir uns zuerst darüber einig werden, wie die „perfekte“ Liste der Charaktere aussehen sollte. Ohne eine begründete Zielsetzung ist jede Bewertung, die wir vergeben, nur eine Vermutung.

Das Problem des fehlenden Ziels

Die Autoren dieses Papers, ein Team der Sun Yat-sen University, bemerkten etwas Seltsames in der Welt der KI-Fairness. Sie baten sechs der klügsten KI-Modelle, 30 verschiedene Geschichten über einen „CEO in den Vereinigten Staaten“ zu erstellen. Die Ergebnisse waren wild: Einige Modelle machten 100 % der CEOs zu Frauen, andere 77 %.

Ist das nun ein Erfolg oder ein Misserfolg?

Wenn man es mit den realen US-CEOs vergleicht (wo nur etwa 33 % Frauen sind), sieht die KI so aus, als würde sie überkorrigieren und gegenüber Männern unfair sein.
Wenn man es mit der Gesamtbevölkerung der USA vergleicht (wo etwa 50 % Frauen sind), sieht die KI fair aus.
Wenn man es mit einem perfekten Münzwurf vergleicht (50/50), sieht es fair aus.

Das Problem ist, dass die KI-Prompts nicht sagten „mache den CEO zu einer Frau“ oder „mache den CEO zu einem Mann“. Sie sagten einfach nur „mache einen CEO“. Die KI füllte die Lücken von selbst aus. Die Forscher nennen dies das „Missing-Target Problem“ (Problem des fehlenden Ziels). Wir haben den Output der KI, aber wir haben keinen gerechtfertigten Grund, warum wir welche Zielverteilung (reale Berufe, reale Bevölkerung oder reine Gleichheit) zur Bewertung heranziehen sollten. Die meisten Fairness-Tests wählen einfach ein Ziel und hoffen das Beste, aber dieses Paper argumentt, dass die Wahl des Ziels eigentlich der wichtigste Teil des Tests ist.

Das Vier-Schritte-Rezept für ein faires Ziel

Um dies zu lösen, entwickelten die Autoren ein neues Framework, ähnlich wie ein Rezept für einen Fairness-Kuchen. Sie sagen, man kann ein Ziel nicht einfach aus dem Regal greifen; man muss es Schritt für Schritt begründen. Man muss sich vier spezifischen Verpflichtungen stellen:

Was bewerten wir? (Das Objekt): Bewerten wir die Fähigkeit der KI, reale Menschen vorherzusagen, oder ihre Fähigkeit, eine faire Repräsentation einer sozialen Welt zu erfinden? Das Paper entscheidet, dass es sich um erfundene Charaktere für eine öffentliche Geschichte handelt, nicht um echte Arbeitssuchende.
Wer zählt? (Der Prior): Welche Gruppe von Menschen soll die KI repräsentieren? Die Autoren argumentieren, dass die KI für eine Geschichte, die in den USA spielt, die Menschen repräsentieren sollte, die dort leben (geografische Zugehörigkeit), und nicht nur die Menschen, die derzeit den Job innehaben (berufliche Inzidenz). Warum? Weil die derzeitigen Stelleninhaber vielleicht aufgrund vergangener Ungerechtigkeiten dorthin gelangt sind, und das Kopieren dessen könnte lediglich den Fehler wiederholen.
Wie wird der Kuchen aufgeteilt? (Allokation): Wenn wir vereinbaren, die Menschen zu repräsentieren, die in den USA leben, wie teilen wir die „CEO“-Plätze unter ihnen auf? Die Autoren plädieren für eine Gleichverteilung pro Person (equal-person allocation). Das bedeutet, dass jeder Mensch, der in den USA lebt, ein gleiches „Stimmrecht“ dafür erhält, wer in der Geschichte CEO wird. Das bedeutet nicht, dass jede Gruppe die gleiche Anzahl an CEOs erhält (wie 50 % Frauen), sondern dass jedes Individuum die gleiche Chance hat.
Wie messen wir es? (Operationalisierung): Schließlich brauchen wir eine reale Zahl, die wir vergleichen können. Die Autoren verwenden Volkszählungsdaten (Einwohnerzahlen), um ihr Ziel zu erstellen.

Die große Entdeckung: Das Ziel verändert alles

Die Forscher testeten dieses neue Rezept mit einem massiven Benchmark namens AP-Bench. Sie generierten über 51.000 Charaktere über sechs verschiedene KI-Modelle, 12 verschiedene Länder und sechs verschiedene Berufe (wie Ärzte, Krankenschwestern und CEOs) hinweg.

Hier ist, was sie fanden:

Die Lücke ist riesig: Als sie den Output der KI mit ihrem neuen „geografischen“ Ziel (basierend darauf, wer im Land lebt) verglichen, lag die KI weit daneben. Die Differenz (genannt JSD2) lag zwischen 0,508 und 0,606 auf einer Skala von 0 bis 1. Das ist eine massive Lücke, was bedeutet, dass die Charaktere der KI sehr anders aussah als die Bevölkerung, die sie repräsentieren sollten.
Das Ziel ist wichtiger, als man denkt: Dies ist der spielerischste und überraschendste Teil. Die Forscher nahmen exakt dieselben KI-Geschichten und tauschten das Ziel aus. Anstatt sie mit dem „Menschen, die hier leben“-Ziel zu vergleichen, verglichen sie sie mit einem „gleichen Kategorien“-Ziel (nur um sicherzustellen, dass jede Gruppe die gleiche Anzahl an CEOs hat).
- Bei diesem Tausch änderten sich die Scores dramatisch. Die Differenz der Scores für jedes Modell lag zwischen 0,279 und 0,355.
- Das bedeutet, dass allein das Ändern dessen, womit man die KI vergleicht, das Urteil darüber verändert, ob die KI fair ist oder nicht. Ein Modell, das gegenüber einem Ziel „schlecht“ aussieht, kann gegenüber einem anderen Ziel „okay“ aussehen.

Was das für Sie bedeutet

Das Paper sagt nicht: „Die KI ist kaputt“ oder „Die KI ist repariert“. Es sagt stattdessen: „Hören Sie auf zu raten, was das Ziel ist.“

Die Autoren argumenten, dass wir nicht einfach sagen können: „Die KI sollte wie die reale Erwerbsbevölkerung aussehen“, weil das vielleicht vergangene Diskriminierung kopieren könnte. Wir können auch nicht einfach sagen: „Die KI sollte 50/50 sein“, weil das die tatsächliche Populationsgröße ignorieren könnte.

Die wichtigste Erkenntsteiler ist, dass die Bewertung der Fairness nicht nur die Messung der KI ist, sondern das Argument für den Standard, den wir zur Messung verwenden. Bevor wir sagen können, dass eine KI voreingenommen ist, müssen wir explizit festlegen: „Wir vergleichen diese KI mit der Bevölkerung der Bewohner, und wir glauben, dass jeder Bewohner das gleiche Recht auf Repräsentation hat.“

Wenn wir dieses Argument nicht klar formulieren, sind unsere Fairness-Scores nur Zahlen ohne Zuhause. Das Paper bietet ein Framework, um dieses Zuhause zu bauen und sicherzustellen, dass wir, wenn wir fragen: „Wer soll generiert werden?“, eine solide, verteidigbare Antwort haben, bevor wir überhaupt mit der Bewertung der KI beginnen.

Technisches Resümee: Wer sollte generiert werden? Rechtfertigung demografischer Zielvorgaben in der offen-endigen Generierung

1. Problemstellung: Das Problem der fehlenden Zielvorgabe

Das Paper adressiert eine fundamentale Lücke in der Fairness-Evaluierung von offen-endigen generativen Modellen (Text und Bild). Während bestehende Fairness-Audits die demografische Zusammensetzung von Modell-Outputs gegenüber einer Zielverteilung messen, gehen sie typischerweise davon aus, dass die Zielvorgabe gegeben oder selbstverständlich ist. Dies schafft das Problem der fehlenden Zielvorgabe (Missing-Target Problem): Wenn ein Prompt eine Rolle und einen Ort spezifiziert, aber demografische Attribute (z. B. Geschlecht, Ethnizität) offen lässt, produziert das Modell eine empirische Verteilung ( $\hat{q}_k$ ), für die es jedoch keinen gerechtfertigten Standard ( $P^*$ ) gibt, gegen den es evaluiert werden könnte.

Die Autoren argumentieren, dass klassische Kriterien der Gruppenfairness (z. B. demografische Parität, ausgeglichene Chancen/Equalized Odds) inputseitige sensible Attribute und Entscheidungen über existierende Individuen voraussetzen. Diese Kriterien wählen kein aggregiertes outputseitiges Ziel für die fiktive Generierung aus, bei der keine erdgebundene Identität existiert. Folglich übernehmen aktuelle Evaluierungen oft implizit die aktuelle berufliche Zusammensetzung oder Gleichverteilungen der Kategorien als Zielvorgaben, ohne zu rechtfertigen, warum genau diese spezifischen Verteilungen die Evaluierung bestimmen sollten.

2. Methodik: Ein Framework der vier Verpflichtungen (Four-Commitment Framework)

Die Autoren formalisieren die Konstruktion einer Zielvorgabe als eine distinkte evaluative Aufgabe, die vier logisch unterscheidbare Verpflichtungen erfordert. Dieses Framework trennt die Konstruktion einer Zielvorgabe von dem Urteil über die Fairness.

2.1 Die vier Verpflichtungen

Evaluatives Objekt, Verwendung und Output-Einheit:
- Objekt: Die Verteilung der repräsentativen Möglichkeiten über wiederholte Generationen hinweg, nicht die Genauigkeit bei der Vorhersage einer spezifischen realen Person.
- Verwendung: Für die Studie wird eine „zeitgenössische Nutzung in der öffentlichen Welt“ deklariert, welche die Frage stellt, wie Generationen die Möglichkeit verteilen, ein Rollenträger in einer benannten sozialen Welt zu sein.
- Einheit: Jede generierte Fokus-Charakter ist eine Beobachtung des Outputs.
Vorherige Zulässigkeit (Identifizierung und Verteidigung von Beziehungen):
- Ein demografischer Prior (z. B. Bevölkerungszusammensetzung, Erwerbsbevölkerung) wird nur dann zugelassen, wenn der Evaluator die Beziehung identifiziert, unter der er vorgeschlagen wird, und verteidigt, warum diese Beziehung den identifizierten Personen repräsentativen Status verleiht.
- Geografische Zugehörigkeit: Zugelassen für die Nutzung in der öffentlichen Welt. Der Standort im Prompt identifiziert das repräsentierte öffentliche Kollektiv; die Rolle schränkt nicht ein, wer als Mitglied dieses Kollektivs zählt.
- Berufliche Inzidenz (Occupational Incumbency): Nicht zugelassen für die Nutzung in der öffentlichen Welt unter der Interpretation der Inzidenz. Die aktuelle Zusammensetzung der Erwerbsbevölkerung ist ein nachgelagertes Ergebnis von Arbeitsmarktprozessen (Bildung, Diskriminierung, Barrieren) und rechtfertigt sich nicht selbst als repräsentativer Standard ohne ein unabhängiges Ziel (z. B. eine Arbeitsmarkt-Simulation).
Allokation:
- Sobald ein Bereich zugelassen ist, muss eine Regel bestimmen, wie die repräsentative Masse aufgeteilt wird.
- Gleichheits-Prinzip der Personen (Equal-Person Allocation): In Abwesenheit einer verteidigten allokationsrelevanten Unterscheidung erhalten Mitglieder des zugelassenen öffentlichen Kollektivs das gleiche Gewicht. Dies führt zu Kategorieanteilen, die proportional zu den Bevölkerungsanteilen des zugelassenen Kollektivs sind.
- Rolleninvarianz: Unter dieser Konstruktion ist die Zielvorgabe rolleninvariant ( $P^*(A=a|G,R) = P^*(A=a|G)$ ), da die Rolle weder das zugelassene Kollektiv noch die Allokationsregel verändert.
Operationalisierung:
- Die abstrakte Zielvorgabe wird mittels einer deklarierten Taxonomie, Kartierung und Referenzquelle (z. B. Daten zur Wohnbevölkerung aus Zensus oder UN-Statistiken) instanziiert.
- Das Paper unterscheidet zwischen Zulässigkeit (normative Rechtfertigung) und Messadäquanz (ob die Proxy-Quelle das zugelassene Kollektiv korrekt misst).

2.2 Die Brücken-Prämissen

Das Paper unterscheidet zwischen dem operationalen Score (der berechnete Diskrepanz zwischen $\hat{q}_k$ und der konstruierten Zielvorgabe $P^*_{geo}$ ) und dem Fairness-Estimand (der theoretischen Divergenz von einem erschöpfend gerechtfertigten Ziel $P^\dagger$ ).

Prämisse A: Kompositionelle Unfairness wird als Divergenz der limitierenden Zusammensetzung des Modells vom erschöpfend gerechtfertigten Ziel definiert.
Prämisse B: Der operationale Score schätzt diesen Fairness-Estimand adäquat ab. Das Paper räumt ein, dass dies drei Substitutionen erfordert (endliche Generierung, Proxy-Quelle und nicht-erschöpfender Konstruktionsraum) und behauptet nicht, dass diese vollständig gelöst sind.

3. Experimenteller Aufbau: AP-Bench

Um dieses Framework zu instanziieren, führen die Autoren AP-Bench ein, einen Benchmark, der 51.840 Generationen aus sechs Frontier-Modellen umfasst (GPT-5.6, Claude Sonnet 5, Gemini 3.5 Flash, Kimi K3, Llama 4 Maverick, Qwen3.7-Max).

Umfang: 12 geografische Kontexte, 6 Rollen (CEO, Arzt, Krankenschwester, Ingenieur, Lehrer, Reinigungskraft), 30 Samples pro Zelle.
Attribute: Race/Ethnizität, Religion, sexuelle Orientierung sowie ein Gender-zu-Sex-Diagnostikum.
Prompting: Sowohl implizite Prompts (Demografie unbestimmt) als auch Joint-Elicitation-Prompts (Demografie explizit angefragt, aber Werte unbestimmt).
Zielkonstruktion: Akzeptiert den geografischen Prior unter einer Interpretation der geografischen Zugehörigkeit und wendet eine Equal-Person-Allokation unter Verwendung von Wohnbevölkerungsdaten als operationale Quelle an.

4. Kernergebnisse

4.1 Substanzieller Divergenz von Geografie-basierten Zielvorgaben

Unter Joint Elicitation zeigen Modelle eine signifikante Divergenz von den konstruierten, geografisch abgeleiteten Zielvorgaben.

Die zusammengesetzte Drei-Modul-Jensen-Shannon-Divergenz ( $JSD^2$ ) liegt über alle Modelle hinweg zwischen 0,508 und 0,606.
Diese Divergenz ist weitaus größer, als durch endliche Stichprobenvariation erklärt werden könnte (oberer 99%-Referenzendpunkt $\approx 0,033$ ).

4.2 Sensitivität gegenüber der Wahl des Komparators

Das Paper zeigt, dass Fairness-Evaluierungen hochsensibel auf die Wahl der Zielvorgabe reagieren.

Wird die geografisch abgeleitete Zielvorgabe durch einen Equal-Category-Komparator (Zuweisung gleicher Wahrscheinlichkeit für jede Kategorie unabhängig von der Populationsgröße) ersetzt, während die Generationen und die Messung konstant bleiben, ergeben sich substantielle Änderungen der Scores.
Die mittlere absolute Änderung der $J_SD^2$ auf Zellenebene liegt zwischen 0,279 und 0,355.
Dieser Wechsel verändert die Modell-Rankings und die Klassifizierung von Zellen als „fair“ oder „unfair“ unter verschiedenen Toleranzschwellen (12,8 % bis 40,0 % der Zellen ändern ihre Klassifizierung).

4.3 Berufliche vs. Geografische Zielvorgaben

In einer diagnostischen Analyse der US-CEO-Generationen:

Modelle generierten einen hohen Anteil an weiblichen/Frauen-Charakteren (77 %–100 %).
Im Vergleich zum beruflichen Inzidenz-Ziel (33,0 % weiblich) erscheint dies als „Erfolg“ (näher an der Parität).
Im Vergleich zum geografischen Zugehörigkeits-Ziel (49,8 % weiblich) ist die Divergenz signifikant.
Das Paper argumentiert, dass die Annahme des beruflichen Ziels implizit die Evaluierung zur Treue gegenüber historischen Arbeitsmarktergebnissen verpflichtet, was eine separate Rechtfertigung (z. B. Workforce-Simulation) erfordert, die in der deklarierten Nutzung der öffentlichen Welt nicht vorliegt.

5. Bedeutung und Ansprüche

Das Paper stellt moderate, aber fundamentale Ansprüche an den Stand der Fairness-Evaluierung:

Zielkonstruktion ist Teil der Evaluierung: Die Konstruktion einer Zielvorgabe ist kein vorbereitender Schritt, sondern ein Kernbestandteil der Fairness-Evaluierung. Die Bereitstellung einer Zielvorgabe ohne Rechtfertigung ist unzureichend.
Keine universelle Zielvorgabe: Das Paper liefert keine universelle Zielvorgabe. Stattdessen bietet es ein Framework der Rechtfertigung (die vier Verpflichtungen), das die normativen Annahmen explizit macht, die erforderlich sind, bevor eine Verteilung als Standard dienen kann.
Ablehnung von Default-Zielvorgaben: Es argumentet, dass die berufliche Inzidenz nicht als Standard-Zielvorgabe für die Repräsentation in der öffentlichen Welt dienen kann, ohne dass ein unabhängig verteidigtes Ziel (wie die Treue zur Erwerbsbevölkerung) vorliegt. Die geografische Zugehörigkeit wird unter der Prämisse des „repräsentierten Publikums“ für die deklarierte Nutzung zugelassen.
Beweislast: Der primäre Beitrag liegt in der Verschiebung der Beweislast. Evaluatoren müssen explizit beantworten: Was wird verteilt? Wessen Repräsentation zählt (und warum)? Wie wird die Masse allokiert? Welche Quelle instanziiert das Ziel?
Abgrenzung zu Schaden (Harm): Das Paper stellt klar, dass die Messung der Divergenz von einer konstruierten Zielvorgabe ein diagnostischer Schritt ist und kein direkter Maßstab für repräsentativen Schaden. Die Feststellung von Schaden erfordert zusätzliche Prämissen über Exposition, Mechanismus und Magnitude.

Die Autoren kommen zu dem Schluss, dass Fairness-Evaluierungen unvollständig bleiben, solange Evaluatoren nicht explizit rechtfertigen können, warum eine spezifische Verteilung als Standard verdient. Das Framework ermöglicht die Ablehnung spezifischer Ziele (z. B. beruflich), lässt aber die Möglichkeit anderer verteidigter Konstruktionen (z. B. korrektive Ziele) offen, sofern deren Prämissen explizit dargelegt werden.