🤖 machine learning

Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction

Diese technische Studie zeigt, dass die Feinabstimmung von LLMs zur Ergänzung von Tabellendaten mit redigierten Fallnotizen die Vorhersagegenauigkeit für die Wohnungsplatzierung steigern und gleichzeitig algorithmische Fairness-Disparitäten verringern kann, ohne zusätzliche textbasierte Verzerrungen einzuführen.

Ursprüngliche Autoren: Xiao Qi Lee, Ezinne Nwankwo, Angela Zhou

Veröffentlicht 2026-04-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiao Qi Lee, Ezinne Nwankwo, Angela Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein erfahrener Sozialarbeiter, der jeden Tag mit Menschen spricht, die obdachlos sind. Sie machen sich Notizen über jeden Besuch: „Herr Müller hat keine Papiere", „Frau Schmidt sucht eine Wohnung", „Herr Klein wurde vom Arzt geschickt". Diese Notizen sind voller wichtiger Details, aber sie sind unordentlich, wie ein Haufen loser Zettel in einer Schublade.

Die Forscher in diesem Papier haben sich gefragt: Können wir einen super-intelligenten Computer (eine sogenannte „KI" oder „Large Language Model") benutzen, um diese Zettel zu lesen und vorherzusagen, welche Art von Wohnung eine Person bekommen wird? Und noch wichtiger: Ist dieser Computer fair zu allen Menschen, oder macht er alte Vorurteile einfach nur noch schlimmer?

Hier ist die Geschichte ihrer Entdeckungen, einfach erklärt:

1. Das Problem: Der alte Koffer vs. der neue Roboter

Stellen Sie sich die traditionellen Computermodelle (wie einen „Random Forest") als einen alten, strengen Koffer vor. Er kann nur feste Daten tragen: Alter, Geschlecht, Anzahl der Besuche. Er ist gut, aber er kann die feinen Nuancen der menschlichen Geschichten nicht verstehen.

Die neuen KI-Modelle sind wie ein neuer, flinker Roboter, der nicht nur Daten lesen, sondern auch ganze Geschichten verstehen kann. Die Forscher wollten wissen: Wenn wir dem Roboter die unordentlichen Notizen (die „Casenotes") geben, wird er dann bessere Vorhersagen treffen? Und wird er dabei fairer sein als der alte Koffer?

2. Der Test: Der Roboter ohne und mit Hilfe

Die Forscher haben den Roboter auf eine harte Probe gestellt: Vorhersagen, ob jemand auf der Straße bleibt, ein Obdachlosenheim bekommt oder eine feste Wohnung.

Der Roboter allein (Zero-Shot): Wenn man dem Roboter einfach nur die Daten gibt, ohne ihn vorher zu trainieren, ist er etwas verwirrt. Er macht viele Fehler.
Der Roboter mit Training (Fine-Tuning): Wenn man dem Roboter zeigt, wie die Antworten in der Vergangenheit richtig waren, wird er sehr gut in der Vorhersage. Aber hier kommt das Problem: Er wird so gut, dass er die Mehrheitsgruppe (in diesem Fall Männer) viel besser behandelt als die Minderheit (Frauen). Es ist, als würde ein Schüler lernen, nur die Aufgaben zu lösen, die er am häufigsten sieht, und die seltenen Aufgaben zu ignorieren. Die Genauigkeit steigt, aber die Ungerechtigkeit wächst.

3. Der Zaubertrick: Die Zusammenfassung der Notizen

Hier wird es spannend. Die Forscher gaben dem Roboter nicht nur die trockenen Daten, sondern auch eine kurze Zusammenfassung der unordentlichen Notizen (wie ein „Stichwort-Zettel" für den Roboter).

Das Ergebnis: Bei den untrainierten Robotern halfen diese Zettel enorm. Sie machten die Vorhersagen genauer.
Der Überraschungseffekt: Bei den trainierten Robotern (denen man schon alles beigebracht hatte) machten die Zettel die Vorhersagen nicht viel genauer, ABER sie machten sie viel fairer!
- Die Analogie: Stellen Sie sich vor, der trainierte Roboter hat eine feste Meinung über Männer. Die Notizen sagen ihm aber: „Aber warten Sie, Frau Schmidt hat auch ein sehr ähnliches Problem wie Herr Müller." Diese zusätzlichen Informationen helfen dem Roboter, die Vorurteile zu überwinden und auch die Frauen fair zu behandeln.

4. Die Falle: Den „wichtigsten" Hinweis zu sehr betonen

Die Forscher haben auch versucht, dem Roboter zu sagen: „Hey, achte besonders auf das, was am wichtigsten ist!" (z. B. „Wie viele Wohnungen hatte die Person schon vor 2019?").

Das Ergebnis: Das hat bei den untrainierten Robotern funktioniert. Aber bei den trainierten Robotern war es katastrophal für die Fairness.
Warum? Weil die „wichtigste" Eigenschaft oft mit alten, ungerechten Systemen verknüpft ist. Wenn man dem Roboter sagt: „Achte nur darauf!", dann verstärkt er genau diese alten Ungerechtigkeiten. Es ist, als würde man einem Richter sagen: „Achte nur auf die Farbe des Autos", obwohl die Farbe nichts mit dem Verbrechen zu tun hat – das führt zu falschen Urteilen.

5. Das Fazit: Was lernen wir daraus?

KI ist nicht automatisch böse: Die Notizen in diesem Projekt waren kurz und viele Namen wurden geschwärzt. Deshalb brachte die KI keine neuen Vorurteile aus dem Text mit. Sie war nicht „rassistisch" oder „sexistisch" durch ihre eigene Lektüre, sondern übernahm nur die Vorurteile, die in den Zahlen steckten.
Training ist ein zweischneidiges Schwert: Wenn man eine KI trainiert, wird sie oft sehr genau, aber sie vergisst dabei die Minderheiten.
Zusammenfassungen sind der Schlüssel: Das Hinzufügen von kurzen Zusammenfassungen der menschlichen Geschichten hilft, die KI fairer zu machen, ohne sie langsamer oder ungenauer zu machen. Es ist wie ein Dolmetscher, der dem Roboter hilft, die menschliche Situation besser zu verstehen.
Vorsicht bei „Wichtigsten-Features": Man sollte einer KI nicht einfach sagen „Achte nur auf das Wichtigste!", wenn dieses „Wichtigste" historisch unfair war.

Kurz gesagt: Wir können KI nutzen, um Obdachlosen zu helfen, aber wir müssen sie sorgfältig überwachen. Wenn wir ihr die menschlichen Geschichten (die Notizen) geben, kann sie nicht nur klüger, sondern auch gerechter werden. Aber wir dürfen nicht blind auf ihre „Intelligenz" vertrauen, ohne zu prüfen, ob sie dabei niemanden benachteiligt.

Titel: Auditing von LLMs auf algorithmische Fairness bei tabellarischen Vorhersagen mit Casenote-Ergänzung

Autoren: Xiao Qi Lee, Ezinne Nwankwo, Angela Zhou
Kontext: Technische Kurzmitteilung zur Auditierung von Large Language Models (LLMs) im sozialen Dienstleistungssektor.

1. Problemstellung

Large Language Models (LLMs) werden zunehmend für Vorhersageaufgaben in hochriskanten sozialen Bereichen (z. B. Obdachlosenhilfe) in Erwägung gezogen. Allerdings ist ihr Verhalten in Bezug auf algorithmische Fairness in diesem Kontext schlecht verstanden.

Herausforderung: Traditionelle tabellarische Vorhersagemodelle zeigen oft diskriminierende Fehlermuster aufgrund von Ungleichheiten in Gruppengrößen, Basisraten oder Rauschen. Es besteht die Sorge, dass die Integration von LLMs diese Verzerrungen verstärken oder neue, textbasierte Vorurteile (z. B. basierend auf Geschlecht oder Rasse in den Daten) einführen könnte.
Spezifischer Fall: Die Autoren untersuchen eine Partnerschaft mit einer gemeinnützigen Organisation, die Straßenarbeit für Obdachlose leistet. Die Interaktionen werden als unstrukturierte "Casenotes" (Fallnotizen) dokumentiert. Diese enthalten die reichhaltigsten Informationen über Klienten, sind aber für traditionelle Analysen schwer nutzbar.
Ziel: Es soll geprüft werden, ob die Nutzung von LLMs zur Vorhersage der Wohnunterbringung (Housing Placement) unter Einbeziehung dieser Casenotes die Vorhersagegenauigkeit verbessert, ohne dabei algorithmische Fairness gegenüber geschützten Gruppen (Rasse, Geschlecht) zu verschlechtern.

2. Methodik

Datensatz und Aufgabe:

Daten: 471 Klienten einer Straßensozialarbeit (2019–2021).
Zielvariable ( $Y$ ): Höchste erreichte Wohnunterbringungsstufe bis 2021 (Multiklassen-Klassifikation: 0 = Straße, 1 = Temporär, 2 = Obdachlosenunterkunft/Übergangswohnheim, 3 = Dauerhafte unterstützte Unterkunft).
Eingabemerkmale: Tabellarische Basisdaten (Alter, Geschlecht, Rasse, Programm, Historie) und optionale, von LLMs generierte Zusammenfassungen der vorangegangenen Casenotes.
Vorverarbeitung: Die tabellarischen Daten werden in natürliche Sprache (Prompts) umgewandelt. Die Casenotes sind stark redigiert (Namen und genaue Orte entfernt).

Modelle und Experimente:

Basislinie: Ein Random-Forest-Modell, das nur auf tabellarischen Daten trainiert wurde.
LLM-Varianten: Llama 3 Modelle mit 17 Mrd. und 70 Mrd. Parametern.
Experimente:
1. Zero-Shot: Vorhersage ohne Feinabstimmung (Fine-Tuning).
2. Fine-Tuning: Modelle wurden auf den spezifischen Datensatz trainiert.
3. Augmentierung: Vergleich von Modellen mit und ohne Zusammenfassungen der Casenotes.
4. Feature-Importance: Einbau des wichtigsten Merkmals (basierend auf Random Forest) als expliziter Hinweis im Prompt.

Fairness-Metriken:
Da es sich um eine Multiklassen-Aufgabe handelt, wurden erweiterte Metriken verwendet:

Statistische Parität (SP): Misst, ob die Vorhersageverteilung unabhängig von der Gruppenzugehörigkeit ist.
Equality of Opportunity (EoO): Misst, ob die True Positive Rates (TPR) für jede Klasse über alle Gruppen hinweg gleich sind.

3. Wichtige Beiträge

Empirisches Audit: Erste systematische Untersuchung von LLMs (17B/70B) auf einer realen, mehrstufigen Vorhersageaufgabe im sozialen Sektor unter Einbeziehung unstrukturierter Textdaten.
Trade-off-Analyse: Identifikation des Zielkonflikts zwischen Genauigkeit und Fairness, insbesondere bei Fine-Tuning.
Strategien zur Fairness-Verbesserung: Demonstration, dass Casenote-Zusammenfassungen die Fairness verbessern können, selbst wenn sie die Genauigkeit nicht steigern.
Warnung vor Feature-Importance: Aufdeckung, dass das Hervorheben historisch prädiktiver Merkmale (die oft mit systemischen Ungerechtigkeiten korrelieren) die Fairness verschlechtern kann.

4. Ergebnisse

A. Modelle ohne Zusammenfassungen:

Genauigkeit: Das feinabgestimmte (Fine-Tuned) 70B-Modell erreichte die höchste Genauigkeit (70,2 %), gefolgt vom Random Forest (61,2 %). Zero-Shot-Modelle schnitten deutlich schlechter ab.
Fairness: Das Fine-Tuning führte zu einer Verschlechterung der Fairness. Die EoO-Metriken (Ungleichheit der Trefferquoten) nahmen signifikant zu, insbesondere für Minderheitengruppen (z. B. Frauen, die im Datensatz unterrepräsentiert waren, ca. 1:4 Verhältnis zu Männern).
Fazit: Fine-Tuning verbessert die Genauigkeit, verstärkt aber historische Verzerrungen im Datensatz.

B. Modelle mit Casenote-Zusammenfassungen:

Zero-Shot: Die Hinzunahme von Zusammenfassungen verbesserte die Genauigkeit der Zero-Shot-Modelle erheblich (bis zu +13,9 %), da der Kontext fehlendes Wissen aus dem Pre-Training kompensiert.
Fine-Tuning: Hier hatte die Hinzunahme von Zusammenfassungen einen geringen Einfluss auf die Genauigkeit (teilweise sogar leicht negativ), aber sie verbesserte die Fairness-Metriken drastisch.
- Das Fine-Tuned 70B mit Zusammenfassungen reduzierte die EoO-Mean von 0,071 (ohne Zusammenfassung) auf 0,021.
Interpretation: Zusammenfassungen helfen dem Modell, Nuancen zu verstehen und Vorhersagen über Gruppen hinweg auszugleichen, was die Diskrepanzen verringert.

C. Feature-Importance (Hervorhebung des wichtigsten Merkmals):

Das wichtigste Merkmal war die "maximale vorherige Wohnunterbringung vor 2019".
Zero-Shot (17B): Das Hinzufügen dieses Merkmals erhöhte die Genauigkeit, verschlechterte aber die Fairness (höhere EoO), da das Merkmal mit historischen Ungerechtigkeiten korreliert.
Fine-Tuning (70B): Das explizite Hervorheben dieses Merkmals störte das bereits erlernte Gleichgewicht des Modells. Es führte zu keiner Genauigkeitssteigerung und verschlechterte die Fairness massiv (EoO Max stieg fast vervierfacht).
Fazit: Bei feinabgestimmten Modellen ist das explizite "Prompting" von Features riskant, da es die internen Gewichte stört und historische Bias verstärkt.

D. Vergleich mit Random Forest:

Der Random Forest erreichte eine ähnliche Genauigkeit wie das Basis-LLM, zeigte aber die schlechtesten Fairness-Werte.
Das Fine-Tuned 70B mit Zusammenfassungen übertraf den Random Forest sowohl in der Genauigkeit als auch in der Fairness. Dies unterstreicht den Vorteil von LLMs, unstrukturierten Kontext nutzen zu können, um Diskriminierung zu mildern.

5. Signifikanz und Schlussfolgerungen

Keine zusätzlichen textuellen Verzerrungen: Trotz bekannter Vorurteile in LLMs führten die kurzen, stark redigierten Casenotes in diesem spezifischen Setting nicht zu neuen textbasierten Verzerrungen, die über die der tabellarischen Daten hinausgehen.
Risiko des Fine-Tuning: Fine-Tuning auf ungleichen Datensätzen kann die Genauigkeit maximieren, aber die Fairness für Minderheiten (hier Frauen) drastisch verschlechtern.
Potenzial von Zusammenfassungen: Die Nutzung von LLMs zur Extraktion und Zusammenfassung von Casenotes ist ein vielversprechender Weg, um unstrukturierte Daten sicher zu nutzen. Sie kann dazu beitragen, Fairness-Lücken zu schließen, ohne die Implementierungskomplexität stark zu erhöhen.
Vorsicht bei Feature-Engineering: Das manuelle Hervorheben von "wichtigen" Merkmalen in Prompts kann kontraproduktiv sein, wenn diese Merkmale historische Ungerechtigkeiten widerspiegeln, insbesondere bei bereits trainierten Modellen.

Gesamtfazit:
Die Studie zeigt, dass LLMs in hochriskanten sozialen Anwendungen verantwortungsvoll eingesetzt werden können. Der Schlüssel liegt in der Kombination aus Fine-Tuning und der Integration von Casenote-Zusammenfassungen, was sowohl die Genauigkeit als auch die algorithmische Fairness im Vergleich zu rein tabellarischen Modellen verbessern kann. Gleichzeitig muss jedoch sorgfältig überwacht werden, wie Datenungleichgewichte und die Auswahl von Features die Fairness beeinflussen.