OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants

Stellen Sie sich vor, Sie versuchen zu verstehen, wie Millionen von Menschen über ein komplexes, emotionales Thema wie Obdachlosigkeit denken. Wenn Sie versuchen würden, jeden einzelnen Tweet darüber zu lesen, würden Sie schneller unter einem Berg von Text begraben werden, als Sie blinzeln können. Es ist, als würde man versuchen, aus einem Feuerwehrschlauch zu trinken.

Diese Arbeit mit dem Titel „OATH-Frames“ handelt davon, eine bessere Brille zu bauen, um zu sehen, was sich tatsächlich in diesem Feuerwehrschlauch befindet. Die Forscher nutzten eine Kombination aus menschlichen Experten für Sozialarbeit und leistungsstarker KI (Large Language Models), um 2,4 Millionen Tweets über Obdachlosigkeit in den USA zu sortieren.

Hier ist die Geschichte, wie sie es gemacht haben, unterteilt in einfache Teile:

1. Das Problem: Die „Einheitsgröße“-Brille

Bevor es diese Studie gab, wenn Sie Tweets über Obdachlosigkeit analysieren wollten, hätten Sie vielleicht Standardwerkzeuge verwendet, die einfach nur fragen: „Ist dieser Tweet beleidigend?“ (Toxizität) oder „Ist dieser Tweet glücklich oder traurig?“ (Sentiment).

Die Forscher argumentieren, dass diese Werkzeuge wie der Versuch sind, einen gemischten Sack voll Obst mit nur einem „Rot“- und einem „Grün“-Aufkleber zu sortieren.

• Der Fehler: Ein Tweet könnte sagen: „Obdachlose sind faul und schmutzig.“ Standardwerkzeuge könnten dies übersehen, weil es keine „Schimpfwörter“ verwendet (geringe Toxizität) und nicht „glücklich“ ist (negatives Sentiment). Aber es ist zutiefst schädlich.
• Die Realität: Die Einstellungen der Menschen sind komplex. Man kann Mitgefühl für eine obdachlose Person empfinden und gleichzeitig wütend auf die Regierung sein, weil sie das Problem nicht löst – und das alles in einem einzigen Satz. Einfache „gut/schlecht“-Labels erfassen diese Nuancen nicht.

2. Die Lösung: Das „OATH-Frames“-Menü

Das Team erstellte ein neues „Menü“ aus neun spezifischen Kategorien (Frames), um genau zu beschreiben, wie Menschen über Obdachlosigkeit sprechen. Denken Sie an dies wie an ein Degustationsmenü eines Küchenchefs anstelle von nur „Essen“.

Sie gruppierten diese neun Kategorien in drei Hauptgeschmacksrichtungen:

• Kritik (Die Beschwerden):
  • Regierungskritik: Den Politikern oder Gesetzen die Schuld geben.
  • Gesellschaftskritik: Der Gesellschaft oder „hypokritischen“ Menschen die Schuld geben.
  • Geldhilfe: Darüber streiten, wohin Steuergelder fließen sollten.
• Wahrnehmungen (Die Stereotypen):
  • Schädliche Verallgemeinerungen: Obdachlose als Diebe, Süchtige oder faul bezeichnen.
  • Würdig vs. Unwürdig: Argumentieren, dass bestimmte Gruppen (wie Veteranen) Hilfe mehr verdienen als andere (wie Migranten).
  • Not In My Backyard (NIMBY - Nicht in meiner Nachbarschaft): „Ich habe nichts gegen Obdachlose, nur nicht in meiner Nachbarschaft.“
• Reaktionen (Die Handlungen):
  • Lösungen: Vorschläge für Lösungen, Unterkünfte oder politische Änderungen machen.
  • Persönliche Interaktion: Eine Geschichte teilen, in der man eine obdachlose Person getroffen hat.
  • Mediale Darstellung: Darüber sprechen, wie die Nachrichten oder Fernsehsendungen Obdachlosigkeit darstellen.

3. Der Prozess: Der „Mensch-KI-Tanz“

2,4 Millionen Tweets von Hand zu sortieren, würde ein Humanteam Jahre kosten. Sie allein mit KI zu sortieren ist riskant, da KI subtile soziale Hinweise (wie Sarkasmus oder spezifische politische Referenzen) missverstehen kann.

So erfanden sie einen „Mensch-KI-Tanz“:

1. Die Experten: Sozialarbeitsexperten definierten zuerst die Regeln (das „Menü“) und beschrifteten eine kleine Charge von Tweets, um der KI beizubringen, wonach sie suchen soll.
2. Der KI-Assistent (GPT-4): Die KI versuchte, tausende Tweets zu labeln. Wenn sie verwirrt war, erklärte sie ihre Begründung (wie ein Schüler, der seinen Rechenweg zeigt).
3. Die Kontrolle: Die menschlichen Experten betrachteten die „Arbeit“ der KI und korrigierten die Fehler. Sie fanden heraus, dass sie durch die Methode, die KI die schwere Arbeit erled করতে zu lassen und nur die Ergebnisse zu prüfen, 6,5 Mal schneller beim Labeln waren, bei nur einem minimalen Rückgang der Genauigkeit.
4. Der Endspurt: Sobald die KI die Regeln von den Experten gelernt hatte, trainierten sie ein kleineres, schnelleres KI-Modell, um die verbleibenden 2,4 Millionen Tweets eigenständig zu labeln.

4. Was sie fanden: Die verborgenen Muster

Sobald sie alle 2,4 Millionen Tweets in diese neun Kategorien sortiert hatten, konnten sie Muster erkennen, die zuvor unsichtbar waren.

• Die „Toxizitäts“-Blindstelle: Sie fanden heraus, dass viele Tweets, die schädliche Stereotypen enthielten (wie Obdachlose als „schmutzig“ zu bezeichnen), niedrige „Toxizitäts“-Werte aufwiesen. Die neue „OATH-Frames“-KI der Forscher fing diese auf, während die alten Werkzeuge sie übersahen.
• Der Ort spielt eine Rolle:
  • In Kalifornien, Washington und Oregon war die Wahrscheinlichkeit höher, dass Menschen Schädliche Verallgemeinerungen (Stereotypen) verwendeten. Die Forscher glauben, dass dies daran liegt, dass es dort mehr sichtbare, obdachlose Bevölkerungsgruppen ohne feste Unterkunft gibt, was zu direkteren (und manchmal negativeren) Reaktionen führt.
  • In New York ging es die Menschen eher um das Thema Würdig vs. Unwürdig. Dies schien mit Nachrichten über Migranten und Asylsuchende, die in die Stadt kamen, zusammenzuhängen, was Debatten darüber entfachte, wer Hilfe „verdient“.
• Der „Ukraine vs. Migranten“-Split:
  • Wenn Menschen Amerikaner ohne festen Wohnsitz mit Ukrainern verglichen, drehten sich die Tweets hauptsächlich um Regierungskritik und Geldhilfe (z. B. „Warum schicken wir Milliarden nach Ukraine, wenn wir hier Obdachlose haben?“).
  • Wenn sie Amerikaner ohne festen Wohnsitz mit Migranten verglichen, waren die Tweets viel feindseliger und voller Schädlicher Verallgemeinerungen und NIMBY-Einstellungen (z. B. „Sie nehmen uns unsere Jobs/Wohnungen weg“).
• Die Zeit spielt eine Rolle: Während großer Nachrichtenereignisse (wie den Debatten über die Finanzierung des Ukraine-Krieges) stiegen die Tweets in spezifischen Kategorien sprunghaft an. Als der Kongress über die Hilfe für die Ukraine diskutierte, explodierten die Argumente zu „Geldhilfe“ und „Würdig vs. Unwürdig“ in den Tweets.

Das Fazit

Diese Arbeit hat nicht nur Tweets gezählt; sie hat einem Computer beigebracht, die Nuancen von menschlicher Wut, Mitgefühl und Verwirrung in Bezug auf Obdachlosigkeit zu verstehen.

Durch die Kombination von menschlicher Expertise aus der Sozialarbeit mit der Geschwindigkeit der KI haben sie ein Werkzeug geschaffen, das subtile, schädliche Einstellungen erkennen kann, die herkömmliche „gemein vs. nett“-Detektoren übersehen. Sie haben gezeigt, dass sich die Art und Weise, wie wir über Obdachlosigkeit sprechen, ändert, je nachdem, wo wir leben, mit wem wir sie vergleichen und was gerade in den Nachrichten passiert.

Hinweis: Die Arbeit konzentriert sich ausschließlich auf die Analyse dieser Online-Einstellungen, um Forschern und Interessenvertägern zu helfen, die öffentliche Meinung besser zu verstehen. Sie behauptet nicht, Obdachlosigkeit direkt zu lösen oder klinische Ratschläge zu geben, sondern bietet vielmehr eine klarere Linse, um das Problem zu betrachten.