Causal Inference with Unstructured Outcomes

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, warum ein Verbrechen geschehen ist. Normalerweise sind die Hinweise einfache Zahlen: wie viel Geld gestohlen wurde, wie viele Menschen verletzt wurden oder wie lange ein Verdächtiger wartete, bevor er gestand. Diese Zahlen lassen sich leicht vergleichen, um zu sehen, ob eine neue Polizeitaktik einen Unterschied gemacht hat. Aber was, wenn der „Hinweis“ gar keine Zahl ist? Was, wenn das Beweismittel eine unordentliche, handgeschriebene Notiz, ein verschwommenes Foto oder eine lange, abschweifende Geschichte ist? Man kann nicht eine Geschichte von einer anderen subtrahieren, um die Differenz zu finden, genau wie man nicht ein Gemälde von einem anderen subtrahieren kann, um zu sehen, wie sich der Stil eines Künstlers verändert hat. Dies ist das Rätsel, vor dem Wissenschaftler stehen, wenn sie versuchen, die Auswirkungen neuer Werkzeuge auf komplexe, unstrukturierte Dinge wie Texte, Bilder oder Krankenakten zu untersuchen. Sie müssen einen Weg finden, die „Form“ der Veränderung zu messen, nicht nur die Größe.

Hier kommt die Arbeit von Kevin Christian Wibisono und Yixin Wang ins Spiel. Sie sind Statistiker und haben eine neue Methode entwickelt, um Fragen über diese unordentlichen Ergebnisse zu stellen. Anstatt zu raten, welcher Teil eines Textes oder Bildes sich verändert hat, haben sie eine Methode erschaffen, die automatisch das „Maximally Contrasting Feature“ (MCF) findet. Denken Sie an einen magischen Textmarker, der tausende von Dokumenten oder Bildern scannt und sofort lernt, welche spezifischen Details – wie ein bestimmter Tonfall, eine bestimmte Art von Unschärfe oder eine bestimmte Art der Gedankenstrukturierung – sich aufgrund einer Behandlung am stärksten verändert haben. Sie haben diese Idee mit Computersimulationen mit Texten und Bildern getestet, und die Ergebnisse legen nahe, dass ihre Methode erfolgreich die exakten Merkmale aufspüren kann, die ein neues Werkzeug oder eine Intervention verändert, selbst wenn die Forscher vorher nicht wussten, wonach sie suchen mussten.

Das Problem: Wenn die Antwort keine Zahl ist

Lange Zeit war die Wissenschaft groß darin, einfache Dinge zu messen. Wenn ein Arzt wissen möchte, ob ein neues Medikament wirkt, prüft er, ob die Temperatur des Patienten um 2 Grad gesunken ist. Wenn ein Unternehmen wissen möchte, ob ein neues Website-Design funktioniert, zählt es, ob die Verkäufe um 10 % gestiegen sind. Dies sind „skalare Ergebnisse“ – einzelne Zahlen, die leicht zu vergleichen sind.

Aber die Welt ist voll von Dingen, die keine einzelnen Zahlen sind. Stellen Sie sich vor, ein Krankenhaus möchte wissen, ob ein neues KI-Tool Ärzten hilft, bessere Notizen zu schreiben. Das „Ergebnis“ ist keine Zahl; es ist ein ganzer Absatz Text. Oder stellen Sie sich vor, ein Forscher möchte wissen, ob ein neuer Kamera-Algorithmus Fotos klarer macht. Das Ergebnis ist ein Bild. Man kann nicht das Foto einer Katze von einem Foto eines Hundes subtrahieren, um eine „Differenzzahl“ zu erhalten. Man kann nicht einmal wirklich sagen, wie die „durchschnittliche“ Notiz aussieht.

Traditionell versuchten Wissenschaftler, dies zu lösen, indem sie die unordentlichen Daten in eine Box zwängten. Sie erstellten eine Liste von Regeln (ein „Codebuch“), um den Text zu bewerten. Vielleicht entschieden sie, wie oft ein Arzt das Wort „dringend“ verwendet, oder wie viele Sätze in der Notiz enthalten waren. Aber das ist so, als würde man versuchen, eine Sinfonie zu beschreiben, indem man nur die Anzahl der Violinen zählt. Man könnte den wichtigsten Teil übersehen: die Melodie, die Emotion oder einen plötzlichen Tempowechsel. Wenn das KI-Tool den Tonfall der Notizen verändert hätte, aber nicht die Wortanzahl, würde die alte Methode dies völlig übersehen.

Die Lösung: Der magische Textmarker (MCF)

Die Autoren schlagen einen neuen Ansatz vor. Anstatt zu raten, was man messen soll, lassen sie die Daten lehren, was wichtig ist. Sie nennen dies das Maximally Contrasting Feature (MCF).

Stellen Sie sich vor, Sie haben zwei Stapel Notizen: einen Stapel, der von Ärzten unter Verwendung des neuen KI-Tools geschrieben wurde, und einen anderen, der von Ärzchern ohne das Tool geschrieben wurde. Sie wollen den „magischen Textmarker“ finden, der, wenn Sie ihn über die Notizen laufen lassen, den KI-Stapel so unterschiedlich wie möglich vom Nicht-KI-Stapel aussehen lässt.

Das MCF ist dieser Textmarker. Es ist ein Computerprogramm, das lernt, einen Wert von 0 bis 1 für jede einzelne Notiz zuzuweisen.

• Wenn eine Notiz sehr stark nach dem „KI-Stil“ aussieht, erhält sie einen Wert nahe 1.
• Wenn sie wie der „menschliche Stil“ aussieht, erhält sie einen Wert nahe 0.

Der Computer rät nicht nur, was „KI-Stil“ bedeutet. Er probiert Millionen verschiedener Möglichkeiten, die Notizen zu bewerten, und sucht nach der einen Art der Bewertung, die die größte Lücke zwischen den beiden Stapeln erzeugt. Sobald er das beste Bewertungssystem gefunden hat, schaut er sich die Notizen an, die hohe Werte erhielten, und die, die niedrige Werte erhielten, um zu sehen, was tatsächlich unterschiedlich ist. Vielleicht entdeckt er, dass die KI-Notizen immer formeller sind, oder vielleicht nutzen sie immer eine bestimmte Vorlage, oder vielleicht sind sie einfach kürzer. Die Methode findet die Antwort, ohne dass der Forscher die Antwort im Voraus kennen muss.

Wie es funktioniert: Das Werkzeug des Detektivs

Das Paper erklärt, dass dies kein bloßes Ratespiel ist, sondern ein strenger mathematischer Prozess, der auch „Confounder“ (Störfaktoren) berücksichtigt. In der realen Welt ist alles unordentlich. Vielleicht sind die Ärzte, die das KI-Tool nutzen, auch diejenigen, die komplexere Patienten behandeln. Wenn man nur die Notizen vergleicht, könnte man denken, die KI habe die Notizen kürzer gemacht, während es in Wirklichkeit die Patienten einfach weniger zu sagen hatten.

Die MCF-Methode behebt dies durch einen „Propensity Score“ (Neigungswert). Denken Sie an ein Matching-Spiel. Der Computer betrachtet die Hintergrunddetails (wie das Alter des Patienten, die Art des Besuchs und die Erfahrung des Arztes) und findet Paare von Notizen, die in jeder Hinsicht fast identisch sind, außer darin, ob das KI-Tool verwendet wurde oder nicht. Durch den Vergleich dieser gematchten Paare isoliert die Methode den wahren Effekt des KI-Tools.

Die Autoren haben auch eine „budgetierte“ Version entwickelt. Manchmal verändert die KI alles ein kleines bisschen, oder sie verändert einige wenige Dinge sehr stark. Das budgetierte MCF ermöglicht es Forschern zu sagen: „Zeig mir die obersten 10 % der Notizen, die sich am meisten verändert haben.“ Dies hilft, sich auf die offensichtlichsten, dramatischsten Veränderungen zu konzentieren, anstatt sich in winzigen, unbedeutenden Verschiebungen zu verlieren.

Was sie fanden: Text, Bilder und Überraschungen

Die Forscher testeten ihre Idee mit drei verschiedenen Experimenten, um zu sehen, ob sie tatsächlich funktioniert.

1. Die Text-Experimente:
Sie simulierten ein Szenario, in dem ein Schreibwerkzeug Texte „formeller“ machen sollte.

• Das Ergebnis: Das MCF konnte erfolgreich formale Sprache erkennen. Es gab Sätzen, die professionell klangen, hohe Werte und jenen, die eher locker wirkten, niedrige Werte.
• Die Wendung: Sie testeten auch ein kniffligeres Szenario, in dem das Tool in bestimmten Situationen (wie bei Unterhaltung) die Sprache weniger formal machen sollte, in anderen (wie bei Familienrat) jedoch formeller. Das MCF wurde davon nicht verwirrt. Es lernte eine „kontextsensitive“ Regel: „Wenn es um Musik geht, mache es locker; wenn es um Familie geht, mache es ernst.“ Es fand heraus, dass die „richtige“ Antwort von der Situation abhängt.
• Der Sicherheitstest: Sie testeten auch, ob das Tool „toxische“ Sprache erkennen konnte. In einem Fall machte das Tool die Sprache in Selbsthilfegruppen sicherer, in hitzigen Diskussionen jedoch aggressiver. Das MCF identifizierte korrekt, dass sich das Merkmal „Sicherheit“ je nach Kontext umkehrte, was bewies, dass es komplexe, reale Regeln handhaben kann.

2. Das Bild-Experiment:
Sie verwendeten Bilder von Zellen (wie sie unter einem Mikroskop zu sehen sind).

• Das Ergebnis: Sie simulierten eine Behandlung, die die Bilder unschärfer machte. Das MCF lernte, die Bilder basierend auf ihrer Unschärfe zu bewerten. Es konnte die scharfen Bilder erfolgreich von den unscharfen Bildern unterscheiden, obwohl die Anzahl der Zellen in den Bildern gleich blieb. Es bewies, dass die Methode auch für visuelle Daten funktioniert, nicht nur für Wörter.

3. Das doppelte Rätsel:
Schließlich betrachteten sie einen Fall, in dem sowohl die Eingabe als auch die Ausgabe unordentlich waren. Stellen Sie sich eine KI vor, die einen Entwurf vorschlägt, und ein Mensch schreibt die endgültige Notiz. Sowohl der Vorschlag als auch die Notiz sind Text.

• Das Ergebnis: Sie erstellten ein Paar von Hervorhebungs-Werkzeugen: eines für den KI-Vorschlag und eines für die endgültige Notiz. Das System lernte, dass wenn der KI-Vorschlag „konkret und spezifisch“ war, die endgültige Notiz dazu neigte, „vollständig und detailliert“ zu sein. Es fand die Verbindung zwischen diesen beiden unordentlichen Texten, ohne dass ihm jemand gesagt hatte, wonach es suchen sollte.

Warum es wichtig ist

Dieses Paper legt nahe, dass wir eine neue Art haben, die Welt zu untersuchen. Wir sind umgeben von unstrukturierten Daten – E-Mails, Videos, medizinische Scans, Social-Media-Posts. Wir wollen wissen, wie neue Technologien diese Dinge verändern, aber wir wissen oft nicht, wie wir die Veränderung messen sollen.

Die MCF-Methode bietet einen Weg, die Daten für sich selbst sprechen zu lassen. Anstatt ein quadratisches Loch mit einem runden Pflock zu füllen, indem man Wörter oder Pixel zählt, findet sie die verborgenen Dimensionen, auf die es tatsächlich ankommt. Sie legt nahe, dass wir die wichtigsten Veränderungen in unserer komplexen Welt entdecken können – egal, ob es darum geht, wie eine KI das Schreiben eines Arztes verändert oder wie ein neuer Filter ein Foto verändert –, ohne vorher Experten für die spezifischen Details sein zu müssen.

Die Autoren weisen vorsichtig darauf hin, dass diese Ergebnisse aus Simulationen und semi-synthetischen Experimenten stammen. Sie haben diese Methode noch nicht auf ein echtes Krankenhaus oder eine Live-News-Seite angewendet, aber die Simulationen zeigen, dass die Mathematik Bestand hat. Wenn diese Methode in der unordentlichen realen Welt funktioniert, könnte sie uns helfen zu verstehen, wie die KI-Tools, die unser Leben, unsere Arbeit und unsere Kommunikation rasant verändern, ihren wahren Einfluss ausüben.