Counterfactual Analysis via Large Language Models
Diese Arbeit zeigt, dass durch Prompt-Engineering optimierte GPT-3.5-Modelle effektiv kontrafaktische Analysen in der Online-Kreditvergabe durchführen können, um die Rentabilität unter hypothetischen Zinsszenarien vorherzusagen, wobei sie eine mit traditioneller Gradient-Boosting-Regression vergleichbare Leistung erzielen und gleichzeitig logische kausale Argumentation aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Zeitreisender mit einer magischen „Was wäre, wenn?“-Maschine. In der Wissenschaft wird dies als kontrafaktische Analyse bezeichnet. Es ist die Kunst vorherzusagen, was passiert wäre, wenn man sich gestern anders entschieden hätte. Ist dieser Schüler durchgefallen, weil die Klasse zu groß war, oder hätte er in einem kleineren Raum eine exzellente Note erhalten? Wurde diese E-Mail ignoriert, weil der Betreff langweilig war, oder hätte ein personalisierter Betreff den Tag gerettet? Wissenschaftler lieben diese Art von Fragen, denn sie helfen uns, Ursache und Wirkung zu verstehen, anstatt nur zu raten. Normalerweise müssen Forscher, um diese Fragen zu beantworten, teure Experimente durchführen oder komplexe mathematische Modelle nutzen, die vergangene Daten betrachten, um die Zukunft zu erraten. Doch vor kurzem ist eine neue Art von digitalem Gehirn eingetroffen: das Large Language Model (LLM). Betrachten Sie diese als superintelligente Roboter, die fast alles im Internet gelesen haben. Sie sind großartig darin, Geschichten zu schreiben und zu chatten, aber können sie auch die Rolle eines Zeitreisenden übernehmen, um „Was wäre, wenn“-Szenarien zu entwern? Das ist die große Frage, die dieses Paper stellt.
Der Autor dieser Studie entschied sich, diese digitalen Gehirne in der Hochrisikowelt der Online-Kreditvergabe zu testen. Stellen Sie sich eine Bank vor, die Menschen Geld leiht. Sie muss entscheiden, welchen Zinssatz sie verlangen soll. Wenn sie zu viel verlangt, könnte der Kreditnehmer überfordert werden und die Rückzahlung einstellen. Wenn sie zu wenig verlangt, macht die Bank Verlust. Die Bank weiß, was mit dem tatsächlich gewählten Zinssatz passiert ist, aber sie kann niemals sicher wissen, was passiert wäre, wenn sie einen anderen gewählt hätte. Dieses fehlende Puzzleteil ist der „Kontrafakt“. Die Forscher wollten sehen, ob eine KI, speziell ein Modell namens GPT-3.5, in der Lage ist, sich einen Kreditantrag anzusehen und zu sagen: „Wenn wir 10 % statt 12 % berechnet hätten, hätte der Kreditnehmer uns schneller zurückgezahlt.“
Um dies umzusetzen, hat das Team die KI nicht einfach nur eine einfache Frage gestellt. Sie erkannten, dass das Sprechen mit einem Roboter dem Sprechen mit einem Menschen sehr ähnlich ist; man muss auf die richtige Weise fragen. Sie nutzten eine Technik namens Prompt Engineering, was im Grunde die Kunst ist, der KI die perfekten Anweisungen zu geben. Sie versuchten, die KI zu bitten, den Kreditnehmer zu simulieren, dann versuchten sie, sie zu bitten, ein Kreditexperte zu sein. Sie ließen die KI sogar ein Gremium aus vier Experten simulieren, die miteinander debattieren, um zu einem Konsens zu gelangen – eine Methode namens Tree-of-Thought. Sie ließen die KI auch einen Blick auf die Vorhersagen traditioneller Computeralgorithmen werfen, um zu sehen, ob sie diese verbessern kann.
Die Ergebnisse waren überraschend vielversprechend. Als die Forscher die KI zuerst ohne spezielle Anweisungen fragten, die Kreditausgänge zu erraten, war sie ziemlich schlecht und traf die mathematische Korrektheit nur in etwa 2 % der Fälle. Aber sobald sie den „Expertenpanel“-Trick anwandten und ihr den richtigen Kontext gaben, sprang ihre Leistung auf fast 3 % an. Während das klein klingen mag, ist es in diesem Bereich eine riesige Sache, da es die KI fast an die Genauigkeit der besten traditionellen mathematischen Modelle heranführt. Wichtiger noch: Die KI spuckte nicht nur eine Zahl aus; sie erklärte ihre Argumentation. Sie betrachtete die Historie des Kreditnehmers, berücksichtigte den Zinssatz und argumentierte logisch, warum ein niedrigerer Zinssatz ihnen helfen würde, den Kredit schneller zurückzuzahlen.
Die Studie legt nahe, dass diese Large Language Models nicht nur Chatbots sind; sie entwickeln sich zu fähigen Werkzeugen, um „Was wäre, wenn“-Szenarien zu entwerfen. Die KI zeigte, dass sie in der Lage war, zu erkennen, wenn ein traditionelles Computermodell zu optimistisch war, und passte die Vorhersage basierend auf ihrem eigenen „Wissen“ darüber, wie Menschen sich verhalten, an. Zum Beispiel, als das traditionelle Modell vorhersagte, dass ein Kreditnehmer den Kredit in 8 Monaten mit einem niedrigeren Zinssatz zurückzahlen würde, dachte die KI: „Das scheint angesichts seiner Kredithistorie zu schnell zu gehen“, und passte die Vorhersage auf 22 Monate an. Dies zeigt, dass die KI mehr tut als nur die Mathematik zu kopieren; sie denkt tatsächlich logisch nach.
Der Autor ist jedoch vorsichtig, dies nicht als perfekte Lösung zu bezeichnen. Er merkt an, dass die KI zwar besser wird, aber immer noch in einer simulierten Umgebung getestet wird. Er fand heraus, dass die Vorhersagen der KI logisch konsistent mit den Regeln der realen Welt waren (wie zum Beispiel: Wenn man den Zinssatz senkt, ist die Wahrscheinlichkeit geringer, dass Menschen zahlungsunfähig werden), behauptete aber nicht, dass die KI das Rätsel des menschlichen Verhaltens vollständig gelöst hat. Stattdessen schlägt er vor, dass diese Modelle ein leistungsstarkes neues Werkzeug sind, das Kreditgebern und Wissenschaftlern helfen kann, bessere Entscheidungen zu treffen, indem es verschiedene Zukünfte simuliert. Es ist wie ein sehr kluger, sehr gut belesener Berater, der einem helfen kann, die Konsequenzen der eigenen Entscheidungen zu visualisieren, bevor man sie tatsächlich trifft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.