CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models
Dieser Beitrag stellt CommonWhy vor, einen Datensatz mit 15.000 entitätsbasierten „Warum"-Fragen, der die kausale gesundheitsvernünftige Schlussfolgerung und die Fähigkeit zur abduktiven Erklärung großer Sprachmodelle bewertet und trotz der Verfügbarkeit unterstützenden Wissens in Wikidata erhebliche Mängel der aktuellen Modelle aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut gebildeten Roboter-Assistenten. Sie haben ihm Tausende von Fragen gestellt wie: „Ist es wahr, dass Harry Potter fliegen kann?" oder „Besaß Aristoteles einen Laptop?" Der Roboter ist sehr gut darin geworden, diese „Ja"- oder „Nein"-Fragen zu beantworten, weil er seine riesige Faktenbibliothek durchsuchen und die Antwort finden kann.
Doch stellen Sie sich nun vor, Sie fragen den Roboter etwas viel Schwierigeres: „Warum benötigte Katarina Barley kein Visum, um das Champions-League-Finale 2024 anzusehen?"
Hier beginnt der Roboter zu straucheln. Dies ist das Problem, das die Arbeit CommonWhy zu lösen versucht.
Das Problem: Der Roboter kann keine „Punkte verbinden"
Die Autoren argumentieren, dass Roboter zwar hervorragend im Faktoretrieval sind (ein bestimmtes Faktum in einem Buch zu finden), aber schrecklich im kausalen Schlussfolgern (herauszufinden, warum etwas passiert ist, indem sie verschiedene Fakten mit gesundem Menschenverstand verknüpfen).
Stellen Sie es sich so vor:
- Faktoretrieval ist wie das Nachschlagen einer Telefonnummer in einem Verzeichnis.
- Kausales Schlussfolgern ist wie die Arbeit eines Detektivs. Sie müssen die Telefonnummer ansehen, erkennen, dass die Person in einem anderen Land lebt, sich daran erinnern, dass dieses Land ein visumfreies Abkommen mit dem Heimatland der Person hat, und dann schlussfolgern: „Ah, deshalb brauchte sie kein Visum!"
Aktuelle Roboter scheitern oft an dieser Detektivarbeit. Sie raten möglicherweise die Antwort, erfinden Fakten (Halluzinationen) oder bleiben einfach stecken, weil die Antwort nicht in einem einzigen Satz in ihren Trainingsdaten geschrieben steht.
Die Lösung: Eine neue „Detektivprüfung"
Die Forscher haben einen neuen Datensatz namens CommonWhy erstellt. Stellen Sie sich dies als eine riesige „Detektivprüfung" mit 15.000 Fragen vor, die speziell entwickelt wurde, um zu testen, wie gut diese Roboter herausfinden können, warum Dinge geschehen.
So haben sie diese Prüfung aufgebaut:
- Die Regeln (Axiome): Zuerst gaben sie der KI einige Grundregeln der Welt, wie zum Beispiel: „Wenn Sie Bürger eines Landes A sind und Land B Bürgern von Land A erlaubt, ohne Visum zu reisen, dann benötigen Sie kein Visum."
- Die Charaktere (Entitäten): Sie nahmen echte Personen, Orte und Ereignisse aus einer riesigen Datenbank namens Wikidata (wie eine Wikipedia für strukturierte Daten).
- Die Fragen: Sie mischten die Regeln mit den Charakteren, um Fragen zu erstellen. Zum Beispiel: „Warum benötigte Person X kein Visum, um zu Event Y zu gehen?"
- Die Antworten: Entscheidend ist, dass sie nicht nur nach einer einzigen richtigen Antwort suchten. In der realen Welt gibt es oft mehrere Gründe. Vielleicht benötigte Person X kein Visum, weil sie Bürger des Gastlandes ist, oder vielleicht, weil sie Diplomat ist. Der Datensatz umfasst alle diese gültigen Möglichkeiten.
Die Ergebnisse: Die Roboter bestanden die Prüfung nicht
Die Forscher testeten die intelligentesten verfügbaren KI-Modelle (einschließlich der neuesten „Schlussfolgerungs"-Modelle) an dieser Prüfung. Die Ergebnisse waren überraschend und ein wenig beunruhigend:
- Sie blieben stecken: Selbst die besten Modelle lagen nur bei etwa 68 % richtigen Antworten. Das ist eine Durchfallnote für ein System, von dem wir erwarten, dass es superintelligent ist.
- Sie erdachten sich Dinge: Wenn die Modelle die Antwort doch richtig hatten, fügten sie oft erfundene Fakten hinzu, um dorthin zu gelangen. Es ist wie bei einem Schüler, der die richtige Mathe-Antwort erhält, aber eine erfundene Formel verwendet, um sie zu berechnen.
- Das „Long-Tail"-Problem: Den Robotern ging es noch schlechter, wenn die Fragen obskure, weniger bekannte Personen oder Orte betrafen (den „Long-Tail"). Sie schienen sich darauf zu verlassen, berühmte Fakten auswendig zu lernen, anstatt die Logik tatsächlich durchzudenken.
- Alte Werkzeuge funktionieren nicht: Sie versuchten, Standardwerkzeuge für Datenbankfragen (KGQA) zu verwenden, aber diese Werkzeuge fielen kläglich durch. Sie sind darauf ausgelegt, Fakten zu finden, nicht zu erklären, warum Dinge geschehen.
Das große Ganze
Die Arbeit kommt zu dem Schluss, dass wir eine neue, sehr schwierige Herausforderung für die KI haben. Wir können Roboter nicht einfach weiter auffordern, Fakten auswendig zu lernen oder einfache „Wahr/Falsch"-Fragen zu beantworten. Wenn wir wollen, dass sie effektiv mit der realen Welt interagieren, müssen wir ihnen beibringen, wie man Detektiv ist – wie man harte Fakten mit gesundem Menschenverstand kombiniert, um zu erklären, warum die Welt so funktioniert, wie sie funktioniert.
CommonWhy ist das erste Werkzeug, mit dem wir messen können, ob Roboter tatsächlich besser in dieser Art des Denkens werden oder ob sie einfach nur besser im Raten werden. Derzeit, so die Arbeit, raten sie hauptsächlich nur.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.