Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks
Diese Arbeit bewertet die prädiktive Validität weit verbreiteter Commonsense-Benchmarks, indem sie 23 Modelle über verschiedene Aufgaben hinweg testet, und stellt fest, dass diese Benchmarks lediglich aufgabenabhängige statt allgemeine Belege für die Kompetenz eines LLMs bei nachgelagerten realen Denkaufgaben liefern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein neuer Schüler klug ist. Sie geben ihm einen standardisierten Test mit Multiple-Choice-Fragen zum Alltag, wie etwa: „Wenn ich ein Glas fallen lasse, wird es zerbrechen?“ oder „Warum weint der Junge?“. Wenn er eine hohe Punktzahl erreicht, gehen Sie davon aus, dass er gut darin ist, die Welt zu verstehen. Genau so testen Wissenschaftler derzeit Künstliche Intelligenz (KI). Sie verwenden „Benchmarks“ – statische Quizfragen, die darauf ausgelegt sind, zu prüfen, ob eine KI über „gesunden Menschenverstand“ verfügt, was nur ein schicker Begriff für die grundlegenden, ungeschriebenen Regeln dafür ist, wie die Welt, Menschen und die Physik funktionieren. Aber hier ist der Haken: Nur weil ein Schüler einen Multiple-Choice-Test mit Bestnoten abschließt, bedeutet das nicht, dass er tatsächlich eine reale Situation bewältigen kann, wie etwa die Verhandlung mit einem Freund oder das Reparieren eines kaputten Spielzeugs. Die große Frage, die sich Forscher stellen, lautet: Sagen diese Testergebnisse tatsächlich voraus, wie gut die KI reale Aufgaben bewältigen wird, oder sind sie nur gut darin, den Test selbst zu absolvieren?
Dieses Papier mit dem Titel „Benchmarking the Benchmarks“ begibt sich auf eine Detektivmission, um herauszufinden, ob diese populären KI-Quizfragen tatsächlich nützlich sind. Die Autoren, Ine Gevers und Walter Daelemans, behandelten diese Benchmarks wie eine Wettervorhersage. Sie wollten wissen: Wenn die Vorhersage „sonnig“ sagt (eine hohe Benchmark-Punktzahl), bedeutet das dann auch tatsächlich, dass der Tag sonnig wird (die KI bei einer realen Aufgabe erfolgreich sein wird)? Um dies zu testen, betrachteten sie nicht nur einen einzelnen Test; sie sammelten 23 verschiedene KI-Modelle (denken Sie an 23 verschiedene Schüler) und gaben ihnen vier berühmte Quizfragen zum gesunden Menschenverstand sowie vier „überarbeitete“ Versionen derselben Quizfragen, die bereinigt worden waren, um knifflige Fehler zu entfernen. Dann beobachteten sie, wie dieselben Modelle bei acht verschiedenen, komplexeren realen Herausforderungen abschnitten, wie etwa dem Erkennen, ob jemand sarkastisch ist, dem Verständnis verborgener Bedeutungen in einem Gespräch oder der Vorhersage dessen, was als Nächstes bei einem physischen Ereignis passiert.
Die Ergebnisse könnten Sie überraschen. Die Autoren fanden heraus, dass das Bereinigen der Quizfragen die Vorhersagekraft für die reale Leistung nicht wirklich verbesserte. Es ist, als würde man einen Mathetest nehmen, die Tippfehler korrigieren und neu drucken; die Schüler, die vorher eine Eins bekamen, bekommen immer noch eine Eins, und diejenigen, die Schwierigkeiten hatten, haben immer noch Schwierigkeiten, aber der Test sagt einem immer noch nicht, ob sie tatsächlich ein Auto reparieren können. Tatsächlich waren die Quiz-Ergebnisse für die meisten realen Aufgaben schlechte Prädiktoren. Die einzigen Male, in denen die Quiz-Ergebnisse hilfreich waren, betrafen sehr spezifische Aufgaben: das Verständnis von „False Beliefs“ (zu verstehen, dass jemand anderes etwas wissen könnte, was man selbst nicht weiß) und „TRIP“ (das Vorhersagen der physischen Schritte eines Ereignisses). Selbst dort war die Verbindung nicht perfekt.
Die Studie legt nahe, dass diese Benchmarks nicht eine einzige, breite „gesunden Menschenverstand“-Superkraft messen. Stattdessen messen sie, wie gut ein Modell in der Lage ist, eine ganz bestimmte Art von Multiple-Choice-Test zu absolvieren. Wenn Sie möchten, dass eine KI gut darin wird, Sarkasmus oder soziale Emotionen zu verstehen, garantiert eine hohe Punktzahl in diesen Standard-Quizfragen dies nicht. Die Autoren kommen zu dem Schluss, dass wir nicht einfach auf eine Bestenliste schauen und davon ausgehen können, dass die oberste KI für jeden Job der Klügste ist. Die Punktzahlen sind für einige sehr enge Bereiche nützlich, aber sie sind kein magischer Kristallball für allgemeine Intelligenz. Das Papier argumentet, dass wir aufhören müssen anzunehmen, dass das Korrigieren der Testfragen automatisch die Fähigkeit des Tests verbessert, realen Erfolg vorherzusagen, und staten, uns stattdessen darauf zu konzentrieren, KI auf Arten zu testen, die tatsächlich der realen Welt ähneln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.