EduArt: An educational-level benchmark for evaluating art history knowledge in large language models
Dieses Paper stellt EduArt vor, einen psychometrisch robusten Benchmark auf Bildungsniveau, der aus 871 von Menschen verfassten Fragen in mehreren Sprachen und Formaten besteht und aufzeigt, dass große Sprachmodelle zwar bei der kunsthistorischen Erkennung in Multiple-Choice-Formate exzellieren, ihre Leistung jedoch bei offenen Aufgaben sowie Aufgaben zur Fehleridentifikation drastisch abfällt, was eine kritische Lücke zwischen der bloßen Erkennung und der Fähigkeit zur zuverlässigen Anwendung kunsthistorischen Wissens verdeutlicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten testen, wie klug eine Gruppe neuer Studenten in Kunstgeschichte ist. Lange Zeit war der Standardtest ein Multiple-Choice-Quiz. Sie zeigen ihnen das Bild eines Gemäldes und fragen: „Wer hat dies gemalt?“ mit den vier Optionen A, B, C oder D.
Das Paper „EduArt“ argumentiert, dass diese Methode so ist, als würde man die Kochkünste eines Küchenchefs testen, indem man ihn nur bittet, auf ein Bild eines Burgers zu zeigen und zu sagen: „Ja, das ist ein Burger.“ Das ist zu einfach. Die klügsten KI-Modelle (die „Studenten“) erreichen jetzt fast 100 % bei diesen Multiple-Choice-Fragen. Sie verstehen die Kunst nicht unbedingt; sie werden nur sehr gut darin, das richtige Kürzel aus einer Liste zu erraten.
Der neue Test: EduArt
Die Autoren entwickelten eine neue, schwierigere Prüfung namens EduArt. Anstatt nur Multiple-Choice zu verwenden, nutzten sie echte Fragen aus italienischen Highschool-Lehrbüchern und US-amerikanischen Hochschulaufnahmeprüfungen. Sie haben diese Fragen nicht computergeneriert; echte menschliche Lehrer haben sie geschrieben.
Betrachten Sie EduArt als einen „Multi-Skill-Hindernislauf“ für KI. Anstatt nur einen Buchstaben auszuwählen, muss die KI:
- Lückentexte ausfüllen: „Der Künstler verwendete die [______]-Technik.“
- Fehler finden: „Finde das falsche Wort in diesem Satz über das Gemälde.“
- Drag-and-Drop: „Setze das richtige Wort an die richtige Stelle im Text.“
- Ihre Arbeit erklären: „Warum haben Sie diese Antwort gewählt?“
Was sie herausfanden
Die Forscher testeten 12 verschiedene KI-Modelle (wie die Gehirne verschiedener Unternehmen) auf diesem neuen Parcours. Und das passierte:
Die „Erkennungs“-Falle: Wenn die KI lediglich gebeten wurde, eine Antwort aus einer Liste auszuwählen (Multiple-Choice), erreichten die besten Modelle über 94 %. Sie wirkten wie Kunstgeschichte-Genies. Aber als sich der Test änderte und sie aufgefordert wurden, die Antwort zu schreiben oder den Fehler zu finden, brachen ihre Punktzahlen ein. Ein Modell, das bei 94 % beim Auswählen von Antworten lag, fiel auf 6 % ab, als es darum ging, Fehler zu finden.
- Die Metapher: Es ist wie ein Student, der bei einer Quizshow durch schnelles Drücken des Buzzers glänzen kann, aber völlig versagt, wenn er gebeten wird, einen Aufsatz zum selben Thema zu schreiben. Er kann die Antwort zwar erkennen, aber er weiß nicht, wie er das Wissen anwenden muss.
Das „Bild“-Paradoxon: Man könnte denken, dass es der KI leichter fällt, wenn man ihr das Gemälde zeigt. Überraschenderweise schnitt die KI sogar schlechter ab, wenn das Bild enthalten war.
- Die Metapher: Es ist, als würde man einem Studenten eine Karte und einen Kompass geben, aber er lässt sich so sehr von dem Blick auf die Karte ablenken, dass er vergisst, wie man läuft. Die KI schien sich mehr auf ihr Textgedächtnis zu verlassen als darauf, das Bild tatsächlich zu „sehen“. Wenn das Bild vorhanden war, wurde sie verwirrt; wenn es nur Text war, war sie besser.
Der „Erklär-dich-Effekt“: Die Forscher baten die KI, eine kurze Begründung für ihre Antwort zu schreiben.
- Die Metapher: Stellen Sie sich einen Studenten vor, der normalerweise die richtige Antwort auf einer Prüfung errät. Wenn der Lehrer dann sagt: „Okay, sag mir jetzt, warum du diese Antwort gewählt hast“, erstarren manche Studenten und geben die falsche Antwort. Andere werden selbstbewusster und antworten richtig.
- Das Ergebnis: Es hing völlig davon ab, aus welcher „Familie“ die KI stammte. Einige KI-Familien (wie Claude) wurden tatsächlich besser, wenn sie sich erklären mussten. Andere (wie Googles Gemini und OpenAIs GPT) wurden schlechter. Es scheint, dass der Zwang, laut zu denken, sie manchmal aus dem Tritt bringt.
Das große Fazit
Der Hauptpunkt des Papers ist: Die Antwort zu kennen und die Antwort anwenden zu können, sind zwei verschiedene Fähigkeiten.
Wenn man KI nur mit Multiple-Choice-Fragen testet, erhält man ein irreführend hohes Ergebnis. Es ist, als würde man die Leistung eines Autos nur danach beurteilen, wie gut es geradeaus einparken kann, während man ignoriert, ob es einen Berg hochfahren oder eine Kurve fahren kann.
Für Kunsthistoriker, die KI zur Analyse von Gemälden oder zum Schreiben von Beschreibungen nutzen wollen, warnt dieses Paper: „Vertrauen Sie nicht den Multiple-Choice-Ergebnissen.“ Nur weil eine KI den richtigen Namen für ein Gemälde auswählen kann, bedeutet das nicht, dass sie einen korrekten Absatz darüber schreiben oder ein Fälschung erkennen kann. Um zu wissen, was eine KI wirklich kann, muss man sie mit den unordentlichen, offenen Aufgaben testen, denen echte Wissenschaftler tatsächlich begegnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.