Benchmarking AI Performance on End-to-End Data Science Projects
Die Studie stellt einen neuen Benchmark mit 40 End-to-End-Datenscience-Projekten vor, um zu zeigen, dass aktuelle KI-Modelle zwar strukturierte Routineaufgaben gut bewältigen, bei Urteilsentscheidungen jedoch erhebliche Unterschiede aufweisen und eine menschliche Überprüfung erfordern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
🧪 Der große KI-Test: Kann eine Maschine ein komplettes Daten-Projekt machen?
Stellen Sie sich vor, Datenwissenschaft ist wie das Backen eines komplexen Geburtstagskuchens.
Ein echter Datenwissenschaftler muss nicht nur den Teig mischen (Code schreiben), sondern auch:
- Die Zutaten besorgen (Daten finden).
- Den Ofen vorheizen und den Kuchen backen (Daten bereinigen und analysieren).
- Den Kuchen dekorieren (Grafiken erstellen).
- Eine Karte schreiben, die erklärt, warum dieser Kuchen so lecker ist (einen Bericht schreiben).
- Und am Ende muss alles sauber sein, damit ein anderer Bäcker den Kuchen nachbacken kann (Reproduzierbarkeit).
Bisher haben Tests für Künstliche Intelligenz (KI) nur geprüft, ob die Maschine einen dieser Schritte kann – zum Beispiel, ob sie den Teig mischen kann. Aber die Forscher Evelyn Hughes und Rohan Alexander wollten wissen: Kann die KI den ganzen Kuchen backen, von der ersten Idee bis zum fertigen Produkt?
📝 Wie haben sie das getestet?
Die Forscher haben sich 40 echte Projekte von Universitätsstudenten gesammelt. Das waren keine einfachen Hausaufgaben, sondern echte Daten-Projekte, die einen Bericht, Code und Grafiken enthielten.
Dann haben sie sieben verschiedene KI-Modelle (wie Claude, GPT-5, Gemini etc.) gebeten, genau diese Aufgaben nachzumachen. Jede KI sollte:
- Eine Datenquelle finden.
- Den Code schreiben, um die Daten zu laden und zu säubern.
- Tests schreiben, um Fehler zu finden.
- Einen wissenschaftlichen Artikel mit Grafiken verfassen.
Am Ende haben diese KI-Projekte von einem automatischen KI-Gericht bewertet werden lassen (ein "Roboter-Lehrer"), der genau nach einem strengen Bewertungsbogen geurteilt hat.
🏆 Die Ergebnisse: Wer ist der beste Bäcker?
Die Ergebnisse waren sehr unterschiedlich, je nachdem, welche KI man nahm:
- Der Spitzenreiter (Claude Opus 4.6): Diese KI hat einen 85 % erreicht. Das ist so gut wie ein sehr guter Student (ein "A-" oder "B+"). Sie hat fast alles richtig gemacht.
- Die guten Schüler (GPT-5.2, Gemini 3 Flash): Diese lagen bei 82 % bzw. 78 %. Auch sehr gut, fast auf dem Niveau eines guten Studenten.
- Die Durchschnittler (Grok-4, Gemini 3 Pro, Llama 4): Diese lagen zwischen 50 % und 70 %. Sie konnten die Grundstruktur hinbekommen, aber bei den feinen Details haperte es.
- Der alte Schüler (GPT-4o): Das ältere Modell hat nur 32 % erreicht. Es hat bei vielen Aufgaben versagt, ähnlich wie jemand, der versucht, einen Kuchen zu backen, aber vergisst, den Ofen einzuschalten.
🤖 Wo sind die KI stark und wo schwach?
Hier kommt der wichtigste Teil mit den Metaphern:
Starke Seite: Das Ausfüllen von Formularen.
Wenn die KI eine klare Vorlage hatte (z. B. "Schreibe einen Titel" oder "Erstelle eine Liste mit Testfällen"), war sie fantastisch. Das ist, als würde man ein Fertig-Backmisch-Paket verwenden: Wenn die Anleitung genau sagt, was zu tun ist, macht die KI das perfekt.Schwache Seite: Das kreative Denken.
Sobald die KI Urteilsvermögen brauchte, wurde es schwierig.- Der "Warum"-Faktor: Wenn sie erklären musste, warum sie bestimmte Daten ausgewählt hat oder wie eine reale Welt (z. B. Obdachlosigkeit) in eine Zahl umgewandelt wurde, war sie oft verwirrt. Das ist, als würde man den Bäcker fragen: "Warum hast du genau diese Zimtmenge gewählt?" und er antwortet nur: "Weil es in der Anleitung stand", ohne den Geschmack zu verstehen.
- Zitate und Quellen: Die KI hat oft falsche Quellenangaben erfunden (Halluzinationen), ähnlich wie jemand, der im Telefonbuch nach einer Nummer sucht, aber eine erfundene Nummer aufschreibt, die gar nicht existiert.
- Der Abstract (Zusammenfassung): Selbst wenn die KI viel Text schrieb, fehlte oft die tiefe Botschaft. Es war wie ein Brief, der voller Wörter ist, aber nichts wirklich Neues sagt.
💡 Was bedeutet das für uns?
Die Studie sagt uns zwei Dinge:
- KI ist ein super Assistent für Routinearbeit. Sie kann den "Teig kneten" und die "Form auswaschen" (Code schreiben, Daten sortieren) schneller und oft besser als ein Anfänger.
- Wir brauchen aber immer noch einen menschlichen Chef-Koch. Die KI kann den Kuchen backen, aber sie weiß nicht immer, ob er schmeckt oder ob die Zutaten wirklich zusammenpassen. Wenn man die KI allein arbeiten lässt, ohne sie zu überprüfen, könnte am Ende ein ungenießbarer Kuchen herauskommen.
Fazit: KI kann heute schon fast so gut sein wie ein guter Student bei Standardaufgaben, aber sie braucht noch einen menschlichen Aufsichtsperson, der aufpasst, dass die "Zutaten" stimmen und die "Geschmacksnote" (das Urteil) passt. Wir sind noch nicht am Punkt, wo wir die KI komplett allein in die Küche schicken können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.