COMPOSITE-Stem
Die Studie stellt COMPOSITE-STEM vor, ein von Experten erstelltes Benchmark mit 70 Aufgaben in den MINT-Fächern, das zeigt, dass aktuelle KI-Agenten trotz flexibler Bewertungsmethoden nur eine geringe Erfolgsquote von 21 % erreichen und somit noch erhebliche Fortschritte für die wissenschaftliche Beschleunigung nötig sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast eine Gruppe von hochintelligenten, aber noch etwas unerfahrenen Robotern (die KI-Agenten), die du als Assistenten für wissenschaftliche Entdeckungen einstellen möchtest. Bevor du ihnen aber den Schlüssel zu deinem Labor gibst, musst du testen, ob sie wirklich verstehen, was sie tun, oder ob sie nur glückliche Zufälle produzieren.
Das ist genau das, was das Team von PortexAI mit dem neuen Test namens COMPOSITE-STEM gemacht hat. Hier ist die Geschichte davon, einfach erklärt:
1. Das Problem: Die alten Tests sind "durchgesickert"
Früher gab es viele Prüfungen für KI, bei denen die KI Multiple-Choice-Fragen beantworten musste. Das Problem? Die KI hat diese Fragen mittlerweile so oft gesehen, dass sie sie auswendig gelernt hat (wie ein Schüler, der die Lösungen aus dem Internet abschreibt). Die Tests waren also nicht mehr schwer genug, um zu sehen, ob die KI wirklich denken kann.
2. Die Lösung: Ein neuer, harter "Praxistest"
PortexAI hat sich 70 neue, extrem schwierige Aufgaben ausgedacht, die von echten Experten (Doktoranden und Professoren aus Physik, Chemie, Biologie und Mathematik) geschrieben wurden.
Stell dir das nicht wie eine Schulprüfung vor, sondern wie einen Hindernisparcours für Detektive:
- Die Aufgaben: Die KI muss nicht nur eine Antwort hinschreiben. Sie muss in einem virtuellen Labor (einem Computer-Container) arbeiten. Sie muss Programme installieren, Daten analysieren, Bilder von Mikroskopen oder Röntgenaufnahmen verstehen und komplexe Berechnungen durchführen.
- Die Vielfalt: Es gibt Aufgaben, bei denen man chemische Moleküle zusammenbauen muss, andere, bei denen man biologische Strukturen aus Bildern erkennt, und wieder andere, bei denen man physikalische Formeln herleitet.
3. Wie wird bewertet? (Der "Schiedsrichter-Rat")
Früher wurde nur geprüft: "Ist die Antwort exakt gleich wie im Lösungsbuch?" Das ist zu starr. Wenn die KI den Weg richtig berechnet, aber am Ende einen kleinen Tippfehler macht, wäre das unfair.
Deshalb haben die Macher einen cleveren Trick angewendet:
Sie haben einen Schiedsrichter-Rat aus fünf anderen, sehr starken KIs (den "Jury") eingesetzt.
- Diese Jury liest die Antwort der Test-KI.
- Sie prüft nicht nur das Endergebnis, sondern den ganzen Weg: Hat die KI die richtigen Werkzeuge benutzt? Hat sie die Bilder richtig interpretiert?
- Sie gibt Punkte für Teilerfolge, ähnlich wie ein Lehrer, der bei einer Matheaufgabe Punkte für den richtigen Lösungsweg gibt, auch wenn das Endergebnis leicht daneben liegt.
4. Das Ergebnis: Die KI ist noch nicht bereit für den Job
Das Team hat vier der fortschrittlichsten KI-Modelle der Welt getestet. Das Ergebnis war ernüchternd, aber ehrlich:
- Der beste Kandidat (Claude Opus) hat es nur bei 21 % der Aufgaben geschafft, die Aufgabe komplett zu lösen.
- Die anderen Modelle lagen noch deutlich darunter (zwischen 4 % und 18 %).
Was bedeutet das?
Stell dir vor, du stellst einen Praktikanten ein, der nur bei jedem fünften Versuch den Kaffee richtig kocht. Das zeigt uns: Diese KIs sind noch nicht bereit, echte wissenschaftliche Entdeckungen allein zu machen. Sie brauchen noch viel mehr Training, um komplexe Probleme in der echten Welt zu lösen.
5. Warum ist das wichtig?
Das Team hat alle 70 Aufgaben kostenlos veröffentlicht (wie ein offenes Lehrbuch).
- Ziel: Damit können andere Forscher die KIs weiter trainieren und testen.
- Vision: Wir wollen KI-Agenten, die nicht nur Chatbots sind, sondern echte Wissenschaftler unterstützen können – etwa bei der Suche nach neuen Medikamenten oder der Analyse von Klimadaten.
Zusammenfassend:
COMPOSITE-STEM ist wie ein großer, offener "Stress-Test" für KI-Genies. Er zeigt uns, dass die KIs zwar schlau sind, aber im echten, chaotischen Laboralltag noch oft scheitern. Es ist ein wichtiger Schritt, um zu verstehen, wo wir stehen und was wir noch verbessern müssen, bevor wir KI wirklich mit der Zukunft der Wissenschaft betrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.