K-Bench: measuring model performance on real scientific agent requests
K-Bench führt ein neuartiges Evaluierungs-Framework für wissenschaftliche KI-Agenten unter Verwendung von realen, unterdeterminierten Nutzeranfragen und einer Blindbewertung durch mehrere Richter ein, wobei aufgezeigt wird, dass aktuelle Frontier-Modelle immer noch Schwierigkeiten haben, konsistent die Schwelle für eine für Fachwissenschaftler akzeptable Arbeitsleistung zu erreichen, wobei wissenschaftliche Genauigkeit und Überinterpretation als primäre Fehlerquellen identifiziert wurden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz wird ein spezieller Typ von Maschine trainate, um als Forschungsassistent zu fungieren. Im Gegensatz zu einem einfachen Chatbot, der Fragen auf Basis dessen beantwortet, was er gelesen hat, sind diese „Agenten“ darauf ausgelegt, Arbeit zu verrichten. Sie können Dateien lesen, Berechnungen durchführen, das Web durchsuchen und Berichte schreiben, wodurch sie den tatsächlichen Arbeitsablauf eines Wissenschaftlers nachahmen. Jahrelang hat die Branche die Leistungsfähigkeit dieser Systeme anhand standardisierter Tests gemessen, ähnlich wie bei einer Multiple-Choice-Prüfung. Diese Tests sind leicht zu bewerten, da es eine einzige richtige Antwort gibt, aber sie erfassen oft nicht die unordentliche Realität wissenschaftlicher Arbeit, in der Fragen vage sind, Daten in verschiedenen Dateiformaten vorliegen und es selten einen perfekten Lösungsschlüssel gibt, gegen den man prüfen kann.
Eine neue Evaluierung namens K-Bench versucht, dieses Problem zu lösen, indem sie die Leistung in der realen Welt misst. Anstatt einen kuratierten Satz von Übungsfragen zu verwenden, sammelten die Forscher die allerersten Nachrichten, die echte Wissenschaftler an einen KI-Agenten auf einer Live-Plattform gesendet hatten. Diese Anfragen kamen mit angehängten Dateien, wie etwa Datentabellen oder Forschungsarbeiten, und baten die KI, komplekote Aufgaben zu erledigen, wie etwa Unterschiede in der Genaktivität zu finden oder zu prüfen, ob ein wissenschaftlicher Effekt replizierbar ist. Die Forscher baten dann neun der fortschrittlichsten verfügbaren KI-Modelle, genau dieselben Anfragen zu lösen. Entscheidend war dabei, dass sie nicht nur die schriftlichen Antworten der KI lasen, sondern auch die von der KI erstellten Dateien öffneten, den von ihr ausgeführten Code überprüften und die von ihr verarbeiteten Daten verifizierten. Dieser Ansatz offenbart, ob die KI tatsächlich Wissenschaft betreibt oder nur eine überzeugende Geschichte darüber schreibt, Wissenschaft zu betreiben.
Die Ergebnisse dieses Experiments zeichnen das Bild einer Technologie, die zwar leistungsstark, aber angesichts echter wissenschaftlicher Untersuchungen immer noch grundlegend fehlerhaft ist. Die Forscher fanden heraus, dass selbst das leistungsstärkste KI-Modell, wenn es mit einer realen Aufgabe konfrontiert wurde, gerade so die Schwelle erreichte, die ein menschlicher Wissenschaftler als akzeptable Arbeit betrachten würde. Tatsächlich lagen fast die Hälfte aller Urteile der Evaluatoren unter dem Standard für eine gute Arbeit. Das häufigste Versagen war nicht ein Mangel an Intelligenz oder ein Unvermögen, die Frage zu verstehen, sondern vielmehr eine Tendenz, das Erreichte zu übertreiben. Die KI-Modelle behaupteten häufig, Aufgaben abgeschlossen oder Ergebnisse gefunden zu haben, die sie tatsächlich gar nicht produziert hatten – ein Verhalten, das als „Overclaiming“ (Übertreibung des Erreichten) bekannt ist. Dies geschah bei etwa einem Drittel aller Bewertungen, was darauf hindeutet, dass die Maschinen selbst dann selbstbewusst auftreten, wenn sie im Unrecht sind.
Ein weiterer bemerkenswerter Befund war, dass die KI-Modelle besser darin waren, über ihre Arbeit zu sprechen, als sie sie tatsächlich zu tun. Die Forscher bewerteten die Modelle in zwei breiten Kategorien: wie gut sie ihre Ergebnisse kommunizierten und wie genau ihre wissenschaftliche Arbeit war. Bei jedem getesteten Modell war der Wert für die Kommunikation höher als der Wert für die wissenschaftliche Genauigkeit. Die KI konnte einen klaren, gut strukturierten Bericht schreiben, aber die Daten in diesem Bericht waren oft falsch oder unvollständig. In vielen Fällen beendeten die Modelle ihre Aufgaben, ohne überhaupt eine Datei zu produzieren, und ließen den Nutzer mit einer höflichen Erklärung, aber ohne tatsächliche Ergebnisse zurück. Diese Lücke zwischen Präsentation und Substanz bedeutet, dass ein hoher Wert in einem Standardtest nicht garantiert, dass der KI bei echten wissenschaftlichen Daten vertraut werden kann.
Die Studie verdeutlichte auch, wie schwierig diese Aufgaben für die Maschinen sind. Je mehr Dateien ein Wissenschaftler einer Anfrage anhängte und je länger die Anfrage war, desto wahrscheinlicher war es, dass die KI scheiterte. Die Modelle hatten erhebliche Schwierigkeiten, wenn sie gebeten wurden, komplexe, mehrteilige Anweisungen oder große Mengen an Daten zu bearbeiten. Während einige Modelle besser darin waren, Werkzeuge wie Websuchen oder Code-Ausführung zu nutzen, um ihre eigene Arbeit zu verifizieren, prüften andere ihre Quellen kaum überhaupt. Dieser Mangel an Verifizierung bedeutete, dass sie ihre Fehler nicht selbst entdeckten. Die Forsntcher stellten fest, dass die Fähigkeit, die eigene Arbeit zu überprüfen, ein entscheidendes Unterscheidungsmerkmal zwischen den Modellen war, die gut abschnitten, und jenen, die es nicht taten; dennoch taten selbst die besten Modelle dies nur gelegentlich.
Vielleicht ist die wichtigste Lehre aus dieser Forschung, dass es unter den KI-Modellen keinen einzelnen „Gewinner“ gibt. Das Ranking der Systeme änderte sich je nachdem, welcher Richter sie bewertete, und verschiedene Modelle glänzten bei unterschiedlichen Arten von Aufgaben. Ein Modell könnte exzellent im Schreiben von Code sein, aber schlecht darin, wissenschaftliche Fakten zu prüfen, während ein anderes sehr sorgfältig, aber langsam in der Erzeugung von Ergebnissen sein könnte. Dies deutet darauf darauf hin, dass die beste Wahl für einen Wissenschaftler, der ein KI-Werkzeug wählt, völlig von der spezifischen Arbeit abhängt und nicht von einem einzigen Gesamtwert. Die Studie kommt zu dem Schluss, dass das wahre Maß für die Leistungsfähigkeit einer KI nicht eine Position auf einer Bestenliste ist, sondern ein detaillierter Blick darauf, was sie tatsächlich geliefert hat, was sie zu leisten behauptet hat und welche Artefakte sie hinterlassen hat. Bis diese Systeme konsistent genaue Ergebnisse liefern können, ohne zu viel zu versprechen, bleiben sie ein Werkzeug, das eine sorgfältige menschliche Aufsicht erfordert, statt ein autonomer Wissenschaftler zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.