Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors
Dieses Paper führt eine offene Evaluierungsaufgabe auf Basis des METR Task Standard ein, die testet, ob Frontier-KI-Agenten autonom strukturierte klinische KI-Sicherheitsaudits durchführen können, indem sie Angriffe implementieren, Sicherheitswerte berechnen und Berichte erstellen, wobei demonstriert wird, dass Modelle wie Claude Sonnet 4.6 und GPT-4.1 über mehrere Datensätze und Architekturen hinweg perfekte Punktzahlen erreichen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer lernen, Ärzte zu werden, indem sie Krankheiten diagnostizieren und Behandlungen festlegen. Diese „KI-Ärzte“ sind unglaublich intelligent, aber sie haben eine geheime Schwäche: Sie können getäuscht werden. Genau wie ein Mensch durch eine geschickte optische Täuschung überlistet werden kann, kann eine KI durch winzige, fast unsichtbare Veränderungen der Daten, die sie erhält, verwirrt werden. Wenn ein Hacker weiß, wie er diese winzigen Veränderungen herbeiführt, könnte er die KI dazu bringen, zu behaupten, ein Patient sei gesund, obwohl er tatsächlich krank ist, oder umgekehrt. Dies wird als „Adversarial Attack“ (gegnerischer Angriff) bezeichnet, und das ist ein riesiges Problem, denn wenn wir diese Tricks nicht finden, bevor wir die KI bei echten Patienten einsetzen lassen, könnten Menschen zu Schaden kommen.
Um dies zu verhindern, brauchen wir „Security Auditor“ (Sicherheitsprüfer) – Spezialisten, die versuchen, die KI absichtlich zu brechen, um zu sehen, wie belastbar sie ist. Aber der Haken an der Sache ist: Die Arbeit als Sicherheitsprüfer ist schwer. Sie erfordert tiefgreifende mathematische Fähigkeiten, spezielle Computerprogramme und viel Zeit. Die meisten Teams in Krankenhäusern verfügen nicht über Experten, die dies tun können, und die Werkzeuge dafür fehlen oft oder sind zu kompliziert. Daher stellt sich die große Frage: Kann ein neues, superintelligentes Computerprogramm, ein sogenannter „KI-Agent“, diese schwierige Aufgabe ganz allein bewältigen? Diese Agenten sind wie digitale Praktikanten, die Anweisungen lesen, ihren eigenen Computercode schreiben, Tests durchführen und einen Bericht schreiben können, ohne dass ein Mensch sie bei jedem Schritt an der Hand halten muss.
Diese Arbeit stellt diese Idee auf die Probe. Die Forscher haben eine anspruchsvolle „Prüfung“ für drei der weltweit fortschrittlichsten KI-Agenten entwickelt. Die Prüfung verlangte von ihnen, als autonome Sicherheitsprüfer für ein klinisches KI-Modell zu agieren. Den Agenten wurden ein medizinisches Vorhersagemodell (wie eines, das Brustkrebs oder die Sterblichkeit auf der Intensivstation vorhersagt), ein Datensatz mit Patientenakten und eine schriftliche Anleitung zur Durchführung von vier verschiedenen Arten von Sicherheitsangriffen gegeben. Die Agenten mussten ihren eigenen Code von Grund auf neu schreiben, um diese Angriffe auszuführen, die Zahlen berechnen und einen abschließenden Sicherheitsbericht in einem spezifigen Format erstellen – und das alles innerhalb eines sicheren digitalen Containers mit einer strengen Zeitbegrenzung von 40 „Turns“ (oder Schritten).
Die Ergebnisse waren eine Mischung aus erstaunlichem Erfolg und interessanten Misserfolgen. Zwei der drei KI-Agenten, Claude Sonnet 4.6 und GPT-4.1, haben die Prüfung mit Bravour bestanden. Sie absolvierten jede einzelne Version der Prüfung perfekt, schrieben korrekten Code und erstellten jedes Mal genaue Sicherheitsberichte, wenn sie es versuchten. Sie taten dies effizient und verbrauchten dabei relativ wenige „Tokens“ (die Einheiten des Textes, die die KI verarbeitet). Der dritte Agent, GPT-4o, hatte jedoch Schwierigkeiten. Er war nur in etwa 61 % seiner Versuche erfolgreich. Wenn er scheiterte, lag es nicht daran, dass er die Mathematik nicht verstanden hatte, sondern daran, dass er im Prozess den Faden verlor. Manchmal hörte er auf zu arbeiten, bevor er den finalen Bericht speichern konnte, manchmal unterlief ihm ein einfacher Rechenfehler beim Zusammenrechnen der Endpunktzahlen, und manchmal reichte er eine leere Datei ein. Die Studie legt nahe, dass, obwohl erstklassige KI-Agenten nun in der Lage sind, komplexe, mehrstufige Sicherheitsprüfungen eigenständig durchzuführen, sie nicht alle gleichermaßen zuverlässig sind. Der Unterschied zwischen Erfolg und Misserfolg lag oft in der „Disziplin“ – der Fähigkeit, fokussiert zu bleiben, den Fortschritt zu verfolgen und die Aufgabe abzuschließen, ohne abgelenkt zu werden oder unvorsichtige Fehler zu machen. Das bedeutet, dass für Krankenhäuser, die KI nutzen wollen, um ihre eigene medizinische KI zu überprüfen, die Wahl des richtigen „digitalen Prüfers“ genauso wichtig ist wie das medizinische Modell selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.