← Neueste Arbeiten
💻 computer science

Toward a Threat Actor Profiling Taxonomy for Pre-Release Risk Management of Open-Weight Frontier Models

Dieses Paper schlägt eine sechsattributige, empirisch fundierte Taxonomie vor, um Bedrohungsakteure explizit zu charakterisieren, um das Risikomanagement vor der Veröffentlichung zu standardisieren und die Interpretierbarkeit sowie die Treue von Evaluierungen für Open-Weight-Frontier-KI-Modelle zu verbessern.

Ursprüngliche Autoren: James Zhang

Veröffentlicht 2026-08-27
📖 6 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: James Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der rasant fortschreitenden Welt der künstlichen Intelligenz ist eine spezifische Art von Software entstanden, die wie ein mächtiges, universelles Werkzeug fungiert. Diese Systeme, bekannt als Frontier-Modelle, können Code schreiben, komplexe Daten analysieren und Probleme lösen, die einst menschliche Experten erforderten. Jahrelang wurden die fortschrittlichsten Versionen dieser Werkzeuge hinter verschlossenen Türen aufbewahrt, zugänglich nur über sichere Internetverbindungen, bei denen Entwickler überwachen konnten, wie sie genutzt wurden. Doch eine neue Welle dieser Modelle wird nun mit ihren zugrunde liegenden „Gewichten“ – den Kern-Mathematik-Anweisungen, die sie funktionsfähig machen – frei verfügbar veröffentlicht, sodass jeder sie herunterladen kann. Dieser Wandel ist vergleichbar damit, die Blaupausen und Motorenteile eines Hochleistungsautos an die Öffentlichkeit auszuhändigen; während dies unglaubliche Innovation und Forschung ermöglicht, bedeutet es auch, dass, sobald die Teile einmal im Umlauf sind, sie nicht mehr zurückgeholt werden können. Wenn jemand diese Dateien herunterlädt, kann er die Software modifizieren, Sicherheitsfunktionen entfernen oder sie für schädliche Zwecke nutzen, ohne dass die ursprünglichen Schöpfer dies jemals erfahren.

Die zentrale Herausforderung für die Menschen, die diese Systeme bauen, besteht darin, herauszufinden, wie gefährlich sie sein könnten, bevor sie veröffentlicht werden. Derzeit führen Sicherheitsteams Tests durch, um zu sehen, was ein Modell leisten kann, indem sie es oft bitten, schwierige Probleme zu lösen, oder versuchen, es dazu zu bringen, schädliche Informationen preiszugeben. Dabei klafft jedoch eine bedeutende Lücke in der Gestaltung dieser Tests. Sicherheitsforscher gehen oft davon aus, dass ein generischer „böswilliger Akteur“ die Technologie missbrauchen könnte, definieren aber selten genau, wer diese Person ist. Ist es ein einsamer Teenager mit einem Laptop? Eine gut finanzierte kriminelle Bande? Ein staatlich unterstütztes Expertenteam? Ohne ein klares Bild des Gegners könnten die Tests für einen versierten Angreifer zu einfach oder für einen Neuling zu schwer sein, was die Entwickler mit einem falschen Gefühl der Sicherheit oder unnötiger Angst zurücklässt. Die Frage ist nicht nur, was die Software kann, sondern wer sie wahrscheinlich nutzen wird und wie viel Aufwand diese Person betreiben müsste, um erfolgreich zu sein.

Ein kürzlich eingereichtes Paper an die Tsinghua-Universität befasst sich mit dieser Unsicherheit und schlägt eine neue Art vor, potenzielle Bedrohungen zu beschreiben. Der Autor, James Q. Zhang, argumenttiert, dass Entwickler, bevor ein Sicherheitstest durchgeführt wird, die Merkmale der Person oder Gruppe, gegen die sie zu schützen versuchen, explizit definieren müssen. Um dies zu erreichen, haben sie ein strukturiertes System, oder eine Taxonomie, entwickelt, die einen Bedrohungsakteur in sechs spezifische Kategorien unterteilt. Anstatt vager Bezeichnungen wie „geschickt“ oder „gut ausgestattet“, fragt das System nach konkreten Details: Wie technisch fortgeschritten ist der Akteur? Verfügt er bereits über Wissen in den Bereichen Biologie oder Cyberkriegsführung? Wie viele Personen umfasst seine Gruppe? Welche Art von Ausrüstung besitzt er? Wie viel Geld kann er ausgeben? Und wie viel Zeit ist er bereit zu investieren?

Die Forscher entwickelten diesen Rahmen, indem sie untersuchten, wie Experten in anderen Bereichen, wie etwa der Cybersicherheit und der Terrorismusforschung, Bedrohungen bereits analysieren. Sie stellten fest, dass diese Fachgebiete zwar detaillierte Wege haben, Angreifer zu beschreiben, die Gemeinschaft der künstlichen Intelligenz jedoch noch keinen ähnlichen Standard übernommen hatte. Das neue System ordnet diese sechs Attribute in einem Raster mit verschiedenen Leistungsstufen an, die von einem Basisanwender mit minimalen Ressourcen bis hin zu einer hoch entwickelten, gut finanzierten Institution reichen. Beispielsweise reicht die Skala unter „finanzielle Kapazität“ von weniger als tausend Dollar bis zu über zehn Millionen Dollar. Unter „Zeithorizont“ decken die Stufen impulsive Handlungen, die weniger als einen Tag dauern, bis hin zu Kampagnen ab, die sechs Monate oder länger andauern.

Das Paper demonstriert den Wert dieses Ansatzes, indem es zwei unterschiedliche Profile erstellt, um zu zeigen, dass verschiedene Bedrohungen unterschiedliche Sicherheitstests erfordern. Das erste Profil beschtreibt einen „radikalisierten Doktoranden“. Diese Person verfügt über tiefes Wissen in Biologie und arbeitet seit mehreren Monaten an einem schädlichen Ziel, arbeitet jedoch allein mit sehr wenig Geld und nur grundleglichen Computerkenntnissen. Da diese Person bereits über das wissenschaftliche Wissen verfügt, sollte sich ein Sicherheitstest für sie darauf konzentrieren, ob die KI ihr helfen kann, die Logistik eines Angriffs zu planen, anstatt ihr die Wissenschaft selbst beizubringen. Das zweite Profil beschreibt eine „kleine, finanziell motivierte kriminelle Gruppe“. Diese Akteure verfügen über moderate Computerkenntnisse und etwas Geld, um Ausrüstung zu mieten, aber es fehlt ihnen an spezifischem Wissen über ihr Ziel. Für sie besteht das gefährlichste Risiko darin, dass die KI ihre Wissenslücken füllen könnte, indem sie als Leitfaden fungiert, der ihnen hilft, Schwachstellen zu finden, die sie selbst nicht gesehen hätten.

Durch die Verwendung dieses strukturierten Systems können Entwickler aufhören zu raten und statfangen, Tests zu entwerfen, die den realen Risiken entsprechen, vor denen sie besorgt sind. Wenn ein Unternehmen weiß, dass es besorgt über eine gut finanzierte Gruppe mit einem langfristigen Plan ist, kann es einen Sicherheitstest einrichten, der den Testern ein großes Budget und viel Zeit zur Verfügung stellt, um eine ernsthafte, anhaltende Bemühung zu simulieren. Wenn sie jedoch um einen Einzelnen mit begrenzten Ressourcen besorgt sind, kann der Test angepasst werden, um diese Einschränkungen widerzuspiegeln. Der Autor schlägt vor, dass diese Methode zu einem Standardteil des Veröffentlichungsprozesses werden sollte, ähnlich wie medizinische Forscher ihre Pläne aufschreiben müssen, bevor sie eine klinische Studie beginnen. Dies würde sicherstellen, dass Sicherheitsbewertungen keine zufälligen Überprüfungen sind, sondern präzise Messungen des Risikos gegenüber spezifischen, klar definierten Kontrahenten.

Das Paper betont, dass dies besonders dringend für Open-Weight-Modelle ist, bei denen die Software der Öffentlichkeit zugänglich gemacht wird und nicht zurückgerufen werden kann. Sobald diese Gewichte einmal veröffentlicht sind, verlieren die Entwickler die Kontrolle, wodurch die Entscheidung vor der Veröffentlichung die einzige Chance ist, Schaden abzuwenden. Der Autor behauptet nicht, dass dieses System alle Sicherheitsprobleme löst oder dass es die Zukunft mit Gewissheit vorhersagen kann. Stattdessen bietet er ein Werkzeug an, um die Annahmen hinter Sicherheitstests sichtbar und vergleichbar zu machen. Indem er die Entwickler dazu zwingt, die Details darüber auszufüllen, wogegen sie schützen wollen, macht das System es schwieriger, gefährliche Szenarien zu übersehen, und einfacher, die Sicherheit verschiedener Modelle zu vergleichen. Das ultimative Ziel besteht darin, die Branche von vagen Warnungen zu einem klaren, handlungsorientierten Risikomanagement zu führen und sicherzustellen, dass die mächtigen Fähigkeiten dieser neuen Technologien im Kontext der Menschen verstanden werden, die sie missbrauchen könnten.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →