💻 computer science

Evaluating Human-AI Safety: A Framework for Measuring Harmful Capability Uplift

Dieser Positionspapier plädiert dafür, dass die KI-Sicherheitsforschung den Fokus von statischen Benchmarks auf menschenzentrierte Evaluierungen verlagern sollte, die den schädlichen Kompetenzgewinn messen, den Nutzer durch den Einsatz von Spitzensystemen über das hinaus erlangen, was konventionelle Tools ermöglichen.

Ursprüngliche Autoren: Michelle Vaccaro, Jaeyoon Song, Abdullah Almaatouq, Michiel A. Bakker

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Michelle Vaccaro, Jaeyoon Song, Abdullah Almaatouq, Michiel A. Bakker

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🚨 Das Problem: Der "Sicherheits-Check" ist zu starr

Stell dir vor, du möchtest testen, wie sicher ein neuer, super-leistungsfähiger Roboter ist.
Der aktuelle Standard in der KI-Welt ist wie ein Führungszeugnis-Test: Der Roboter sitzt in einem ruhigen Raum, bekommt eine Liste mit Fragen (z. B. "Ist das Gift?") und muss sie beantworten. Wenn er alle Fragen richtig beantwortet, bekommt er ein grünes Häkchen und darf auf den Markt.

Das Problem: Dieser Test ist starr. Er fragt nur: "Kann der Roboter selbst etwas Böses sagen?"
Aber er vergisst eine entscheidende Frage: "Was passiert, wenn ein böswilliger Mensch den Roboter als Werkzeug benutzt?"

Ein Roboter mag im Test perfekt sein und keine Giftrezepte nennen. Aber wenn ein Krimineller ihn fragt: "Wie baue ich eine Bombe, und wie kann ich das Schritt für Schritt tun, ohne dass es auffällt?", könnte der Roboter dem Menschen helfen, Dinge zu tun, die er ohne KI niemals schaffen würde. Der Roboter hat dem Menschen die "Superkraft" gegeben, Schaden anzurichten.

💡 Die Lösung: "Schädlicher Kraft-Zuwachs" (Harmful Capability Uplift)

Die Autoren des Papers schlagen vor, den Test komplett zu ändern. Statt nur den Roboter zu prüfen, müssen wir das Team aus Mensch und Roboter prüfen.

Sie nennen das "Schädlicher Kraft-Zuwachs" (Harmful Capability Uplift).

Die Analogie:
Stell dir vor, ein Dieb versucht, in ein Haus einzubrechen.

Ohne KI: Der Dieb hat einen Dietrich und eine Leiter. Er braucht 3 Stunden und hat eine 10%ige Chance, es zu schaffen.
Mit KI: Der Dieb nutzt einen KI-Roboter, der ihm den perfekten Plan zeichnet, die Alarmanlage hackt und ihm sagt, wann die Polizei vorbeikommt. Jetzt braucht er nur noch 10 Minuten und hat eine 90%ige Chance.

Der Roboter hat den Dieb nicht selbst eingestiegen. Aber er hat die Fähigkeit des Diebes, Schaden anzurichten, massiv gesteigert. Genau diesen "Zuwachs" an schädlicher Kraft wollen wir messen.

🛠️ Wie misst man das? (Der neue Test)

Da wir nicht wirklich Bomben bauen oder Cyberangriffe starten wollen (das wäre zu gefährlich und unethisch), schlagen die Autoren einen cleveren Weg vor:

Drei Gruppen: Man nimmt echte Menschen und gibt ihnen eine Aufgabe.
- Gruppe A (Alleine): Der Mensch macht die Aufgabe nur mit normalen Werkzeugen (Internet, Bücher).
- Gruppe B (Nur KI): Der Roboter macht die Aufgabe alleine.
- Gruppe C (Team): Der Mensch arbeitet mit dem Roboter zusammen.
Der Vergleich: Wenn Gruppe C die Aufgabe viel schneller, besser oder überhaupt erst schafft, während Gruppe A scheitert, dann haben wir einen "schädlichen Kraft-Zuwachs".
Die Ersatz-Aufgaben (Proxy Tasks): Da wir keine echten Biowaffen testen können, nutzen wir "Ersatz-Aufgaben".
- Beispiel: Statt zu fragen "Wie baue ich ein Virus?", fragen wir: "Wie konstruiere ich ein harmloses Protein, das dem Virus sehr ähnlich sieht?"
- Wenn der Roboter dem Menschen hilft, das harmlose Protein zu bauen, können wir mathematisch berechnen, wie wahrscheinlich es ist, dass er ihm auch beim echten Virus helfen würde. Das ist wie ein Flugtest für ein Flugzeug: Man testet nicht, ob es abstürzt, sondern ob es die aerodynamischen Grenzen erreicht, die zu einem Absturz führen würden.

📊 Warum ist das wichtig?

Aktuelle Tests sind wie ein Sicherheitsgurt-Test, bei dem man nur schaut, ob der Gurt fest sitzt. Aber sie ignorieren, dass der Fahrer vielleicht einen Motor hat, der so stark ist, dass er den ganzen Gurt zerreißt, wenn er zu schnell fährt.

Die Autoren sagen: Wir müssen aufhören, nur zu fragen "Ist die KI böse?" und anfangen zu fragen: "Macht die KI es einem bösen Menschen viel leichter, Schaden anzurichten?"

🚀 Was soll jetzt passieren?

Die Autoren geben eine Checkliste für alle Beteiligten:

Für KI-Hersteller: Testet eure Modelle nicht nur im Labor. Lasst echte Menschen mit den Modellen arbeiten und schaut, ob sie dadurch gefährliche Dinge tun können, die vorher unmöglich waren.
Für Forscher: Entwickelt bessere Ersatz-Aufgaben und statistische Methoden, um diese "Kraft-Zuwächse" genau zu messen.
Für die Politik: Setzt klare Grenzen. Wenn ein KI-Modell einem Menschen erlaubt, eine Aufgabe 10-mal schneller zu erledigen als früher, muss es gestoppt oder stark überwacht werden.

Zusammenfassung in einem Satz

Statt nur zu prüfen, ob ein KI-Roboter allein "böse" ist, müssen wir prüfen, wie sehr er einem Menschen hilft, bösartige Superkräfte zu bekommen – und genau das ist der neue Maßstab für Sicherheit.

1. Problemstellung

Das Papier identifiziert eine kritische Lücke in der aktuellen KI-Sicherheitsforschung. Derzeitige Evaluierungsansätze konzentrieren sich überwiegend auf:

Statische Benchmarks: Tests, bei denen Modelle isoliert gegen feststehende Datensätze geprüft werden (z. B. auf Toxizität, Bias oder Jailbreak-Resistenz).
Externe Annotationen: Menschen bewerten die Ausgaben von Modellen als externe Richter.
Red Teaming: Gezielte Versuche, schädliche Ausgaben zu provozieren, die jedoch oft bei der ersten erfolgreichen Generierung einer schädlichen Antwort enden.

Das Kernproblem: Diese Methoden messen nicht, inwieweit ein KI-Modell die Fähigkeit eines menschlichen Akteurs, Schaden anzurichten, tatsächlich steigert. Ein Modell kann auf statischen Benchmarks „sicher" erscheinen, aber in der realen Welt als Katalysator dienen, der es einem motivierten Nutzer ermöglicht, Aufgaben zu erledigen, die er ohne KI nicht bewältigen könnte (z. B. die Planung eines biologischen Angriffs oder die Durchführung komplexer Cyberangriffe). Dies führt zu Phänomenen wie „Safetywashing", bei dem reine Leistungssteigerungen fälschlicherweise als Sicherheitsfortschritt interpretiert werden.

2. Methodik: Der Rahmen für „Harmful Capability Uplift"

Die Autoren schlagen einen neuen, menschenzentrierten Evaluierungsansatz vor, der den Harmful Capability Uplift (schädliche Fähigkeitssteigerung) als zentrale Metrik definiert. Dies ist der marginale Anstieg der Fähigkeit eines Nutzers, Schaden anzurichten, wenn er durch ein Frontier-Modell unterstützt wird, im Vergleich zu konventionellen Werkzeugen.

A. Experimentelles Design (Drei-Konditionen-Ansatz)

Um den Uplift isoliert zu messen, schlagen die Autoren ein Experiment mit drei notwendigen Bedingungen vor:

Mensch allein (Human Alone): Teilnehmer führen Aufgaben mit herkömmlichen Tools (Web-Suche, Dokumentation) durch. Dies dient als Basislinie ( $H$ ).
KI allein (AI Alone): Das Modell führt die Aufgaben autonom aus. Dies isoliert die reinen Modellfähigkeiten.
Mensch-KI-Kollaboration (Human-AI): Teilnehmer nutzen das Modell als Assistenten in einer realistischen Interaktionsschleife. Dies misst die integrierte Leistung ($HAI$).

B. Die Metrik: Harmful Capability Uplift Ratio ( $U$ )

Die zentrale Metrik wird als Verhältnis definiert:
$U = \frac{HAI}{H}$

$U = 1.0$ : Keine Steigerung der Fähigkeiten.
$U > 1.0$ : Proportionale Verbesserung (z. B. $U=5$ bedeutet eine 5-fache Steigerung).
$U \to \infty$ : Ein „Novel-Capability-Flag". Tritt auf, wenn ein Nutzer ohne KI die Aufgabe gar nicht lösen konnte ( $H=0$ ), aber mit KI erfolgreich ist. Dies signalisiert einen qualitativen Sprung hin zu einer neuen Bedrohung.

C. Herausforderung: Proxy-Aufgaben

Da direkte Tests an echten schädlichen Aufgaben (z. B. Entwicklung von Biowaffen) ethisch und sicherheitstechnisch unmöglich sind, müssen Proxy-Aufgaben verwendet werden.

Die Autoren schlagen einen Task-Similarity-Framework vor, der Aufgaben in einem multidimensionalen Raum (kognitive Dimensionen, Domänenwissen, Ressourcen, Risiken) verortet.
Nur wenn eine Proxy-Aufgabe eine hohe Ähnlichkeit zur Ziel-Aufgabe aufweist und empirisch validiert ist (z. B. Korrelation $R^2 > 0.25$ ), dürfen ihre Ergebnisse auf die eigentliche Bedrohung übertragen werden.

D. Statistische und Vorhersage-Ansätze

Statistik: Im Gegensatz zur üblichen Verhaltensforschung sollte hier der Fokus auf der Vermeidung von False Negatives liegen (ein gefährliches Modell zu übersehen ist schlimmer als eine Fehlalarmierung). Daher werden große Stichproben, Vorregistrierung (Preregistration) und Äquivalenztests empfohlen.
Vorhersage: Um mit der schnellen Entwicklung von Modellen Schritt zu halten, schlagen die Autoren Regressionsmodelle vor, die den Uplift basierend auf öffentlichen Benchmarks schätzen, um teure Human-Studien nur für kritische Schwellenwerte durchzuführen.

3. Wichtige Beiträge

Kritik bestehender Methoden: Systematische Aufdeckung der Blindstellen bei statischen Benchmarks und Red Teaming, da diese die menschliche Interaktion und den kumulativen Effekt von KI-Unterstützung ignorieren.
Konzeptuelle Rahmung: Etablierung des „Harmful Capability Uplift" als fundamentale Sicherheitsmetrik, die von der Frage „Gibt das Modell gefährliche Inhalte aus?" zur Frage „Erhöht das Modell die schädlichen Handlungsmöglichkeiten des Nutzers?" übergeht.
Methodischer Leitfaden: Bereitstellung konkreter Richtlinien für Experimentdesign, Proxy-Task-Validierung, statistische Auswertung und die Definition von Schwellenwerten.
Umsetzungsplan: Konkrete Handlungsempfehlungen für Entwickler, Forscher, Geldgeber und Regulierungsbehörden (z. B. Einrichtung von AI Safety Institutes für standardisierte Audits).

4. Ergebnisse und Analyse bestehender Studien

Die Autoren revidieren bestehende Studien (u. a. von Anthropic, OpenAI, Meta) und stellen fest:

Inkonsistenz: Die Studien verwenden unterschiedliche Aufgaben, Stichprobengrößen und Evaluierungskriterien, was Vergleiche unmöglich macht.
Mangelnde Kontrollen: Oft fehlen klare Baselines (Mensch allein), sodass der tatsächliche Uplift nicht quantifiziert werden kann.
Ergebnisse: Die wenigen verfügbaren Daten zeigen gemischte Ergebnisse. In einigen Fällen (z. B. Anthropic-Studien zu Biowaffen-Plänen) wurde ein signifikanter Uplift ( $U \approx 2.1 - 2.5$ ) gemessen, während andere Studien keine signifikante Steigerung fanden. Dies unterstreicht die Notwendigkeit standardisierter Methoden.

5. Bedeutung und Fazit

Das Papier argumentiert, dass die traditionelle KI-Sicherheit, die sich auf die Filterung von Inhalten konzentriert, nicht ausreicht, um die Risiken von Frontier-Modellen zu beherrschen. Die wahre Gefahr liegt in der Synergie zwischen menschlicher Intentionalität und KI-Fähigkeiten.

Schlussfolgerung:
Um KI-Sicherheit mit realen Risiken in Einklang zu bringen, muss die Evaluierung von „schädlicher Fähigkeitssteigerung" zur Standardpraxis werden. Dies erfordert:

Eine Verschiebung von isolierten Modelltests hin zu Systemtests (Mensch + KI).
Die Nutzung validierter Proxy-Aufgaben, um ethische Grenzen zu wahren, ohne die Validität zu opfern.
Eine koordinierte Infrastruktur (z. B. durch nationale AI Safety Institutes), die standardisierte, auditierbare und kontinuierliche Überwachung ermöglicht.

Nur durch diese menschenzentrierte, quantitative Herangehensweise können Regulierungsbehörden und Entwickler rechtzeitig erkennen, wann ein Modell eine kritische Schwelle überschreitet, die es unmotivierten oder wenig erfahrenen Akteuren erlaubt, katastrophalen Schaden anzurichten.