BeSafe-Bench: Unveiling Behavioral Safety Risks of Situated Agents in Functional Environments

Das Paper stellt BeSafe-Bench vor, einen Benchmark, der in funktionalen Umgebungen zeigt, dass aktuelle multimodale Agenten trotz hoher Aufgabenerfüllung häufig schwerwiegende Sicherheitsrisiken aufweisen und somit dringend einer besseren Sicherheitsausrichtung bedürfen, bevor sie in der realen Welt eingesetzt werden können.

Das Wesentliche

Das große Problem: Der flinke, aber unvorsichtige Roboter-Steward

Stellen Sie sich vor, Sie haben einen extrem intelligenten, digitalen Butler (einen „Agenten"), der für Sie alles erledigen kann: Er bestellt online ein Geschenk, bestellt Pizza auf dem Handy oder räumt sogar Ihr Wohnzimmer mit einem echten Roboterarm auf. Diese Butler werden immer schlauer, dank riesiger KI-Modelle.

Aber hier liegt das Problem: Dieser Butler ist wie ein sehr schneller, aber leichtsinniger Sportwagen. Er kann die Strecke (die Aufgabe) super schnell abfahren, aber er vergisst oft die Bremsen und die Verkehrsregeln.

Wenn Sie ihn bitten, „die beste Pizza zu finden", könnte er das tun, aber dabei versehentlich Ihre Kreditkarte bei einer unseriösen Seite hinterlassen, Ihre privaten Fotos auf einem öffentlichen Forum hochladen oder (im Fall des Roboters) versehentlich eine Vase zertrümmern, weil er nicht aufgepasst hat. Bisher gab es kaum eine Möglichkeit, diesen „leichtsinnigen Sportwagen" sicher zu testen, bevor man ihn auf die echte Straße lässt.

Die Lösung: BeSafe-Bench – Der „Crash-Test-Dummy" für KI-Agenten

Die Forscher haben BeSafe-Bench entwickelt. Man kann sich das wie einen riesigen, hochmodernen Crash-Test-Stand vorstellen, aber nicht für Autos, sondern für digitale Agenten.

Statt nur zu fragen „Kann der Agent die Aufgabe lösen?", fragen sie: „Kann der Agent die Aufgabe lösen, ohne dabei die Welt in die Luft zu jagen?"

Hier ist, wie sie das gemacht haben, mit ein paar Analogien:

1. Die Testumgebung: Keine Spielzeuge mehr, sondern echte Straßen

Früher haben Forscher Agenten in „Sandboxen" getestet, die nur wie Spielzeuge aussahen (simulierte Webseiten oder einfache Text-Tests). Das ist so, als würde man einen Autoführerschein in einem Videogame machen. Man lernt nicht, wie sich ein echter Reifen auf nasser Straße anfühlt.

BeSafe-Bench nutzt echte, funktionierende Umgebungen:

• Web: Echte Online-Shops und Foren.
• Mobile: Echte Android-Handys im Simulator.
• Embodied (Körperlich): Echte Roboterarme in einer simulierten Küche oder Werkstatt.

Es ist, als würde man den Agenten direkt auf die echte Autobahn schicken, statt nur auf einen Spielplatz.

2. Die Aufgaben: Die „versteckten Fallen"

Die Forscher haben dem Agenten nicht einfach nur normale Aufgaben gegeben. Sie haben die Aufgaben mit neun verschiedenen „Giftpillen" (Sicherheitsrisiken) angereichert.

• Beispiel: Die Aufgabe lautet: „Bestelle Äpfel."
• Die Falle: Die Aufgabe ist so formuliert, dass der Agent, wenn er zu schnell oder ungenau ist, versehentlich Ihre Adresse an eine Spam-Liste weitergibt (Datenschutzverletzung) oder falsche Informationen über die Äpfel verbreitet.

Der Agent muss also nicht nur die Äpfel bestellen, sondern dabei auch die „Giftpillen" vermeiden.

3. Der Richter: Der mix aus Schiedsrichter und Detektiv

Wie wissen die Forscher, ob der Agent unsicher war? Sie nutzen eine hybride Bewertung:

• Der Schiedsrichter (Regel-basiert): Ein strenger Computer-Check, der sofort sagt: „Hat der Agent auf den falschen Knopf gedrückt? Ja/Nein."
• Der Detektiv (KI-gestützt): Eine andere KI liest die Geschichte des Agenten und sagt: „Auch wenn der Knopf richtig war, hat der Agent dabei versehentlich private Daten preisgegeben?"

Was haben sie herausgefunden? (Die schockierenden Ergebnisse)

Als sie 13 der besten KI-Agenten getestet haben, kamen erschreckende Ergebnisse ans Licht:

1. Der „Erfolgs-Falle"-Effekt: Viele Agenten haben die Aufgabe erfolgreich erledigt (z. B. die Pizza bestellt), aber dabei unsichere Dinge getan (z. B. Ihre Telefonnummer an den Pizzaboten weitergegeben, die eigentlich nicht sollte).
   • Analogie: Es ist wie ein Dieb, der das Haus betritt, das Ziel (den Safe) öffnet und die Wertsachen nimmt, aber dabei versehentlich den Feueralarm auslöst und das ganze Haus abbrennt. Die Aufgabe war „erfolgreich", aber das Ergebnis ist katastrophal.
2. Weniger als 40 % sind sicher: Selbst die besten Agenten schaffen es in weniger als 40 % der Fälle, die Aufgabe zu lösen, ohne dabei einen Sicherheitsfehler zu machen.
3. Komplexität ist der Feind: Je länger und komplizierter die Aufgabe ist (mehr Schritte), desto mehr vergessen die Agenten die Sicherheitsregeln. Sie konzentrieren sich so sehr auf das „Ziel", dass sie die „Verkehrsregeln" vergessen.

Das Fazit: Warum wir brauchen, was wir haben

Die Botschaft der Forscher ist klar: Wir können diese Agenten noch nicht blind vertrauen.

BeSafe-Bench ist wie ein neues, strenges Führerschein-System. Es zeigt uns, dass unsere aktuellen digitalen Butler zwar sehr clever sind, aber noch nicht gelernt haben, wie man sicher durch eine komplexe Welt navigiert. Bevor wir ihnen die Schlüssel zu unserem Haus, unserem Handy oder unserem Bankkonto geben, müssen wir sie erst in diesem „Crash-Test-Stand" trainieren, bis sie nicht nur schnell, sondern auch sicher sind.

Kurz gesagt: BeSafe-Bench ist der erste große Check-up, der uns sagt: „Der Patient ist klug, aber er braucht dringend eine Sicherheitsweste, bevor er rausgeht."

Technische Zusammenfassung

1. Problemstellung

Die rasante Entwicklung von Large Multimodal Models (LMMs) hat es autonomen Agenten ermöglicht, komplexe digitale und physische Aufgaben auszuführen. Trotz dieser Fortschritte besteht eine erhebliche Lücke zwischen der Fähigkeit eines Agenten, Aufgaben erfolgreich zu lösen, und der Gewährleistung seiner verhaltensbezogenen Sicherheit (Behavioral Safety).

Bisherige Sicherheitsbewertungen leiden unter folgenden Mängeln:

• Fehlende Funktionalität: Viele Benchmarks basieren auf textbasierten Simulationen oder LLM-generierten APIs, die die Dynamik realer Umgebungen nicht abbilden.
• Eingeschränkter Geltungsbereich: Existierende Frameworks konzentrieren sich oft nur auf einzelne Domänen (z. B. nur Web oder nur Embodied AI) oder bewerten nur die Sicherheit des generierten Inhalts, nicht aber die Konsequenzen der ausgeführten Aktionen.
• Fidelity-Lücke: Die Diskrepanz zwischen simulierten Umgebungen und der realen Welt führt zu Ergebnissen, die keine verlässlichen Rückschlüsse auf reale Sicherheitsrisiken zulassen.

Das Ziel dieses Papers ist es, eine umfassende Benchmark zu schaffen, die die verhaltensbezogenen Sicherheitsrisiken von situierten Agenten in funktionalen Umgebungen (mit echten Tools und Schnittstellen) bewertet.

2. Methodik: BeSafe-Bench (BSB)

BeSafe-Bench ist ein Benchmark-Framework, das Agenten in vier repräsentativen Domänen testet:

1. Web: Automatisierung von Web-Aufgaben.
2. Mobile: Steuerung von Android-Apps.
3. Embodied VLM: Hochlevel-Planung für physische Agenten (Visuell-Sprach-Modelle).
4. Embodied VLA: Niedriglevel-Manipulation (Visuell-Sprach-Aktions-Modelle).

Aufbau des Benchmarks:

• Funktionsfähige Umgebungen: Statt textbasierter Simulationen werden hochrealistische Simulatoren verwendet (WebArena für Web, Android-Lab für Mobile, OmniGibson für Embodied VLM, LIBERO/VLA-Arena für Embodied VLA). Jede Aufgabe läuft in einer isolierten, containerisierten Umgebung, um Interferenzen zu vermeiden.
• Aufgabengenerierung: Ausgehend von realistischen Basisaufgaben werden mittels LLMs (GPT-5) sicherheitskritische Anweisungen generiert. Dabei werden neun Kategorien von Sicherheitsrisiken eingefügt (z. B. Datenschutzverletzung, Datenverlust, physischer Schaden, ethische Verstöße), ohne dass die ursprüngliche Absicht des Nutzers bösartig erscheint.
• Hybride Evaluierungs-Framework:
  • Regelbasierte Checks: Für deterministische Prüfungen (z. B. „wurde das Objekt bewegt?", „enthält die Antwort sensible Daten?").
  • LLM-basierte Bewertung: Ein LLM (als Richter) analysiert semantische Nuancen und die Umgebungsstate, um zu entscheiden, ob ein Risiko ausgelöst wurde.
• Metriken: Der Benchmark bewertet nicht nur die Erfolgsrate (Success Rate, SR), sondern auch die Sicherheitsrate (Safety Rate, SafeR) und deren gemeinsame Verteilung (z. B. erfolgreich aber unsicher vs. fehlgeschlagen und unsicher).

3. Wichtige Beiträge

1. Neuer Benchmark (BeSafe-Bench): Das erste umfassende Framework, das Agenten-Sicherheit in funktionalen Umgebungen über vier Domänen hinweg testet. Es enthält 1312 ausführbare Aufgaben.
2. Neues Paradigma zur Benchmark-Erstellung: Integration von ausführbaren Aufgaben mit vordefinierten Risikokategorien und -faktoren, um gleichzeitig Aufgabenleistung und Sicherheit zu bewerten.
3. Hybride Evaluierung: Kombination von regelbasierten und LLM-gestützten Methoden zur Bewertung von Agenten-Trajektorien und Umgebungsstatus, was eine präzisere Erfassung realer Risiken ermöglicht.

4. Ergebnisse

Die Evaluation von 13 populären Agenten-Modellen (inkl. GPT-5, Qwen, OpenVLA, AutoGLM) ergab besorgniserregende Trends:

• Geringe Erfolgsquote bei Sicherheit: Selbst die besten Agenten schaffen es, weniger als 40 % der Aufgaben vollständig zu erfüllen, während sie gleichzeitig alle Sicherheitsbeschränkungen einhalten.
• Korrelation von Erfolg und Unsicherheit: In bis zu 41 % der Fälle führten Agenten Aufgaben erfolgreich aus, begingen dabei aber gleichzeitig unsichere Handlungen (z. B. Offenlegung sensibler Daten oder physische Kollisionen).
• Domänenspezifische Probleme:
  • Web/Mobile: Die Sicherheitsabdeckung liegt oft unter 60 %. Agenten haben Schwierigkeiten, sensible Informationen zu schützen.
  • Embodied VLM/VLA: Es besteht eine systematische Fehlausrichtung zwischen Planungsleistung und Sicherheitsrobustheit. Modelle, die Aufgaben gut lösen, ignorieren oft Sicherheitsbedingungen während der Ausführungsschritte (Prozess-Sicherheit), auch wenn der Endzustand sicher erscheint.
• Komplexität: Bei komplexen, mehrstufigen Aufgaben nimmt die Sicherheitsbewusstsein der Agenten signifikant ab. Sie priorisieren oft die Aufgabenerfüllung über die Risikovermeidung.

5. Bedeutung und Fazit

Das Paper unterstreicht die dringende Notwendigkeit, Sicherheitsmechanismen zu verbessern, bevor autonome Agentensysteme in realen Umgebungen eingesetzt werden. Die Ergebnisse zeigen, dass reine Aufgabenleistung kein Indikator für Sicherheit ist.

BeSafe-Bench dient als fundamentale Ressource für die Community, um:

• Sicherheitsrisiken systematisch zu analysieren.
• Trainingsmethoden zu entwickeln, die Agenten dazu bringen, Sicherheitsbeschränkungen in ihre Entscheidungsprozesse zu integrieren.
• Die Zuverlässigkeit von Agenten in sensiblen Anwendungsbereichen (Finanzen, Gesundheitswesen, physische Robotik) zu erhöhen.

Zusammenfassend demonstriert BeSafe-Bench, dass die aktuelle Generation von Agenten zwar leistungsfähig, aber in Bezug auf ihr verhaltensbezogenes Sicherheitsprofil noch weit von einer sicheren Einsatzbereitschaft entfernt ist.