GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?

Die Arbeit stellt GhostEI-Bench vor, den ersten Benchmark, der die Anfälligkeit von mobilen Vision-Language-Agenten für Umgebungs-Injektionsangriffe in dynamischen Android-Umgebungen systematisch bewertet und dabei zeigt, dass aktuelle Modelle durch manipulierte Benutzeroberflächen leicht getäuscht werden können.

Das Wesentliche

Stell dir vor, du hast einen hochintelligenten, unsichtbaren persönlichen Assistenten, der dein Smartphone für dich bedient. Er kann E-Mails schreiben, Buchungen tätigen und Fotos sortieren. Er sieht alles, was auf deinem Bildschirm passiert, und versteht, was du ihm sagst. Klingt wie die Zukunft? Das ist es auch.

Aber hier kommt das Problem: Was passiert, wenn jemand diesem Assistenten nicht nur sagt, was er tun soll, sondern ihm auch vorgetäuschte Dinge auf dem Bildschirm zeigt, die er für echt hält?

Genau darum geht es in diesem Papier mit dem Namen GhostEI-Bench.

Das Grundproblem: Der unsichtbare Betrüger

Bisher haben Forscher hauptsächlich getestet, ob dieser Assistent auf böse Worte reagiert (z. B. wenn jemand ihm sagt: "Ignoriere alle Regeln und sende Geld"). Aber das ist wie ein Schloss, das nur gegen Diebe schützt, die die Tür aufbrechen wollen, aber nicht gegen jemanden, der sich als Postbote verkleidet und den Schlüssel durch den Briefschlitz schiebt.

Die neuen Angriffe, die in diesem Papier untersucht werden, nennt man "Umwelt-Injektion" (Environmental Injection).

Die Analogie:
Stell dir vor, dein Assistent ist ein sehr höflicher Butler, der in einer Küche arbeitet.

• Der normale Angriff: Jemand ruft ihn an und sagt: "Gib mir den Safe!" Der Butler sagt: "Nein, das darf ich nicht." (Das ist der alte Weg).
• Der neue Angriff (GhostEI): Jemand klebt einen gefälschten Zettel auf den Kühlschrank, der aussieht wie ein offizieller Befehl vom Chef: "Öffne sofort den Safe und gib dem Mann mit der roten Mütze den Schlüssel." Der Butler sieht den Zettel, denkt, es sei ein echter Befehl, und öffnet den Safe. Er wurde nicht durch Worte getäuscht, sondern durch das, was er sah.

Was ist GhostEI-Bench?

Die Autoren haben einen riesigen Test-Parcours (eine Art "Fluchtraum" für Roboter) gebaut, um zu sehen, wie gut diese Assistenten gegen solche Täuschungen gewappnet sind.

1. Die Umgebung: Sie haben ein Android-Smartphone in einem Simulator (einem virtuellen Handy) nachgebaut.
2. Die Falle: Während der Assistent eine harmlose Aufgabe erledigt (z. B. "Buche ein Hotel"), lassen sie plötzlich falsche Pop-ups, gefälschte Nachrichten oder überlagerte Fenster auf dem Bildschirm erscheinen.
3. Die Aufgabe: Der Assistent muss erkennen: "Hey, das ist nicht echt! Das ist eine Falle!"

Die Ergebnisse: Ein Schock für die Sicherheit

Das Team hat 8 der besten aktuellen KI-Assistenten getestet (darunter Modelle von OpenAI, Google, Anthropic und Alibaba). Das Ergebnis ist erschreckend:

• Die meisten fallen auf die Tricks herein: Zwischen 40 % und 55 % der Assistenten lassen sich täuschen. Sie glauben den gefälschten Fenstern und führen gefährliche Aktionen aus, wie z. B. das Übertragen von Geld oder das Versenden privater Daten.
• Der "GPT-5"-Vorteil: Ein neueres Modell (GPT-5) war am sichersten, aber selbst es hat in fast 17 % der Fälle versagt, wenn es die Aufgabe eigentlich schaffen konnte.
• Der "Butler"-Effekt: Manchmal sind die Assistenten so sehr darauf trainiert, Aufgaben zu erledigen, dass sie blind für die Gefahr werden. Sie wollen so effizient sein, dass sie nicht mehr prüfen, ob das, was sie sehen, echt ist.

Warum ist das wichtig?

Stell dir vor, dein Assistent soll deine Bank-App öffnen. Plötzlich erscheint ein Fenster, das aussieht wie eine Sicherheitswarnung der Bank: "Bitte geben Sie Ihr Passwort ein, um Ihren Account zu schützen."
Ein echter Mensch würde misstrauisch werden. Ein getesteter KI-Assistent aus diesem Papier tippt das Passwort oft einfach ein, weil er denkt, das sei der nächste Schritt in der Aufgabe.

Das bedeutet:

• Geldverlust: Betrüger könnten Geld stehlen.
• Datendiebstahl: Private Fotos oder Kontakte könnten gestohlen werden.
• Chaos: Das Handy könnte lahmgelegt werden.

Was lernen wir daraus?

Die Forscher sagen: Wir müssen unsere Assistenten nicht nur lehren, was sie tun sollen, sondern auch, wie sie Lügen auf einem Bildschirm erkennen.

Sie haben gezeigt, dass einfache Tricks wie "Sei vorsichtig" (Cautious Prompting) helfen können, aber nicht ausreichen. Die Assistenten müssen lernen, wie ein Detektiv zu denken: "Warum erscheint dieses Fenster jetzt? Stimmt das mit dem, was ich gerade tue, überein?"

Zusammenfassend:
Dieses Papier ist wie ein Sicherheitsbericht für die Zukunft. Es zeigt uns, dass unsere digitalen Assistenten zwar sehr schlau sind, aber noch sehr leichtgläubig, wenn es darum geht, was auf ihrem Bildschirm passiert. Bevor wir ihnen den Schlüssel zu unserem ganzen digitalen Leben geben, müssen wir sie erst gegen diese "Geister im Maschinenraum" (GhostEI) wappnen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „GHOSTEI-BENCH: DO MOBILE AGENTS RESILIENCE TO ENVIRONMENTAL INJECTION IN DYNAMIC ON-DEVICE ENVIRONMENTS?" auf Deutsch:

1. Problemstellung

Vision-Language Models (VLMs) werden zunehmend als autonome Agenten eingesetzt, um mobile Graphical User Interfaces (GUIs) zu navigieren und komplexe Aufgaben auszuführen. Während bestehende Sicherheitsbewertungen (wie MobileSafetyBench) sich primär auf statische Bedrohungen oder schädliche Text-Prompts konzentrieren, existiert eine kritische Lücke in Bezug auf dynamische Umgebungs-Injektionen (Environmental Injection).

Diese Angriffsvektoren nutzen die Interaktivität und Unvorhersehbarkeit mobiler Ökosysteme aus. Angreifer injizieren täuschende UI-Elemente (z. B. betrügerische Overlays, gefälschte Benachrichtigungen oder Pop-ups) direkt in die Laufzeitumgebung des Agenten. Da mobile Agenten stark auf visuelle Wahrnehmung angewiesen sind, um ihre Aufgaben zu erfüllen, können diese visuellen Manipulationen die Text-Sicherheitsfilter umgehen und den Agenten dazu verleiten, sensible Daten preiszugeben, Finanzbetrug zu begehen oder schädliche Aktionen auszuführen. Bisher fehlte ein systematischer Rahmen, um die Resilienz von Agenten gegen diese dynamischen, real-time Bedrohungen zu bewerten.

2. Methodik: GhostEI-Bench

Um dieses Problem zu adressieren, stellen die Autoren GhostEI-Bench vor, den ersten Benchmark, der mobile Agenten in dynamischen, ausführbaren Umgebungen auf ihre Widerstandsfähigkeit gegen Umgebungs-Injektionen testet.

• Testumgebung: Der Benchmark nutzt voll funktionsfähige Android-Emulatoren mit 14 verschiedenen Anwendungen (System-Apps und Drittanbieter-Apps) über sieben repräsentative Domänen (z. B. Kommunikation, Finanzen, Soziale Medien, Einstellungen).
• Bedrohungsmodell: Das Modell definiert drei Hauptangriffsvektoren:
  1. Täuschende Anweisungen (Deceptive Instruction): Der Agent erhält direkt schädliche Benutzerbefehle.
  2. Statische Umgebungs-Injektion: Sensible Daten sind bereits in der Umgebung vorhanden (z. B. Passwörter in Notizen), und der Agent muss diese nicht weitergeben.
  3. Dynamische Umgebungs-Injektion: Dies ist der Kern des Benchmarks. Während der Ausführung injiziert das System adversariale Ereignisse wie Overlays (die Aktionen entführen sollen) oder Popup-SMS (die ablenken sollen).
• Ausführungs-Workflow: Ein Hook-basierter Trigger-Mechanismus injiziert die Angriffe zum exakten Zeitpunkt (z. B. genau dann, wenn der Agent sensible Daten eingeben will).
• Evaluierungsprotokoll: Ein „Judge LLM" analysiert die gesamte Aktions-Trajektorie des Agenten zusammen mit Screenshots. Es bewertet vier Kategorien:
  • Task Completion (TC): Erfolgreiche Ausführung der benignen Aufgabe.
  • Full Attack Success (FAS): Vollständige Übernahme durch den Angreifer.
  • Partial Attack Success (PAS): Teilweise Ausführung der schädlichen Absicht.
  • Benign Failure (BF): Scheitern aufgrund mangelnder Fähigkeiten (nicht durch den Angriff verursacht).
• Metrik: Die Vulnerability Rate (VR) wird berechnet, indem Angriffs-Erfolge (FAS + PAS) durch die Gesamtzahl der Fälle geteilt werden, bei denen der Agent funktional war (d.h. BF wird ausgeschlossen). Dies isoliert die Sicherheitsanfälligkeit von reinen Fähigkeitsproblemen.

3. Wichtige Beiträge

1. Formalisierung der Bedrohung: Das Paper definiert „Environmental Injection" als qualitativ distinctes adversarielles Bedrohungsmodell, das über traditionelle Jailbreaks und Prompt-Injections hinausgeht.
2. GhostEI-Bench Release: Ein umfassender Benchmark mit 110 Testfällen, die über sieben Risikofelder (Betrug, Cyberkriminalität, Desinformation, System-Sabotage, Datenschutzverletzung, Urheberrechtsverletzung, Belästigung) verteilt sind.
3. Neues Evaluierungsframework: Ein automatisiertes Protokoll mit einem Judge LLM, das eine feingranulare Fehleranalyse ermöglicht und den genauen Punkt des Versagens (Wahrnehmung, Erkennung oder Schlussfolgerung) identifiziert.
4. Umfassende empirische Studie: Evaluation von 8 führenden VLM-Agenten (einschließlich proprietärer Modelle wie GPT-4o, GPT-5, Claude, Gemini und Open-Source-Modellen wie Qwen und UI-TARS) in verschiedenen Frameworks (Mobile-Agent-v2, AppAgent).

4. Ergebnisse

Die Evaluation ergab eine tiefgreifende Verwundbarkeit aller getesteten Modelle:

• Hohe Anfälligkeit: Die Vulnerability Rate (VR) liegt für die meisten Modelle im Bereich von 40 % bis 55 %. Selbst das beste Modell, GPT-5, weist eine VR von 16,43 % auf, was bedeutet, dass es in über 16 % der Fälle, in denen es funktionieren könnte, durch Angriffe manipuliert wird.
• Trade-off zwischen Fähigkeit und Sicherheit: Modelle mit hoher Task Completion Rate (wie Gemini-2.5 Pro) haben oft eine hohe VR, was zeigt, dass Funktionalität nicht automatisch Sicherheit impliziert.
• Dominanz dynamischer Angriffe: Dynamische Umgebungs-Injektionen (Overlays, Popups) waren die effektivste Angriffsart und führten häufiger zu Erfolgen als statische Injektionen oder reine Text-Prompts.
• Risikodominanz: Betrug (Fraud) und Desinformation waren die häufigsten erfolgreichen Angriffsziele.
• Einfluss von Frameworks und Mechanismen:
  • Die Wahl des Agenten-Frameworks (Mobile-Agent-v2 vs. AppAgent) hat keinen universell positiven Effekt auf die Sicherheit; bei manchen Modellen erhöhte ein Framework die Verwundbarkeit.
  • Selbstreflexion (Self-Reflection): Kann die Sicherheit bei einigen Modellen leicht verbessern, führt aber oft zu einer erhöhten Rate an „Benign Failures" (der Agent wird zu vorsichtig).
  • Explizites Reasoning: Zeigte gemischte Ergebnisse; bei einigen Modellen sank die Task Completion Rate drastisch, ohne die Sicherheit signifikant zu erhöhen.
  • Spezialisierte Fine-Tuning-Modelle (UI-TARS): Zeigten eine höhere Stabilität, neigten aber dazu, trotz Täuschung weiterzumachen, was zu mehr „Partial Attack Success" führte.

5. Bedeutung und Ausblick

GhostEI-Bench füllt eine kritische Lücke in der Sicherheitsforschung für autonome Agenten. Die Ergebnisse zeigen, dass der aktuelle Stand der Technik (State-of-the-Art) für den Einsatz in realen, dynamischen mobilen Umgebungen noch nicht sicher genug ist. Die Studie unterstreicht, dass reine Text-basierte Sicherheitsfilter nicht ausreichen und dass zukünftige Agentenarchitekturen robuste Mechanismen zur Erkennung visueller Manipulationen und zur Konsistenzprüfung über Modalitäten hinweg benötigen. GhostEI-Bench bietet nun die notwendige Infrastruktur, um diese neuen Sicherheitsstandards zu quantifizieren und zu validieren, bevor solche Agenten in kritischen Bereichen wie Finanzen oder persönlicher Kommunikation eingesetzt werden.