Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents

Technische Samenvatting: Veilig, of Gewoon Onbekwaam? Heroverweging van Veiligheidsbeoordeling voor Agents die Telefoons Gebruiken

Probleemstelling
Huidige veiligheidsbeoordelingen voor agents die telefoons gebruiken, lijden onder een fundamentele ambiguïteit: een onschadelijk resultaat betekent niet noodzakelijk veilig gedrag. Wanneer een agent op een riskant moment schade voorkomt, kan dit te wijten zijn aan veilig oordelen (het risico herkennen en de juiste veilige actie kiezen) of onbekwaamheid om te handelen (het niet begrijpen van de interface, het niet vinden van besturingselementen, of het niet uitvoeren van een relevante actie). Bestaande benchmarks verwarren deze verschillende oorzaken vaak onder geaggregeerde metrieken zoals "taaksucces", "weigeren" of "uiteindelijke schadelijk resultaat". Deze vermenging leidt tot twee kritieke problemen:

1. Overschatting van zwakke modellen: Agents die niet handelen, worden onterecht gecrediteerd voor veiligheid omdat er geen schade is ontstaan.
2. Verkeerde diagnose van sterke modellen: Agents die de interface begrijpen maar slechte veiligheidskeuzes maken, worden niet onderscheiden van diegenen die simpelweg niet kunnen handelen.

Naarmate agents overgaan van passieve assistenten naar systemen die rechtstreeks smartphones kunnen bedienen, kan één verkeerde tik privégegevens blootleggen, betalingen autoriseren of toestemmingen verlenen. Het beoordelen of een agent op het moment dat een veiligheidsgrens actieverelevant wordt, de juiste keuze maakt, is iets anders dan het beoordelen of het een taak kan voltooien.

Methodologie: PHONESAFETY
Om dit aan te pakken, introduceren de auteurs PHONESAFETY, een benchmark ontworpen om agents te beoordelen op veiligheidskritieke momenten in plaats van over volledige taakepisoden.

• Dataverzameling: De benchmark bestaat uit 700 veiligheidskritieke momenten, ontleend aan 4.512 trajecten op echte apparaten over 130+ Chinese mobiele apps. Deze trajecten dekken diverse scenario's, waaronder native apps, mini-programma's en workflows tussen apps.
• Evaluatie-eenheid: De eenheid van analyse is het specifieke beslispunt waar de volgende actie direct de veiligheid van de interactie kan bepalen. Het model krijgt de gebruikersinstructie, de interactiegeschiedenis en de huidige schermcontext, en wordt gevraagd de volgende telefoonactie te voorspellen.
• Drie-weg Decompositie: In plaats van een binaire veilige/onveilige label, worden uitkomsten gecategoriseerd in drie onderling uitsluitende klassen:
  1. Veilige Actie: Het model engageert zich met de beslissing en kiest de veilige kant (bijvoorbeeld om bevestiging vragen, een schadelijke instructie weigeren, een misleidende pop-up sluiten).
  2. Onveilige Actie: Het model engageert zich met de beslissing maar overschrijdt de veiligheidsgrens (bijvoorbeeld doorgaan met betaling zonder bevestiging, onnodige toestemmingen verlenen).
  3. Niet-doen van iets Nuttigs (Onbekwaamheidsfout): Het model faalt om zowel veilig als onveilig gedrag te realiseren. Dit omvat het tikken op irrelevante gebieden, de pagina verlaten, of misvormde acties produceren. Deze categorie wordt behandeld als een operationeel signaal van onbekwaamheid om te handelen, en niet als een bewering over diepe modelinterne mechanismen.
• Metrieken: De auteurs rapporteren de Veilige-actie-ratio, Onveilige-actie-ratio en Onbekwaamheidsfout-ratio (CFR). Ze volgen ook $1 - \text{CFR}$ (de ratio van het produceren van enige relevante actie) als proxy voor algemene operationele bekwaamheid.

Belangrijkste Resultaten
Het artikel evalueert acht representatieve agents die telefoons gebruiken (waaronder Gemini 3.1 Pro, Claude Opus 4.6 en AutoGLM 9B) en onthult twee primaire patronen:

1. Algemene Bekwaamheid Voorspelt Geen Veilige Keuzes:
   Er is geen betrouwbare correlatie tussen de algemene prestaties van een model bij het gebruik van telefoons en diens veiligheidsoordeel op kritieke momenten.

   • Bewijs: Modellen die hoog scoren op algemene taken (bijvoorbeeld Seed 2.0 Pro) hebben niet noodzakelijk de hoogste ratio's van veilige acties. Omgekeerd vertonen modellen met lagere algemene scores soms veiliger besluitvorming wanneer de grens expliciet is.
   • Implicatie: Hoge operationele bekwaamheid garandeert geen veilig gedrag; een specifieke veiligheidsbeoordeling is vereist.

2. Onderscheidende Foutpatronen:
   Falen is niet monolithisch; het splitst zich in twee verschillende patronen op basis van het scenario:

   • Onveilige Keuzes: In scenario's die een eenvoudige weigering vereisen (bijvoorbeeld de "Veiligheid"-familie), zijn fouten voornamelijk onveilige acties. Het model begrijpt de interface maar kiest de verkeerde kant van de beslissing (bijvoorbeeld doorgaan met een schadelijke instructie).
   • Onbekwaamheid om te Handelen: In visueel en operationeel veeleisende scenario's (bijvoorbeeld "Trapweerstand", "Minimalisatie van Toestemmingen"), zijn fouten voornamelijk het niet doen van iets nuttigs. Het model kan de interface niet koppelen of de benodigde actie uitvoeren.
   • Correlatie: De ratio van "niet doen van iets nuttigs" (CFR) correleert sterk met de algemene bekwaamheid bij het gebruik van telefoons ($\rho = 0,922$), terwijl ratio's van veilige acties dat niet doen.

3. Protocolinvariantie van Onbekwaamheid:
   Wanneer het evaluatieprotocol (wat een veilige versus onveilige actie definieert) wordt variëerd, verschuift de Ratio van Veilige Acties significant. De Onbekwaamheidsfout-ratio (CFR) blijft echter stabiel ($\Delta \text{CFR} = 0,0$). Dit bevestigt dat "niet doen van iets nuttigs" een signaal is van operationele onbekwaamheid en niet een gevoeligheid voor specifieke veiligheidsdefinities.

Betekenis en Aanspraken
Het artikel betoogt dat voor agents die handelingen verrichten, onschadelijkheid geen afdoend bewijs is voor veiligheid. Een systeem mag geen veiligheidskrediet ontvangen enkel omdat er geen schade is ontstaan, als dat resultaat het gevolg was van onbekwaamheid om te handelen.

• Kernbijdrage: De introductie van een drie-weg evaluatiekader dat onveilig oordelen scheidt van onbekwaamheid om te handelen.
• Methodologische Verschuiving: De overstap van uitkomsten op episodeniveau naar veiligheidskritieke momenten maakt het mogelijk om het specifieke beslispunt te isoleren waar veiligheid wordt bepaald.
• Praktische Implicatie: Veiligheidsbeoordeling moet onderscheid maken tussen een model dat slecht kiest en een model dat niet kan handelen. Het behandelen van "geen relevante actie" als een veiligheidssucces is een methodologische fout die de ware aard van agentrisico's verbergt.

De studie is beperkt tot offline evaluatie binnen een Chinees mobiel ecosysteem, maar de auteurs stellen dat het onderliggende principe dat onschadelijke uitkomsten geïnterpreteerd moeten worden in plaats van slechts geobserveerd, breed van toepassing is op agents die in de echte wereld kunnen handelen.