Technische Samenvatting: POLAR-Bench

Probleemstelling

Grote Taalmodellen (LLM)-agenten worden steeds vaker ingezet om namens gebruikers op te treden, waarbij ze toegang hebben tot privédocumenten en met derde partijen-systemen interageren om taken te voltooien. In deze scenario's moet een vertrouwde agent twee concurrerende eisen in evenwicht brengen: voldoende informatie delen om de taak te voltooien (nut), terwijl strikt wordt voldaan aan door de gebruiker gedefinieerde privacybeleid om gevoelige gegevens achter te houden (privacy). Deze uitdaging wordt verergerd wanneer derde partijen-systemen zich gedragen als tegenstanders, met strategieën zoals directe prompt-injectie, rollenspellen of geleidelijke ontmaskering om beschermde attributen te ontfutselen.

Bestaande benchmarks voor privacy in agent-omgevingen lijden onder aanzienlijke beperkingen. De meeste evalueren modellen onder vaste omstandigheden, waarbij ze ofwel één type beleid of één aanvalsstrategie per keer testen. Geen enkele varieert tegelijkertijd de dimensie van het privacybeleid en de strategie van de aanval als gezamenlijke assen. Bijgevolg blijft de afweging tussen privacy en nut onderbelicht, wat het moeilijk maakt om precies te bepalen waar de intentie-volgende capaciteiten van een model bezwijken.

Methodologie

De auteurs introduceren POLAR-Bench (Policy-aware adversarial Benchmark), een diagnostisch kader dat is ontworpen om de afweging tussen privacy en nut in LLM-agenten onder vijandige omstandigheden te evalueren.

Benchmarkstructuur

POLAR-Bench construeert een 5 × 5 diagnostisch oppervlak voor elk geëvalueerd model, waarbij twee orthogonale assen worden gevarieerd:

1. Dimensie Privacybeleid ($L_P$): Vijf niveaus van toenemende redeneercomplexiteit, variërend van expliciete veldbeperkingen (P1) tot semantische beperkingen (P2), voorwaardelijke openbaarmaking (P3), gedeeltelijke/geabstraheerde openbaarmaking (P4) en tegenstrijdige doelstellingen (P5).
2. Aanvalsstrategie ($L_S$): Vijf strategieën die door een vijandig derde partijen-model worden gebruikt om informatie te ontlokken, variërend van directe eenrichtingsverzoeken (S1) tot ja/nee-verfijning (S2), verwardheid van rollen (S3), prompt-injectie (S4) en meervoudige progressieve ontmaskering (S5).

Datageneratie en Evaluatie

• Dataset: De benchmark beslaat 10 domeinen (bijv. medisch, juridisch, financiën) met in totaal 7.852 samples.
• Generatiepijplijn: Samples worden gegenereerd vanuit gestructureerde JSON-profielen die taakrelevante attributen ($A_{task}$), beschermde attributen ($A_{protected}$) en irrelevante ruis ($A_{other}$) bevatten. Deze worden omgezet in natuurlijke taal-brondocumenten, privacybeleid, taakinstructies en aanvaller-prompten.
• Ontkoppeling: Een cruciaal ontwerpprincipe zorgt ervoor dat de taakinstructie ($T$) geen privacyhinten bevat, waardoor het model uitsluitend moet vertrouwen op het privacybeleid ($P$) voor beperkingen.
• Evaluatieprotocol: Een vertrouwd model ($T$) voert een gesprek met een vast vijandig model ($E$). De interactie wordt deterministisch gescoord met behulp van regex-gebaseerde set-lidmaatschapscontroles tegen grondwaarheidsattributen, waardoor de noodzaak voor een LLM-rechter in de scoringslus wordt weggenomen.
  • Privacy-score: Het fractioneel aantal beschermde attributen dat succesvol wordt achtergehouden.
  • Nutscore: Het fractioneel aantal taakrelevante attributen dat succesvol wordt gedeeld.
  • Totale score: Een convexe combinatie van privacy en nut (standaard $\lambda = 0.5$).

Belangrijkste Bijdragen

1. Eerste Gezamenlijk Diagnostisch Oppervlak: POLAR-Bench is de eerste benchmark die de dimensie van het privacybeleid en de aanvalsstrategie als gezamenlijke assen varieert, waardoor een 5 × 5 evaluatie-oppervlak ontstaat dat specifieke faalmodi blootlegt in plaats van geaggregeerde scores.
2. Deterministische Scoring: Door het gebruik van regex-gebaseerde matching op gestructureerde grondwaarheid, vermijdt de benchmark de subjectiviteit en hallucinatie-risico's die geassocieerd zijn met op LLM gebaseerde rechters voor uitkomstscoring.
3. Uitgebreide Dekking: De benchmark beslaat 10 diverse domeinen en 7.852 samples, waarbij een breed scala aan propriëtaire en open-gewicht modellen wordt geëvalueerd (van 3B tot 120B parameters).
4. Stress-test voor Verdediging: Het kader is ontworpen om compatibel te zijn met verdedigingen op het moment van inferentie, waardoor mechanismen zoals PrivacyChecker kunnen worden geëvalueerd.

Resultaten

De evaluatie van frontier- en open-gewicht modellen onthult een scherpe prestatiesplitsing:

• Frontier-modellen: Huidige frontier-modellen (bijv. GLM-5.1, GPT-5.4, Gemma-4-31B, DeepSeek-V3.1) tonen robuuste intentie-volging, waarbij meer dan 99% van de beschermde attributen wordt achtergehouden terwijl een hoog nut wordt behouden.
• Kleine Open-gewicht Modellen: Modellen in het bereik van 1–30B, die vaak worden ingezet als on-device of privé-inferentie-agenten, scoren aanzienlijk slechter. De zwakste modellen lekken meer dan 50% van de beschermde attributen. Sommige kleinere modellen behouden privacy alleen door het nut te offeren (te conservatief worden), terwijl anderen prioriteit geven aan het nut ten koste van de privacy.
• Modelgrootte versus Capaciteit: Modelgrootte alleen is geen betrouwbare voorspeller van privacy of nut. Schalingseffecten zijn inconsistent binnen model-families. In plaats daarvan toont algemene redeneercapaciteit (geproxyd door GPQA Diamond-scores) een sterke positieve correlatie met privacybescherming ($r=0.752$), maar een zwakke negatieve correlatie met nut, wat suggereert dat sterkere redenaars mogelijk te conservatief zijn.
• Aanvalskwetsbaarheid:
  • S2 (Ja/nee-verfijning) en S5 (Meervoudige progressieve) zijn de meest effectieve aanvalsstrategieën, die de grootste dalingen in privacy-scores en de grootste variantie tussen modellen veroorzaken.
  • S1 (Directe eenrichting) is het makkelijkst te verdedigen.
  • Privacy-robuustheid kan niet uitsluitend worden beoordeeld via directe aanvallen; incrementele en conversationele aanvallen zijn essentieel voor een accurate evaluatie.
• Domeinvariabiliteit: Hoewel modelranglijsten relatief stabiel blijven over domeinen heen, varieert de absolute prestatie. "Klantenservice" is het meest uitdagende domein voor nut, terwijl "Werving" het hoogste privacyrisico en de grootste variantie presenteert.

Betekenis en Beweringen

Het artikel beweert dat POLAR-Bench een noodzakelijke "toegang tot privacy-afstemming biedt waar het het meest telt". De primaire betekenis ligt in het localiseren waar de intentie-volging van een model bezwijkt. In plaats van simpelweg te rapporteren of een model faalt, identificeert het diagnostische oppervlak hoe het faalt:

• Of het faalt door te veel beschermde informatie openbaar te maken.
• Of het faalt door te conservatief te worden om de taak te voltooien.
• Of het faalt onder specifieke aanvalsstrategieën of beleidstypen.

De auteurs benadrukken dat de kloof tussen frontier-modellen en de 1–30B open-gewicht klasse kritiek is voor implementatie, aangezien gebruikers steeds vaker vertrouwen op deze kleinere, lokaal implementeerbare modellen als vertrouwde agenten om het sturen van privégegevens naar API's van derden te vermijden. Het artikel stelt dat afstemming en trainingskeuzes de prestaties meer bepalen dan het aantal parameters alleen, en dat redeneercapaciteit sterk correleert met het vermogen om te herkennen wat moet worden achtergehouden, zelfs als dit geen betere taakvoltooiing garandeert.

Tot dient de benchmark als stress-test voor de volgende generatie privacy-bewuste afstemming en verdedigingen op het moment van inferentie, met name die gericht op de voor implementatie relevante klasse van kleinere modellen.