Technische Samenvatting: SELFCI – Complementaire Zelfdistillatie voor Contextuele Integriteit in LLM's

Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker worden ingezet als persoonlijke agenten die gevoelige workflows beheren, verschuift de uitdaging rond privacy van eenvoudige dataverbering naar Contextuele Integriteit (CI). CI definieert privacy niet als de absolute geheimhouding van informatie, maar als het bestuur van informatiestromen volgens contextspecifieke normen. In dit domein bestaat een kritieke asymmetrie: een assistent moet informatie behouden die noodzakelijk is voor het voltooien van taken (nut), terwijl het tegelijkertijd informatie moet onderdrukken die taakirrelevant of contextueel ongepast is (privacy).

Bestaande uitlijningsmethoden worstelen met het voldoen aan deze gezamenlijke vereiste:

• Supervised Fine-Tuning (SFT) op CI-conforme trajecten is kostbaar om te schalen en lijdt aan blootstellingsbias wanneer generaties afwijken van de trainingsverdeling.
• Online Reinforcement Learning (RL) (bijv. GRPO) vertrouwt op schaarse, scalair beloningen die taaksucces vermengen met openbaarheidscompliance. Deze grove feedback faalt in het afwegen van beslissingen per attribuut, waarbij geschiktheid afhangt van specifieke transmissienormen, wat vaak leidt tot een afweging waarbij het verbeteren van privacy de taaknutten degradeert.

Het kernprobleem is het ontbreken van een mechanisme dat de drukken "behouden" en "onderdrukken" kan ontwarren zonder ze te laten instorten tot een enkel, dubbelzinnig doel of zonder te vertrouwen op dure externe supervisie.

Methodologie: SELFCI

De auteurs stellen SELFCI voor, een complementair zelfdistillatiekader dat is ontworpen om LLM's uit te lijnen met CI-principes zonder de native taakoplossende capaciteiten te offeren. De aanpak is gebaseerd op het concept van contextafhankelijke invariantie: de voorspellende verdeling van het model moet invariant zijn ten opzichte van de injectie van niet-toegestane informatie ($D_T$), terwijl het gevoelig blijft voor toegestane informatie ($A_T$).

1. Feedbackgeneratie

In plaats van te vertrouwen op ground-truth redeneringen of externe frontier-modellen, maakt SELFCI gebruik van het model zelf om on-policy feedback te genereren.

• Het model wordt geprompt met specifieke instructietemplates ($I_{allow}$ en $I_{disallow}$) om redeneringen te genereren die uitleggen waarom bepaalde attributen al dan niet openbaar gemaakt moeten worden, gebaseerd op CI-transmissieprincipes (Vertrouwelijkheid, Proportionaliteit, Toestemming).
• Deze zelfgegenereerde redeneringen dienen als geprivilegieerde context, waardoor dichte, token-niveau begeleiding wordt geboden die is verankerd in de eigen parameters van het model.

2. Constructie van Complementaire Leraren

SELFCI instantieert twee verschillende leraarbeleidspolicies vanuit dezelfde modelparameters, geconditioneerd op de geaggregeerde feedback:

• $\pi_{allow}$ (Nut-georiënteerd): Een leraar die is bevooroordeeld ten opzichte van taakvoltooiing, die het beleid leidt om noodzakelijke informatie te herstellen.
• $\pi_{disallow}$ (Privacy-georiënteerd): Een leraar die is bevooroordeeld ten opzichte van minimale openbaarmaking, die afhankelijkheid van beperkte informatie bestraft.

3. Gezamenlijke Optimalisatie via Product-of-Experts (PoE)

Het studentbeleid wordt getraind door gezamenlijk twee onafhankelijke omgekeerde KL-divergenties te minimaliseren tegenover deze leraren:
$$\mathcal{L} = \lambda D_{KL}(\pi_\theta \parallel \pi_{allow}) + (1-\lambda) D_{KL}(\pi_\theta \parallel \pi_{disallow})$$
Wiskundig is, onder vaste leraarverdelingen, dit doel gelijkwaardig aan het matchen van een Product-of-Experts (PoE) doelpopulatie:
$$\pi^* \propto \pi_{allow}^\lambda \cdot \pi_{disallow}^{1-\lambda}$$
Deze multiplicatieve formulatie concentreert waarschijnlijkheidsmassa op de doorsnede van de supports van de twee leraren. Bijgevolg leert het beleid om tegelijkertijd aan taakvoltooiing en minimale openbaarmaking te voldoen, in plaats van ze te behandelen als concurrerende doelen. Het kader vermijdt de valkuilen van monolithische oplossingen door de asymmetrische behoud/onderdruk-structuur expliciet te modelleren.

Belangrijkste Bijdragen

1. Ontkoppeling van Privacy en Nut: SELFCI introduceert een kader dat de optimalisatie van taaknut en privacybeperkingen scheidt in complementaire leraarverdelingen, waardoor de structurele beperkingen van scalair beloning-RL of monolithische SFT worden vermeden.
2. Zelfdistillatie zonder Externe Supervisie: De methode genereert zijn eigen geprivilegieerde context (redeneringen) en leraren vanuit het doelmodel, waardoor de behoefte aan dure externe leraren of handmatig ontworpen redeneringen wordt geëlimineerd.
3. Theoretische Formulering: De auteurs tonen aan dat het complementaire zelfdistillatie-doel dient als een bovengrens-suraat voor de ideale CI-toestand (invariantie ten opzichte van niet-toegestane informatie), en zo een wiskundig onderbouwde weg naar uitlijning biedt.
4. Product-of-Experts Uitlijning: Door te optimaliseren naar de doorsnede van twee gespecialiseerde leraren, bereikt de methode een beleid dat zowel taakvolledig als privacybehoudend is, een balans die vaak verloren gaat in bestaande baselines.

Experimentele Resultaten

De auteurs hebben SELFCI geëvalueerd over diverse instructie-getrainde (bijv. Qwen2.5, Llama-3.1) en redeneringsruggengraatmodellen (bijv. DeepSeek-R1, Olmo-3) op zowel binnen-domein als buiten-domein benchmarks.

• Binnen-domein (CI-RL Benchmark): SELFCI presteerde consequent beter dan baselines, waaronder online RL (CI-RL/GRPO) en distillatie met externe leraren (ContextDistill). Op Qwen2.5-7B-Instruct verbeterde SELFCI de Complete score (het voldoen aan zowel nut als integriteit) van 23,29% naar 53,42%, terwijl het tegelijkertijd de Integriteit (83,56%) aanzienlijk verhoogde zonder Nut te offeren.
• Buiten-domein (PrivacyLens): In agentische workflows die gebruikmaken van tools, toonde SELFCI superieure generalisatie, met de laagste lekpercentages (LR en ALR) terwijl hoge nuttigheidsscores werden behouden.
• Robuustheid (CIMemories): Onder geaccumuleerde privécontext, waar attributen in de ene taak passend kunnen zijn maar in de andere niet, handhaafde SELFCI een schendingspercentage onder de 5%, terwijl baselines cumulatieve privacyfouten vertoonden.
• Efficiëntie: SELFCI was steekproef-efficiënter dan online RL, waarbij het in minder epochs hoge prestaties bereikte en aanzienlijk minder GPU-tijd per stap vereiste (één rollout versus 16 voor GRPO).

Betekenis en Beweringen

Het artikel beweert dat SELFCI een praktische weg biedt naar uitlijning van Contextuele Integriteit voor persoonlijke agenten. De betekenis ligt in het aantonen dat:

• Contextuele privacy niet ten koste hoeft te gaan van native nut; de twee kunnen gezamenlijk worden geoptimaliseerd via complementaire zelfdistillatie.
• De "behoud/onderdruk"-asymmetrie van CI effectief kan worden gemodelleerd door het doel te ontleden in gespecialiseerde leraarverdelingen, in plaats van te vertrouwen op grove scalair beloningen.
• Zelfgegenereerde feedback kan dienen als een robuust, on-policy signaal voor dichte supervisie, waardoor privacyuitlijning schaalbaar wordt zonder afhankelijkheid van propriëtaire frontier-modellen.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van gestructureerde synthetische data voor feedbackgeneratie, potentiële uitdagingen voor kleinere modellen met zwakkere in-context leervermogens, en het gebruik van een statische coëfficiënt $\lambda$ voor het balanceren van de leraren. De resultaten suggereren echter dat SELFCI een schaalbare en effectieve aanpak biedt voor het uitlijnen van LLM's met complexe, contextafhankelijke privacynormen.