Vectors Are Not Neutral: Sensitive-Information Inference from Exported LLM Representations in Summarization

Technische Samenvatting: Vectoren zijn niet neutraal

Probleemstelling
Samenvattingssystemen op basis van Large Language Models (LLM) exporteren vaak compacte vectorrepresentaties van private invoer naar downstream-workflows voor ophaaloperaties, monitoring, auditing of analyse. Hoewel de brondocumenten mogelijk onder toegangsbeperkingen blijven vallen, worden deze afgeleide vectoren frequent behandeld onder andere toegangscontroles. Het artikel stelt dat, zelfs wanneer ruwe teksten beschermd zijn, deze geëxporteerde vectoren nog steeds het afleiden van gevoelige informatie over de beschreven individuen kunnen ondersteunen, waardoor een risico op resterende informatielekking ontstaat. Dit probleem wordt niet enkel als een kwaadaardig aanvalsvektor gepresenteerd, maar als een governance- en beleidskwestie: downstream-componenten (bijvoorbeeld analisten, auditors, dienstverleners) kunnen toegang hebben tot vectoren zonder bevoegdheid om de originele tekst of gestructureerde gevoelige attributen te inspecteren. Als deze vectoren worden behandeld als afgeleide artefacten die geen informatie op subjectniveau mogen onthullen, dan vormt een succesvolle herwinning van gevoelige attributen een privacyfalen.

Methodologie
De auteurs concretiseren dit probleem aan de hand van de generatie van ontslagrapporten uit klinische zorg (specifiek, de generatie van een Korte Ziekenhuisgeschiedenis of BHC) als een hoog-risico casestudy. Zij gebruiken het in het Elektronisch Gezondheidsdossier (EHR) geregistreerde ras als een gecontroleerd gevoelig label voor auditing.

1. Geauditeerde Artefacten: De studie richt zich op twee specifieke, uit de prompt afgeleide artefacten die worden berekend vóór de generatie:
   • lasttok: De verborgen toestand van de laatste prompt-token direct vóór het decoderen.
   • meanpool: Het gemiddelde van alle verborgen toestanden van niet-padding prompt-tokens, vergelijkbaar met embeddings die worden gebruikt voor ophalen of semantische indexering.
2. Evaluatieprotocol: De auteurs passen post-hoc probing toe op bevroren geëxporteerde vectoren. Zij trainen lineaire (multinomiale logistische regressie) en niet-lineaire (tweelaags MLP) probes om het vijf-weg EHR-geregistreerde raslabel te voorspellen op basis van de geëxporteerde vectoren. De prestatie wordt gemeten aan de hand van de nauwkeurigheid van de probe en de LeakageGap (de absolute afwijking van de kans-baseline van 0,20 in een gebalanceerde vijf-weg setting).
3. Mitigatiestrategie (SURFACELORA): Het artikel introduceert SURFACELORA, een parameter-efficiënte fine-tuning-methode (PEFT) die specifieke geëxporteerde vectoren target.
   • Mechanisme: Het combineert een standaard nuttigheidsdoelstelling (samenvatting via LoRA) met een adversariaal doel. Tijdens het trainingstijdperk wordt een lichtgewicht discriminator gekoppeld aan een aangewezen geëxporteerde vector (bijvoorbeeld lasttok).
   • Gradiëntomkering: Een Gradient Reversal Layer (GRL) wordt gebruikt om de gradiënten die van de discriminator terugvloeien naar de LoRA-adapters om te keren. Dit moedigt het model aan om de nuttigheid van de samenvatting te behouden, terwijl de specifieke getargete vector minder voorspellend wordt voor het gevoelige attribuut.
   • Artefact-specifiekheid: De methode is ontworpen om lekkage te mitigeren op het exacte vector dat voor export is bestemd. De discriminator tijdens het trainingstijdperk richt zich op een specifieke representatie (bijvoorbeeld lasttok), en de auteurs betogen dat mitigatie moet zijn afgestemd op het specifieke artefact dat in de productieomgeving wordt behouden.
4. Selectie van Checkpoints: De auteurs observeren een niet-monotoon compromis tussen nuttigheid en lekkage tijdens het trainingstijdperk. Zij stellen daarom een implementatieprocedure voor waarbij checkpoints worden geselecteerd op basis van een terughoudende validatiestandaard (bal_val) met behulp van een vooraf gespecificeerd lekkagebudget (bijvoorbeeld LeakageGap $\le$ 0,025) en het maximaliseren van ROUGE-L, in plaats van simpelweg de laatste trainingstap te gebruiken.

Belangrijkste Resultaten

• Artefact-specifieke Lekkage: Het verminderen van de herwinbaarheid van gevoelige informatie uit één geëxporteerd artefact (bijvoorbeeld lasttok) garandeert geen verminderde herwinbaarheid uit een ander (bijvoorbeeld meanpool). In hun experimenten slaagde SURFACELORA erin de herwinbaarheid van ras uit het getargete lasttok-artefact te reduceren tot niveaus dichtbij de kans (ongeveer 0,203 nauwkeurigheid) terwijl de nuttigheid van de samenvatting behouden bleef. Het niet-getargete meanpool-artefact bleef echter aanzienlijk voorspellend (ongeveer 0,316–0,323 nauwkeurigheid), wat aantoont dat mitigatie niet overdraagbaar is tussen verschillende vectorrepresentaties.
• Onvoldoende Prompting en Post-hoc Verwijdering: Prompt-engineering (toevoegen van neutraliteitsinstructies) en post-hoc lineaire transformaties (bijvoorbeeld PCA-verwijdering, INLP) bleken ontoereikend. Prompting slaagde er niet in herwinbare signalen te verwijderen en introduceerde vervuiling door meta-termen. Post-hoc transformaties verlaagden de lineaire herwinbaarheid, maar faalden om niet-lineaire lekkage te elimineren.
• Fragiliteit van het Compromis: De relatie tussen adversariale sterkte ($\lambda$) en lekkage is niet-monotoon. Het voortzetten van training na het optimale checkpoint kan leiden tot een "terugslag", waarbij de lekkage toeneemt ondanks voortdurende adversariale druk. Dit vereist een op validatie gebaseerde selectie van checkpoints.
• Output versus Representatie: Hoewel SURFACELORA lekkage op representatieniveau verminderde, maakte het de gegenereerde tekst niet invariant voor gevoelige attributen. Aanvallers op basis van output konden ras nog steeds afleiden uit de gegenereerde samenvattingen met kansen boven het toevalsniveau, zij het iets lager dan de baselines.

Betekenis en Claims
Het artikel claimt drie primaire bijdragen:

1. Framing: Het presenteert geëxporteerde samenvattingsvectoren als concrete, artefact-specifieke auditdoelen voor het afleiden van gevoelige informatie, onderscheiden van de ruwe tekst of het model als geheel.
2. Divergentie van Artefacten: Het toont aan dat herwinning dichtbij het toevalsniveau uit één geëxporteerde vector kan samengaan met aanzienlijke herwinning uit een andere, wat de aanname uitdaagt dat het zuiveren van een canonieke token-representatie bredere veiligheid impliceert.
3. Gerichte Mitigatie: Het introduceert SURFACELORA, een op artefacten gerichte PEFT-methode die effectief de herwinbaarheid op een specifieke vector (bijvoorbeeld lasttok) vermindert terwijl de nuttigheid behouden blijft.

De auteurs concluderen dat privacyauditing en mitigatie voor samenvattingssystemen artefact-specifiek moeten zijn. Een mitigatieclaim is alleen betekenisvol als deze zowel de gevoelige informatie die wordt geauditeerd als het exacte vector-artefact dat wordt behouden, gelogd of blootgesteld, identificeert. Als een systeem gepoolde embeddings exporteert (bijvoorbeeld voor ophalen), moeten de audit en mitigatie die specifieke representatie targeten, aangezien het zuiveren van de laatste-token-toestand alleen ontoereikend is. Het artikel benadrukt dat dit een op implementatie gerichte recept is: audit de specifieke vector die in de pijplijn wordt gebruikt en pas mitigatie toe die is afgestemd op die vector.

Beperkingen
De auteurs erkennen dat hun studie beperkt is tot een specifieke empirische setting (BHC-samenvatting met EHR-geregistreerd ras) en geen generaliteit vaststelt voor alle gevoelige attributen, domeinen of modelarchitecturen. Zij merken op dat mitigatie voor meerdere attributen (gelijktijdig beschermen van ras, leeftijd, geslacht, enz.) een open probleem blijft. Bovendien verduidelijken zij dat EHR-geregistreerd ras wordt behandeld als een administratieve categorie, geen biologisch attribuut, en dat de bevindingen betrekking hebben op de herwinbaarheid van geregistreerde categorieën en hun tekstuele proxies.