Technische Samenvatting: Pretrained, Frozen, Still Leaking

1. Probleemstelling

Het artikel adresseert een kritieke lacune in de privacy-audit van EEG Foundation Models (EEG-FMs), zoals BIOT, LaBraM en EEGPT. Huidige privacy-beoordelingen evalueren doorgaans vrijgegeven embeddings (intermediaire representaties) tegen een enkel eindpunt: reconstructie van het ruwe waveform, membership inference, identiteitskoppeling, of differentiële privacy (DP) op de downstream head.

De auteurs stellen dat deze single-endpoint audits onvoldoende zijn. Een vrijgegeven embedding kan er weliswaar voor zorgen dat hoogwaardige reconstructie van het ruwe waveform faalt of dat de signalen voor membership inference zwak zijn, maar kan nog steeds decodeerbare spectrale attributen (bijv. gecentreerde Power Spectral Density-structuren) bevatten die relevant zijn voor de staat van de proefpersoon. Bovendien worden resultaten van identiteitskoppeling vaak verkeerd geïnterpreteerd; sterke identiteitsherstel in "dezelfde-onderwerp"-settings impliceert geen herstel voor "gehouden-buiten"-onderwerpen (die niet in de trainings-/referentieset zitten). Het kernprobleid is het gebrek aan een gezamenlijk audit-framework dat simultaan alle vier de eindpunten evalueert om te bepalen of een beslissing tot vrijgave veilig is, met specifiefte focus op de vraag of spectrale attributen lekken over verschillende encoders en datasets.

2. Methodologie

Het artikel stelt een split-controlled representation privacy audit voor die elke privacyclaim dwingt om specifieke falsificatiecontroles te doorstaan.

2.1 Dreigingsmodel

• Slachtoffer: Een EEG-FM-dienst die embeddings vrijgeeft (geen ruwe waveforms).
• Aanvaller: Beschikt over een schaduwset van EEG-vensters en kan decoders trainen van de vrijgegeven embeddings naar spectrale attributen. Voor identiteitskoppeling heeft de aanvaller een referentieset van kandidaat-onderwerpen.
• Doelen:
  1. Attribuutherstel: Spectrale attributen (gecentreerde PSD) afleiden uit embeddings.
  2. Referentieset-koppeling: Een embedding toewijzen aan een bekend onderwerp in een referentieset.
  3. Privacy-auditing: Testen of verdedigingen (ruis, bottlenecks, DP) lekkage verminderen zonder de bruikbaarheid (utility) te vernietigen.

2.2 Audit Protocol & Controles

De audit evalueert embeddings onder vier standaard eindpunten, maar past strikte split-controles toe om overclaims te voorkomen:

• Raw-Copy Check: Verifieert of aangrenzende vensters bijna duplicaten zijn (cosine similarity $\ge$ 0,99).
• Temporal-Gap Split: Scheidt vensters in de tijd om artefacten van aangrenzende vensters uit te sluiten.
• Subject-Disjoint Split: Zorgt ervoor dat train- en test-onderwerpen niet overlappen. Dit is de kritieke controle voor lekken van attributen bij gehouden-buiten-onderwerpen. Identiteitskoppeling wordt hier niet geclaimd omdat kandidaat-identiteiten afwezig zijn.
• Reference-Set Identity: Identiteitskoppeling (BPID@1) wordt alleen geëvalueerd wanneer kandidaat-onderwerpen aanwezig zijn in de referentieset van de aanvaller.
• Negatieve Controles: Elk lekkage-resultaat wordt vergeleken met willekeurige Gaussische embeddings en gesplitste lokale gepermuteerde embeddings om een baseline vast te stellen.

2.3 Theoretisch Framework

De auteurs introduceren een Cross-Encoder Bridge Theorem en een Audit-Endpoint Disagreement Score (AEDS):

• Bridge Transferability: Ze bewijzen dat als twee encoders een niet-triviale attribuut-coördinaat projector overlap ($\beta$) delen, een ridge attribuut-decoder getraind op één bevroren encoder kan transfereren naar de gehouden-buiten-onderwerp test-split van een andere encoder via een gefitte lineaire bridge. De winst ondergrens wordt afgeleid als $\sqrt{\beta/(1 + \tau^2_t)} - \epsilon_{br} - \rho_0$.
• AEDS: Een beslisregel gedefinieerd als $AEDS = L_A - \max(R_M, R_I)$, waarbij $L_A$ de attribuut-lekkage winst is, $R_M$ de membership inference residu is, en $R_I$ de identiteitskoppeling residu is. Een positieve AEDS geeft aan dat attribuut-lekkage de beslissende risicofactor is, zelfs als andere eindpunten veilig lijken.

2.4 Evaluatie van Verdediging

De audit test standaard verdedigingen:

• Gaussische Ruis: Toegevoegd aan embeddings.
• Bottlenecks & Dropout: Dimensiereductie en coördinaatverwijdering.
• DP-SGD: Differentieel private fine-tuning van de downstream head met per-sample clipping en RDP-accounting.
• Adaptieve Aanvaller: Een Wiener-stijl ruisbewuste aanvaller die embeddings pre-whitent op basis van bekende ruisniveaus.

3. Belangrijkste Resultaten

3.1 Spectrale Attribuut-lekkage

Over acht evaluatie-settings (BIOT, LaBraM, EEGPT op EEGMMI; LaBraM op Sleep-EDF, LIMO, CHB-MIT), zijn spectrale attributen consistent herstelbaar uit embeddings.

• Subject-Disjoint Leakage: In alle subject-disjoint splits blijft de gecentreerde PSD-winst significant positief (95% CI ondergrenzen variërend van 0,157 tot 0,487) ten opzichte van gematchte negatieve controles.
• Cross-Encoder Transfer: Een enkele ridge-decoder getraind op één encoder (bijv. BIOT) transfeert succesvol naar de gehouden-buiten-onderwerp splits van andere encoders (LaBraM, EEGPT) via een lineaire bridge. De geïmpliceerde projector overlap $\beta$ wordt geschat op $[0,008, 0,198]$.
• Relevantie voor Deployment: In een Sleep-EDF slaapfase classificatie-taak bereikte een aanvaller 70,4% nauwkeurigheid op gehouden-buiten-onderwerpen, wat aanzienlijk beter is dan de controles, zelfs met Gaussische ruis ($\sigma=1,0$).

3.2 Omvang van Identiteitskoppeling

• Reference-Set Linkage: Sterke identiteitskoppeling (BPID@1 tot 0,950) wordt alleen waargenomen wanneer de aanvaller een referentieset heeft die de kandidaat-onderwerpen bevat (dezelfde-onderwerp of overlap splits).
• Gehouden-buiten Onderwerpen: Er wordt geen identiteitsherstel geclaimd voor subject-disjoint splits. Het artikel maakt expliciet onderscheid tussen "referentieset-koppeling" (mogelijk) en "gehouden-buiten identiteitsherstel" (niet aangetoond).

3.3 Endpoint Disagreement (AEDS)

• Single-Endpoint Falen: Standaard audits (raw-copy, membership inference, reference-set identity) geven de release vaak vrij. Bijvoorbeeld, membership inference AUC's waren laag (0,50–0,70), en raw reconstructie was negatief.
• Joint Audit Falen: De AEDS was positief in alle acht subject-disjoint gematchte-CI cellen ($p < 0,001$). Dit betekent dat het attribuut-lekkage signaal sterk genoeg is om een beslissing tot vrijgave te blokkeren, zelfs wanneer membership en identiteit eindpunten veiligheid suggereren.

3.4 Falen van Verdediging

• Ruis & DP: Standaard Gaussische ruis en DP-SGD op de downstream head faalden om het attribuutkanaal te sluiten terwijl de bruikbaarheid behouden bleef.
  • Bij bruikbaarheids-behoudende $\epsilon \in \{4, 8\}$, bleef de attribuut-winst statistisch ononderscheidbaar van de niet-private baseline.
  • Alleen bij $\epsilon=1$ daalde de attribuut-winst, maar de taak-bruikbaarheid stortte in (balanced accuracy viel onder operationele drempels).
• Adaptieve Aanvallen: Een ruis-bewuste adaptieve aanvaller (Wiener-stijl) verbeterde de prestaties ten opzichte van niet-adaptieve baselines, maar sloot de privacykloof niet; het attribuutkanaal bleef open.
• Bottlenecks/Dropout: Deze transformaties verminderden de identiteitskoppeling licht, maar lieten de attribuut-lekkage positief.

4. Betekenis en Claims

Het artikel maakt een afgebakende, negatieve claim met betrekking tot de privacy van EEG-FM embeddings:

1. Embeddings vormen geen privacygrens voor spectrale attributen: Vrijgegeven embeddings van BIOT, LaBraM en EEGPT lekken decodeerbare spectrale attributen (gecentreerde PSD) naar gehouden-buiten onderwerpen, zelfs wanneer raw waveform reconstructie en membership inference zwak zijn.
2. Single-endpoint audits zijn onvoldoende: Vertrouwen op raw-reconstructie, membership inference of identiteitskoppeling alleen leidt tot fout-positieven (het vrijgeven van onveilige embeddings). Het AEDS framework wordt voorgesteld om dit onenigheid te detecteren.
3. Verdedigingen zijn momenteel ineffectief: Standaard verdedigingen (ruis, DP, bottlenecks) kunnen niet gelijktijdig de bruikbaarheid behouden en de attribuut-lekkage elimineren in de geteste regimes.
4. Identiteitsclaims moeten worden afgebakend: Sterke identiteitsresultaten zijn geldig voor slechts in de referentieset aanwezige onderwerpen (enrolled users) en kunnen niet worden geëxtrapoleerd naar gehouden-buiten onderwerpen.

Beperkingen erkend door de auteurs:

• De bevindingen zijn gebaseerd op specifieke datasets (EEGMMI, Sleep-EDF, LIMO, CHB-MIT) en modellen; populatiebrede generalisatie naar alle klinische EEG-data wordt niet geclaimd.
• De theoretische resultaten (Theorema 1-5) zijn voldoendeheidsvoorwaarden en gestileerde modellen, geen gefitte parameters voor specifieke encoders.
• De training-ruis experimenten zijn proxies en vormen geen formele DP garanties.

Conclusie: Het artikel concludeert dat EEG-FM embeddings niet simpelweg als gede-identificeerde data behandeld mogen worden omdat het geen ruwe waveforms zijn. Een gezamenlijk audit-framework dat prioriteit geeft aan attribuut-lekkage en split-gecontroleerde claim-grenzen is noodzakelijk voordat dergelijke representaties vrijgegeven kunnen worden.