Technische Samenvatting: Private en Interpreteerbare Klinische Voorspelling met Quantum-geïnspireerde Tensor Train Modellen

Probleemstelling

Machine learning in klinische settings staat voor een kritiek trilemma: het balanceren van voorspellende nauwkeurigheid, interpreteerbaarheid en privacy. Hoewel eenvoudige modellen zoals Logistische Regressie (LR) transparantie bieden, zijn ze zeer kwetsbaar voor privacy-aanvallen, met name voor lidmaatschapsinferentie (membership inference) en reconstructie van de trainingsset. Daarentegen zijn complexe modellen zoals Neurale Netwerken (NN's) moeilijker aan te vallen, maar missen ze interpreteerbaarheid en blijven ze ook kwetsbaar voor privacy-schendingen. Bovendien kunnen veelvoorkomende praktijken zoals kruisvalidatie en modelmiddeling, die vaak worden gebruikt om robuustheid te verbeteren, onbedoeld de privacyrisico's vergroten door verschillen tussen modellen te versterken. Bestaande verdedigingsmechanismen, zoals Differential Privacy (DP), vereisen vaak aanzienlijke ruisinjectie die de voorspellende bruikbaarheid verslechtert, met name voor NN's, of bieden onvoldoende bescherming voor lineaire modellen.

Methodologie

De auteurs stellen een quantum-geïnspireerd verdedigingsmechanisme voor dat getrainde klinische modellen transformeert naar Tensor Train (TT) representaties. Deze aanpak omvat twee primaire stadia:

1. Tensorisatie: Getrainde modellen (zowel LR als NN) worden omgezet naar TT-formaat met behulp van de TT-RSS (Tensor Train via Randomized Sketching and Subspace) methode. Deze techniek benadert de functie van het model met een laag-rang tensor-decompositie zonder het originele model opnieuw te trainen. Het proces maakt gebruik van een kleine evaluatiedataset (pivots) om de TT-cores te construeren.
2. Discretisatie en Obfuscatie: Om Black-Box (BB) privacy te verbeteren, worden de outputscores van het model gediscretiseerd in $b$ bins voordat het tensorisatieproces plaatsvindt. Dit brengt de outputruimte samen, wat lidmaatschapsinferentie belemmert. Daarnaast worden de TT-parameters gerandomiseerd via een gauge-transformatie om White-Box (WB) privacy te waarborgen, aangezien meerdere parametrisaties dezelfde TT-functie kunnen representeren.

De auteurs evalueren deze aanpak tegen een lidmaatschapsinferentie-aanval die ontworpen is om te identificeren welke publieke datasets zijn gebruikt om een doelmodel te trainen. De aanval maakt gebruik van een schaduwmodel-benadering, waarbij meerdere modellen met variërende hyperparameters en datasets worden getraind om een adversariële meta-classifier te trainen. De evaluatie richt zich op LORIS, een publiekelijk beschikbare LR-model voor de voorspelling van immuuntherapie-respons, evenals ondiepe NN's getraind op dezelfde data.

Belangrijkste Bijdragen

• Empirische Beoordeling van Kwetsbaarheden: De studie toont aan dat standaard LR-modellen, met name de modellen die gemiddeld zijn via kruisvalidatie (zoals bij LORIS), extreem kwetsbaar zijn voor identificatie van de trainingsset, zelfs onder Black-Box toegang. White-box toegang tot LR-parameters maakt bijna perfecte reconstructie van trainingsdata mogelijk.
• Tensor Train Verdediging: Het artikel introduceert een post-training tensorisatiestrategie die modelparameters obfusceert terwijl de voorspellende nauwkeurigheid behouden blijft. Deze methode fungeert als een kennisdistillatiemechanisme, waarbij een effectief model wordt gereconstrueerd uit gediscretiseerde outputs.
• Verbeterde Interpreteerbaarheid: In tegenstelling tot standaard NN's behouden TT-modellen de interpreteerbaarheid van LR's. Ze maken efficiënte berekeningen van marginale en conditionele distributies mogelijk, wat functie-gevoeligheidsanalyse en de constructie van subgroep-specifieke modellen (bijv. per kankertype) mogelijk maakt zonder hertraining.
• Privacy-Utility Afweging: De auteurs demonstreren dat tensorisatie een superieure privacy-utility afweging biedt vergeleken met Differential Privacy. Het vermindert White-Box aanvallen tot willekeurige gokken en degradeert Black-Box aanvallen tot niveaus die vergelijkbaar zijn met DP, maar met aanzienlijk hogere voorspellende nauwkeurigheid.

Resultaten

De experimentele resultaten, gemeten in Hamming-scores (proportie van correcte labelvoorspellingen voor trainingsset-lidmaatschap), leveren de volgende bevindingen op:

• Kwetsbaarheid van Standaard Modellen: Originele LR- en NN-modellen leveren hoge aanvalsscores op (bijv. gegemiddelde LR-modellen bereiken $\approx 0.99$ onder White-Box toegang). Er is vastgesteld dat gegemiddelde LR-modellen kwetsbaarder zijn dan vanilla-modellen omdat variantiereductie modelverschillen versterkt.
• Effectiviteit van Tensorisatie:
  • White-Box Privacy: TT-modellen reduceren de White-Box aanval nauwkeurigheid tot willekeurige gokken ($\approx 0.5$) voor NN's en aanzienlijk lagere niveaus voor LR's (waar aanvallen vertrouwen op het reconstrueren van coëfficiënten uit gediscretiseerde outputs).
  • Black-Box Privacy: Zelfs met grove discretisatie ($b=2$, binaire outputs), bieden TT-modellen sterke privacybescherming, vergelijkbaar met DP met kleine $\epsilon$-waarden, terwijl ze een voorspellende nauwkeurigheid behouden die dicht bij onbeschermde modellen ligt.
  • Granulariteitscontrole: De discretisatieparameter $b$ fungeert als een regelbare knop voor de privacy-utility afweging, analoog aan de ruisschaal in DP.
• Behoud van Interpreteerbaarheid: TT-LR-modellen komen bijna perfect overeen met de originele LR-coëfficiënten in functie-gevoeligheidsanalyse. Bovendien onthullen TT's subgroep-specifieke effecten (bijv. variërende functie-gevoeligheden over verschillende kankertypes heen) die lineaire modellen missen, en deze inzichten strekken zich uit tot getensoriseerde NN's.
• Vergelijking met DP: Terwijl DP-modellen een hoge privacy kunnen bereiken, lijden ze onder substantiële nauwkeurigheidsdegradatie, vooral voor NN's. TT-modellen bereiken vergelijkbare privacy-niveaus als DP met een kleine $\epsilon$, maar met aanzienlijk betere prestaties.

Betekenis en Claims

Het artikel claimt dat tensorisatie een praktische basis legt voor private, interpreteerbare en effectieve klinische voorspelling. De auteurs stellen dat:

1. Routine-toepassing: Tensorisatie moet worden beschouwd als een routine post-processing strategie voor gevoelige domeinen zoals klinische voorspelling, omdat het kan worden toegepast op getrainde modellen zonder dat volledige hertraining nodig is.
2. Superieur aan Huidige Praktijken: De studie benadrukt dat veelvoorkomende praktijken zoals modelmiddeling in kruisvalidatie de privacy ernstig kunnen compromitteren en vermeden moeten worden, tenzij de aggregatiemethode zelf privaat is.
3. Het Gat Overbruggen: De aanpak slaagt erin het gat te overbruggen tussen de transparantie van lineaire modellen en de kracht van complexe modellen, door een manier te bieden om de "black box" van black-box NN's te "openen" en tegelijkertijd te beveiligen tegen privacy-aanvallen.
4. Generaliteit: Het tensorisatiemechanisme is onafhankelijk van de specifieke methode van obfuscatie (bijv. discretisatie), wat suggereert dat het gecombineerd kan worden met andere privacytechnieken zoals ruisinjectie of kennisoverdracht.

De auteurs concluderen dat hun resultaten aantonen dat tensorisatie breed toepasbaar is en een robuust alternatief biedt voor Differential Privacy voor klinische modellen, waarbij het lekken van trainingsdata effectief wordt gemitigeerd terwijl de interpreteerbaarheid die vereist is voor medische besluitvorming behouden blijft.