Technische Samenvatting: Landseer – Verkenning van het Landschap van Machine Learning-verdediging

Probleemstelling

Machine learning (ML) systemen die worden ingezet in kritieke sectoren zoals cyberveiligheid, gezondheidszorg en financiën, staan bloot aan diverse bedreigingen gericht op robuustheid, privacy, eerlijkheid en intellectueel eigendom. Hoewel er talloze verdedigingstechnieken zijn voorgesteld om deze risico's individueel aan te pakken, vereisen real-world implementaties de gelijktijdige samenstelling van meerdere verdedigingen. Op dit moment is het proces van het combineren van deze verdedigingen slecht begrepen. De "composability" (samenstelbaarheid) van verdedigingen—hoe ze structureel en kwalitatief met elkaar interageren wanneer ze worden geïntegreerd in één ML-pijplijn—blijft onduidelijk. Eerder onderzoek was grotendeels beperkt tot paarsgewijze evaluaties (twee verdedigingen per keer) of niet-empirische voorspellingsmodellen, waardoor het niet in staat was de combinatorische complexiteit en emergente interferentiepatronen vast te leggen die ontstaan wanneer meerdere tools worden toegepast in verschillende fasen van de ML-levenscyclus. Bijgevolg ontbreekt het practitioners aan een systematische methode om te evalueren of het combineren van specifieke verdedigingen de systeemprestaties en beveiligingsgaranties behoudt of verslechtert.

Methodologie

De auteurs presenteren Landseer, een modulair framework dat is ontworpen om ML-verdedigingen te integreren in de ML-levenscyclus en hun samenstelling systematisch te evalueren. Het framework werkt via drie hoofdcomponenten:

1. Onboarding Module: Deze component zet losstaande onderzoeksartefacten (code en papers) om in samenstelbare pijplijnmodules. Het genereert een Reproductie Record voor elke tool, waarbij wordt geverifieerd:

   • Reproduceerbaarheid: Of de tool wordt uitgevoerd en overeenkomt met gerapporteerde resultaten binnen een gedefinieerde tolerantie (3%).
   • Structurele Samenstelbaarheid: Of de inputs en outputs van de tool compatibel zijn met aangrenzende pijplijnfasen (Pre-Training, During-Training, Post-Training, Deployment).
   • Containerisatie: Het inkapselen van tools in OCI-conforme images om zelfstandige uitvoering met vaste dependencies te waarborgen.

2. Pipeline Explorer: Deze kernempirische component genereert en voert systematisch alle geldige combinaties van onboarde tools uit. Het maakt gebruik van een Scheduler en Worker architectuur om:

   • Verdedigingscombinaties over de ML-pijplijn te enumereren.
   • Redundante berekening te vermijden door tussenresultaten te cachen en gedeelde prefixes in workflows te identificeren.
   • Experimenten uit te voeren over een gestandaardiseerd dataset (CIFAR-10) en modelarchitectuur (ResNet-20).

3. Interferentie Analyse Engine: Deze engine analyseert de resultaten van de uitgevoerde combinaties om bronnen van interferentie te identificeren. Het construeert Interferentie Grafieken waarbij knopen specifieke toolcombinaties vertegenwoordigen en randen incrementele toevoegingen of herschikkingen van tools vertegenwoordigen. De engine voert root-cause analyse uit om de combinatie met de "laagste cardinaliteit" te identificeren die een prestatiedaling veroorzaakt buiten gedefinieerde drempels (2% voor matig, 5% voor ernstig). Het categoriseert interferentie in drie types:

   • Globale Interferentie (GI): Een tool verslechtert de prestaties ongeacht de combinatie.
   • Volgorde-Interferentie (OI): Interferentie treedt alleen op wanneer tools in een specifieke volgorde worden toegepast.
   • Paarsgewijze Interferentie (PW): Interferentie die specifiek is voor de interactie van precies twee tools.

Belangrijkste Bijdragen

Het paper schetst vier hoofd bijdragen:

1. Definitie van Samenstelbaarheid: De auteurs definiëren en bestuderen het begrip samenstelbaarheid voor Trustworthy Machine Learning (TML) technieken, en onderscheiden tussen Structurele Samenstelbaarheid (technische integratiecapaciteit) en Kwalitatieve Samenstelbaarheid (behoud van prestaties).
2. Landseer Framework: Het ontwerp en de implementatie van een generaliseerbaar framework dat het onboarden, uitvoeren en analyseren van verdedigingscombinaties automatiseert.
3. Empirische Evaluatie: Een uitgebreide studie van 35 state-of-the-art TML-technieken. Na filtering op reproduceerbaarheid en structurele compatibiliteit werden 11 tools onboarde. Het framework evalueerde meer dan 700 unieke combinaties om bestaande literatuurbevindingen te repliceren en nieuwe interacties te ontdekken.
4. Nieuwe Inzichten en Richtlijnen: De identificatie van eerder ononderzochte factoren die verdedigingsinteracties beïnvloeden, specifiek de impact van het toepassingsstadium (bijv. Pre-Training versus Post-Training) en de volgorde van verdedigingen binnen een stadium.

Resultaten

De evaluatie leverde enkele kritieke bevindingen op:

• Repliceerbaarheidskloven: Van de 35 onderzochte papers waren slechts 14 volledig reproduceerbaar en repliceerbaar. Veelvoorkomende barrières waren ontbrekende artefacten, softwarebugs, omgevingsmismatches en niet-standaard I/O-contracten.
• Validatie van Eerder Werk: Landseer bevestigde 8 van de 13 paarsgewijze verdedigingsinteractiebevindingen uit bestaande literatuur (bijv. het bevestigen van conflicten tussen watermerken en adversarial training).
• Tegenspraken en Nuance: Het framework tegensprak sommige eerdere claims, zoals het ontbreken van interferentie tussen adversarial robustness en fingerprinting, en benadrukte dat resultaten sterk afhankelijk zijn van specifieke implementatiekeuzes en experimentele instellingen.
• Stadium- en Volgorde-afhankelijkheid: De studie onthulde dat het stadium van toepassing interferentiepatronen aanzienlijk verandert. Zo paste het toepassen van outlier removal in het Pre-Training-stadium goed aan bij adversarial training, terwijl het toepassen in het Post-Training-stadium conflicten veroorzaakte. Evenzo bleek de volgorde van tools binnen hetzelfde stadium (bijv. Pre-Training) een kritieke factor te zijn in het bepalen of verdedigingen interfereren.
• Globale Interferentie: Verdedigingen die in vroege stadia worden toegepast (Pre-Training en During-Training) bleken een hogere frequentie van globale interferentie te hebben (>95% van de combinaties) in vergelijking met die welke later worden toegepast, wat suggereert dat verdedigingen in latere stadia mogelijk betere samenstelbaarheid bieden.

Betekenis

Het paper positioneert Landseer als een fundamentele stap naar het verbeteren van de betrouwbaarheid van machine learning systemen. Door verder te gaan dan paarsgewijze analyse naar een systematische, geautomatiseerde verkenning van verdedigingscomposities, adresseert Landseer de "combinatorische complexiteit" die de implementatie van meerlagige beveiligingsstrategieën heeft gehinderd. Het framework biedt practitioners een methode om best presterende combinaties te identificeren volgens specifieke beveiligingsbeleid en biedt onderzoekers een tool om inzichten in verdedigingsinteracties te extraheren. Uiteindelijk beoogt het werk de drempels te verlagen voor het adopteren van robuuste, privacy-bewarende en eerlijke ML-systemen door een gestructureerde aanpak te vestigen voor het begrijpen en mitigeren van de onbedoelde gevolgen van het combineren van meerdere verdedigingen.