Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition

Probleemstelling

Het paper adresseert een praktische uitdaging in engagement-herkenning, een taak die bestaat uit het classificeren van niveaus van gebruikersbetrokkenheid op basis van videogegevens. Engagement-datasets (zoals DAiSEE, EngageNet) zijn doorgaans onderwerp-geïndexeerd en bevatten ruisachtige, subjectieve supervisie. In tegenstelling tot standaardproblemen met ruis in labels, waarbij individuele clips verkeerd gelabeld kunnen zijn, is de problematische eenheid in deze datasets vaak het gehele onderwerp. Meerdere clips van hetzelfde individu kunnen annotatie-ambiguïteiten, opnameartefacten of atypische gedragspatronen delen die contraproductieve supervisie introduceren.

Zodra een basismodel is getraind, is het conceptueel correcte antwoord om een problematisch onderwerp te verwijderen, het model volledig opnieuw te trainen op de overige data. Echter, deze volledige hertraining is computatief duur, vooral wanneer meerdere kandidaat-subsets van onderwerpen gecontroleerd moeten worden. Het paper stelt de vraag: Kan de invloed van een geheel problematisch onderwerp worden verwijderd uit een reeds getraind model zonder volledige hertraining?

Methodologie

De auteurs stellen een machine-unlearning op onderwerpniveau als post-hoc-saneringsmechanisme voor. Het protocol bestaat uit vier hoofdfasen:

1. Basistraining: Een basismodel ($f_{\theta_0}$) wordt getraind op de volledige set trainingsonderwerpen ($S_{tr}$) met behulp van een vaste architectuur, TCCT-Net (Tensor-Convolution and Convolution-Transformer Network).
2. Identificatie van schadelijke onderwerpen: In plaats van aan te nemen dat er sprake is van corruptie in de ground-truth-labels, behandelen de auteurs schadelijkheid als een operationeel rangschikkingsprobleem. Ze berekenen een score ($r_s$) voor elk onderwerp op basis van de gemiddelde cross-entropy-verlies per clip van de data van dat onderwerp onder het getrainde basismodel. De top-$K$ gerangschikte onderwerpen vormen de vergeet-set ($F$).
3. Benaderende unlearning-update: Een lichtgewicht correctie wordt toegepast op het basismodel om een onthouden model ($\tilde{f}_{\theta}$) te produceren.
   • Architectuurbeperking: Om de update efficiënt te houden, wordt de feature-extractor op lager niveau van TCCT-Net bevroren. Alleen de laatste fusie- en classificatielagen (de "head") worden bijgewerkt.
   • Doelfunctie: De update minimaliseert een samengestelde loss ($L_{unl}$):
     • $L_{ret}$: Cross-entropy op behouden data ($D_R$) om de nuttigheid van de taak te behouden.
     • $L_{cons}$: Een consistentieterm (KL-divergentie) tussen de voorspellingen van het basismodel en het onthouden model op behouden data om onnodige drift te voorkomen.
     • $L_{forg}$: Een negatieve cross-entropy-term op vergeten data ($D_F$) om het model weg te duwen van het aanpassen aan deze onderwerpen (anti-fitting).
     • Regularisatie: Een term die afwijking van de oorspronkelijke head-parameters ($\phi_0$) straft.
4. Orakel-gecentreerde evaluatie: Het onthouden model wordt vergeleken met een Orakelmodel ($f^*_{\theta_F}$), dat vanaf nul wordt getraind op de behouden onderwerpen ($D_R$) alleen. Dit orakel dient als de schone referentie voor de "op behouden data gebaseerde oplossing".

Belangrijkste Bijdragen

1. Probleemformulering: Het paper definieert post-hoc-sanering op onderwerpniveau als een distinct probleemsetting voor engagement-herkenning, die verder gaat dan correctie van ruis in labels op steekproefniveau om onderwerp-geïndexeerde datavertaling aan te pakken.
2. Evaluatieprotocol: Het introduceert een orakel-gecentreerde evaluatie die meet of een unlearning-update de oplossing benadert van een model dat vanaf nul is getraind op behouden data, in plaats van het model slechts te verstoren of de prestaties op vergeten data te verslechteren.
3. Empirische studie: Een gecontroleerde studie op DAiSEE en EngageNet toont aan wanneer onderwerpniveau-vergeten gunstig is, hoe dit afhankelijk is van de constructie van de vergeet-set, en de afwegingen tussen nuttigheid en efficiëntie in vergelijking met volledige hertraining.

Resultaten

De studie evalueert drie modelstaten (Basis, Onthouden, Orakel) onder scenario's met kleine vergeet-sets ($K \in \{1, 3, 5\}$).

• Prestatieherstel:
  • Op EngageNet ($K=3$) herstelde het onthouden model 89,3% van het prestatievoordeel dat door het orakelmodel was behaald (relatief ten opzichte van de basis).
  • Op DAiSEE ($K=3$) herstelde het onthouden model 92,5% van het orakelvoordeel.
• Efficiëntie: De unlearning-update vereiste ongeveer een kwart van de rekenkosten van volledige orakel-hertraining (relatieve wandkloktijd van ~0,22×–0,26× versus ~0,97×–0,98× voor hertraining).
• Vergelijking met naïeve methoden: Een "naïeve verwijdering + korte finetuning"-benadering presteerde aanzienlijk slechter dan de voorgestelde unlearning-methode, met slechts 36,7% (EngageNet) en 23,3% (DAiSEE) van het orakelvoordeel hersteld.
• Gevoeligheid voor grootte van vergeet-set:
  • De prestaties verbeterden over het algemeen van $K=1$ naar $K=3$, wat suggereert dat schadelijkheid verspreid is over een kleine subset van onderwerpen in plaats van geconcentreerd in een enkele uitschieter.
  • Bij $K=5 begonnen de winsten te satureren of af te nemen, wat aangeeft dat het verwijderen van te veel onderwerpen (buiten de "schadelijke kern") bruikbare trainingsvariabiliteit kan weggooien.
  • De Orakel-Gap Recovery (OGR) was het hoogst bij de intermediaire instelling $K=3$, wat suggereert dat benaderende unlearning het meest effectief is wanneer het verwijderingsregime gericht is op een specifieke, kleine gecontroleerde subset.

Betekenis en Claims

Het paper behoudt een bescheiden en praktische reikwijdte. Het claimt niet exacte of gecertificeerde vergeten te bieden, noch stelt het een nieuwe engagement-ruggengraat voor. In plaats daarvan ligt de betekenis in het aantonen dat:

1. Post-hoc correctie haalbaar is: Benaderende unlearning op onderwerpniveau kan dienen als een goedkoop correctiemechanisme voor ruisachtige engagement-data, waarbij een aanzienlijk deel van de voordelen van volledige hertraining wordt hersteld.
2. Orakelreferentie cruciaal is: Het evalueren van unlearning tegen een orakel dat is getraind op behouden data is noodzakelijk om onderscheid te maken tussen nuttige sanering en louter modelverstoring.
3. Afhankelijkheid van regime: De effectiviteit van de methode is sterk afhankelijk van de kwaliteit van de selectie van onderwerpen en de grootte van de vergeet-set. Het werkt het beste als een gerichte correctie voor een kleine, geïdentificeerde subset van schadelijke onderwerpen in plaats van een monotoon uitdunningsstrategie.

De auteurs concluderen dat hoewel de methode geen universele oplossing is voor alle datasets of architecturen, het een plausibel kader biedt voor het herzien van getrainde engagement-modellen wanneer supervisie ruisachtig is en georganiseerd per onderwerp.