💻 computer science

Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition

Dieser Beitrag schlägt einen leichten, auf der Ebene einzelner Probanden operierenden Rahmen für das maschinelle Vergessen vor, der für verrauschte Datensätze zur Erkennung von Engagement geeignet ist, die Einflüsse problematischer Probanden effektiv ohne vollständiges Nachtrainieren entfernt und dabei über 89 % der Leistungsgewinne eines Orakelmodells bei etwa einem Viertel der Rechenkosten wiederherstellt.

Ursprüngliche Autoren: Alexander Vedernikov

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexander Vedernikov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Trainer, der ein Sportteam (das KI-Modell) darin schult, zu erkennen, wie engagiert Schüler in einem Klassenraumvideo sind. Sie haben Monate damit verbracht, Ihr Team mit Aufnahmen von 100 verschiedenen Schülern zu trainieren.

Nun stellen Sie fest, dass drei spezifische Schüler während ihrer Aufnahmen sehr seltsam agierten. Vielleicht war das Licht schlecht, vielleicht hatten sie einen schlechten Tag, oder vielleicht verwechselte die Person, die das Video beschriftete, ihr Verhalten. Aufgrund dessen hat Ihr Team von diesen drei Schülern einige „schlechte Gewohnheiten" gelernt.

Normalerweise müssen Sie, wenn Sie dies beheben wollen, das gesamte Team feuern und ein brandneues Team ausschließlich mit den guten Schülern von Grund auf neu trainieren. Das erfordert enorme Zeit und Geld.

Diese Arbeit stellt eine einfachere Frage: Können wir diese drei spezifischen Schüler einfach „enttrainieren", ohne das gesamte Team zu feuern?

So haben die Autoren versucht, dies zu lösen, erklärt durch einfache Analogien:

1. Das Problem: Der „Schlechte Apfel"-Effekt

In der Welt der KI kommen Daten oft in Gruppen vor (wie Schüler). Wenn ein Schüler verwirrend oder verrauscht ist, kann seine gesamte Gruppe von Videos das Modell durcheinanderbringen.

Der alte Weg: Wenn Sie eine schlechte Gruppe finden, löschen Sie deren Daten und trainieren das gesamte Modell ab Null neu. Das ist wie der Wiederaufbau eines Hauses, nur weil ein Ziegelstein Risse hat.
Die neue Idee: Können wir das Modell einfach sanft „zurechtweisen", damit es diese spezifischen schlechten Ziegelsteine vergisst, während der Rest des Hauses intakt bleibt? Dies nennt man Machine Unlearning (Maschinelles Vergessen).

2. Die Methode: Die „Leichte Korrektur"

Die Autoren versuchten nicht, das gesamte Modell neu aufzubauen. Stattdessen nutzten sie einen cleveren, kostengünstigen Trick:

Schritt 1: Die Täter identifizieren. Sie betrachteten das trainierte Modell und fragten: „Mit welchen Schülern hatten Sie die größten Schwierigkeiten?" Sie rangierten die Schüler danach, wie verwirrt das Modell war. Die drei verwirrendsten Schüler wurden zur Entfernung markiert.
Schritt 2: Die „Kopf"-Operation. Das Modell besteht aus zwei Teilen: einem „Körper" (der die VideoMerkmale sieht) und einem „Kopf" (der die endgültige Entscheidung trifft). Die Autoren froren den Körper ein (damit er nicht alles vergaß, was er bereits wusste) und gaben nur dem Kopf eine schnelle, gezielte Anpassung.
Schritt 3: Die „Anti-Lektion". Sie zeigten dem Modell die Videos der schlechten Schüler erneut, sagten ihm diesmal aber: „Tun Sie das Gegenteil von dem, was Sie normalerweise mit diesen tun." Dies drängt das Modell von den schlechten Gewohnheiten weg, ohne sein Wissen über die guten Schüler zu löschen.

3. Der Test: Der „Orakel"-Vergleich

Um zu sehen, ob dies funktionierte, erstellten sie einen „Goldstandard"-Test.

Das Orakel: Sie nahmen das ursprüngliche Modell, warfen die Daten der schlechten Schüler weg und trainierten ein brandneues Modell ab Null neu. Dies ist das „perfekte" Ergebnis, aber es ist teuer.
Das enttrainierte Modell: Dies ist das Modell, das gerade die schnelle „Kopf-Operation" erhalten hat.
Das Ergebnis: Sie verglichen die beiden. Das „enttrainierte" Modell war 90 % so gut wie das „Orakel" (das von Grund auf neu trainierte), kostete aber nur 25 % der Zeit und des Geldes, um es zu reparieren.

4. Der Haken: Es kommt darauf an, wen Sie entfernen

Die Arbeit ergab, dass dieser Trick am besten funktioniert, wenn Sie eine kleine, spezifische Anzahl schlechter Schüler entfernen (wie 3 von 100).

Wenn Sie zu wenige entfernen (nur 1), beheben Sie nicht genug des Problems.
Wenn Sie zu viele entfernen (wie 5), beginnen Sie, gute Daten zusammen mit den schlechten zu verwerfen, und die Leistung des Modells beginnt zu sinken.
Der Sweet Spot: Das Entfernen einer kleinen, gezielten Gruppe „verrauschter" Probanden bringt den größten Schub.

Zusammenfassung

Stellen Sie sich dies wie das Bearbeiten eines Buches vor, nachdem es gedruckt wurde.

Neu-Training ist wie der gesamte Neudruck des Buches, diesmal jedoch ohne die schlechten Kapitel.
Machine Unlearning (diese Arbeit) ist wie das Nehmen eines Stifts und das sorgfältige Durchstreichen der schlechten Sätze im bestehenden Buch, gefolgt vom Umschreiben der Zusammenfassungsseite, damit die Geschichte wieder Sinn ergibt.

Das Fazit:
Sie müssen nicht immer das gesamte Modell wegwerfen und von vorne beginnen. Wenn Sie die spezifischen „verrauschten" Personen identifizieren können, die Probleme verursachen, können Sie ein billiges, schnelles Update verwenden, um sie zu „entlernen" und fast das gleiche Ergebnis wie einen vollständigen Neuaufbau zu erzielen. Sie müssen jedoch vorsichtig sein, wen Sie auswählen, um zu entfernen; wenn Sie die falschen Personen entfernen, funktioniert die Reparatur nicht.

Problemstellung

Das Paper adressiert eine praktische Herausforderung in der Engagement-Erkennung, einer Aufgabe, die die Klassifizierung von Nutzer-Engagement-Levels aus Videodaten umfasst. Engagement-Datensätze (z. B. DAiSEE, EngageNet) sind typischerweise subjektindiziert und enthalten rauschbehaftete, subjektive Überwachung. Im Gegensatz zu Standardproblemen mit verrauschten Labels, bei denen einzelne Clips falsch beschriftet sein können, ist die problematische Einheit in diesen Datensätzen oft der gesamte Subjekt. Mehrere Clips desselben Individuums können Annotationsmehrdeutigkeiten, Aufzeichnungsartefakte oder atypische Verhaltensmuster teilen, die kontraproduktive Überwachung einführen.

Sobald ein Basismodell trainiert ist, besteht die konzeptionell korrekte Lösung, um ein problematisches Subjekt zu entfernen, darin, das Modell von Grund auf neu auf den verbleibenden Daten zu trainieren. Diese vollständige Neukalibrierung ist jedoch rechenintensiv, insbesondere wenn mehrere Kandidaten-Teilmenge von Subjekten überprüft werden müssen. Das Paper stellt die Frage: Kann der Einfluss eines gesamten problematischen Subjekts aus einem bereits trainierten Modell entfernt werden, ohne eine vollständige Neukalibrierung?

Methodik

Die Autoren schlagen einen subjektbasierten Machine-Unlearning-Rahmen als nachträglichen Bereinigungsmechanismus vor. Das Protokoll besteht aus vier Hauptphasen:

Basistraining: Ein Basismodell ( $f_{\theta_0}$ ) wird auf dem vollständigen Satz von Trainingssubjekten ( $S_{tr}$ ) unter Verwendung einer festen Architektur, TCCT-Net (Tensor-Convolution and Convolution-Transformer Network), trainiert.
Identifikation schädlicher Subjekte: Anstatt eine Korruption der Ground-Truth-Labels anzunehmen, behandeln die Autoren Schädlichkeit als ein operatives Ranking-Problem. Sie berechnen einen Score ( $r_s$ ) für jedes Subjekt basierend auf dem mittleren Cross-Entropy-Verlust pro Clip der Daten dieses Subjekts unter dem trainierten Basismodell. Die top- $K$ -gerankten Subjekte bilden die Vergessensmenge ( $F$ ).
Approximatives Unlearning-Update: Eine leichte Korrektur wird auf das Basismodell angewendet, um ein ungelernertes Modell ( $\tilde{f}_{\theta}$ $\tilde{f}_{θ}$ ) zu erzeugen.
- Architektur-Einschränkung: Um das Update effizient zu halten, wird der untere Feature-Extraktor von TCCT-Net eingefroren. Nur die finalen Fusions- und Klassifizierungsschichten (der „Kopf") werden aktualisiert.
- Zielfunktion: Das Update minimiert eine zusammengesetzte Verlustfunktion ( $L_{unl}$ $L_{u n l}$ ):
  - $L_{ret}$ : Cross-Entropy auf den beibehaltenen Daten ( $D_R$ ), um die Aufgabennützlichkeit zu erhalten.
  - $L_{cons}$ : Ein Konsistenzterm (KL-Divergenz) zwischen den Vorhersagen des Basismodells und des ungelernerten Modells auf den beibehaltenen Daten, um unnötige Drift zu verhindern.
  - $L_{forg}$ : Ein negativer Cross-Entropy-Term auf den vergessenen Daten ( $D_F$ ), um das Modell davon abzubringen, diese Subjekte anzupassen (Anti-Fitting).
  - Regularisierung: Ein Term, der Abweichungen von den ursprünglichen Kopf-Parametern ( $\phi_0$ ) bestraft.
Orakel-zentrierte Evaluation: Das ungelernerte Modell wird mit einem Orakel-Modell ( $f^*_{\theta_F}$ ) verglichen, das ausschließlich auf den beibehaltenen Subjekten ( $D_R$ ) von Grund auf neu trainiert wurde. Dieses Orakel dient als saubere Referenz für die „Lösung mit beibehaltenen Daten".

Hauptbeiträge

Problemformulierung: Das Paper definiert die subjektbasierte nachträgliche Bereinigung als ein eigenständiges Problemsetting für die Engagement-Erkennung und geht über die sample-basierte Korrektur verrauschter Labels hinaus, um die Revision subjektindizierter Daten anzugehen.
Evaluationsprotokoll: Es wird eine orakel-zentrierte Evaluation eingeführt, die misst, ob ein Unlearning-Update die Lösung eines Modells approximiert, das von Grund auf neu auf den beibehaltenen Daten trainiert wurde, anstatt das Modell lediglich zu stören oder die Leistung auf den vergessenen Daten zu verschlechtern.
Empirische Studie: Eine kontrollierte Studie auf DAiSEE und EngageNet zeigt, wann subjektbasiertes Vergessen vorteilhaft ist, wie es von der Konstruktion der Vergessensmenge abhängt und die Nützlichkeit-Effizienz-Abwägungen im Vergleich zur vollständigen Neukalibrierung.

Ergebnisse

Die Studie bewertet drei Modellzustände (Baseline, Ungelernt, Orakel) unter Szenarien mit kleinen Vergessensmengen ( $K \in \{1, 3, 5\}$ ).

Leistungswiederherstellung:
- Auf EngageNet ( $K=3$ ) erholte sich das ungelernerte Modell um 89,3 % des Leistungsgewinns, der vom Orakel-Modell (relativ zur Baseline) erzielt wurde.
- Auf DAiSEE ( $K=3$ ) erholte sich das ungelernerte Modell um 92,5 % des Orakel-Gewinns.
Effizienz: Das Unlearning-Update erforderte ungefähr ein Viertel der Rechenkosten einer vollständigen Orakel-Neukalibrierung (relative Wanduhrzeit von ~0,22×–0,26× vs. ~0,97×–0,98× für das Neukalibrieren).
Vergleich mit naiven Methoden: Ein „naiver Entfernen + kurzes Feinabstimmen"-Ansatz schnitt deutlich schlechter ab als die vorgeschlagene Unlearning-Methode und erholte nur 36,7 % (EngageNet) bzw. 23,3 % (DAiSEE) des Orakel-Gewinns.
Empfindlichkeit gegenüber der Größe der Vergessensmenge:
- Die Leistung verbesserte sich allgemein von $K=1$ auf $K=3$ , was darauf hindeutet, dass Schädlichkeit über eine kleine Teilmenge von Subjekten verteilt ist und nicht in einem einzelnen Ausreißer konzentriert ist.
- Bei $K=5$ begannen die Gewinne zu saturieren oder abzunehmen, was darauf hindeutet, dass das Entfernen zu vieler Subjekte (jenseits des „schädlichen Kerns") nützliche Trainingsvariabilität verwerfen kann.
- Die Orakel-Lücken-Wiederherstellung (OGR) war bei der intermediären Einstellung $K=3$ am höchsten, was nahelegt, dass approximatives Unlearning am effektivsten ist, wenn das Entfernungsregime eine spezifische, kleine geprüfte Teilmenge von Subjekten anvisiert.

Bedeutung und Behauptungen

Das Paper behält einen bescheidenen und praktischen Umfang bei. Es beansprucht nicht, exaktes oder zertifiziertes Vergessen zu liefern, noch schlägt es einen neuen Engagement-Rückgrat vor. Stattdessen liegt seine Bedeutung darin zu demonstrieren, dass:

Nachträgliche Korrektur machbar ist: Approximatives subjektbasiertes Unlearning kann als kostengünstiger Korrekturmechanismus für verrauschte Engagement-Daten dienen und einen erheblichen Teil der Vorteile einer vollständigen Neukalibrierung wiederherstellen.
Orakel-Referenz entscheidend ist: Die Evaluation von Unlearning gegen ein Orakel, das auf beibehaltenen Daten neu trainiert wurde, ist notwendig, um zwischen nützlicher Bereinigung und bloßer Modellstörung zu unterscheiden.
Regime-Abhängigkeit: Die Wirksamkeit der Methode hängt stark von der Qualität der Subjektauswahl und der Größe der Vergessensmenge ab. Sie funktioniert am besten als gezielte Korrektur für eine kleine, identifizierte Teilmenge schädlicher Subjekte und nicht als monotone Beschneidungsstrategie.

Die Autoren schließen, dass die Methode zwar keine universelle Lösung für alle Datensätze oder Architekturen ist, aber einen plausiblen Rahmen für die Revision trainierter Engagement-Modelle bietet, wenn die Überwachung verrauscht und nach Subjekten organisiert ist.