💻 computer science

Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

Dieser Beitrag schlägt ein neuartiges Zero-Shot-Framework zur Videoanomalieerkennung vor, das sprachgesteuerte semantische Typizität und eine Analyse der Einzigartigkeit des Kontexts zur Laufzeit auf Skelettdaten nutzt, um eine state-of-the-art-Generalisierung über diverse Überwachungsszenarien hinweg zu erreichen, ohne Zielbereichs-Trainingsdaten zu benötigen.

Ursprüngliche Autoren: Canhui Tang, Sanping Zhou, Haoyue Shi, Le Wang

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Canhui Tang, Sanping Zhou, Haoyue Shi, Le Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter, der einen Live-Feed eines belebten Stadtplatzes überwacht. Ihre Aufgabe ist es, alles Ungewöhnliche zu erkennen, das passiert.

Der alte Weg (Das Problem des „starreren Regelbuchs")
Die meisten aktuellen Sicherheitssysteme sind wie ein Wächter, der nur in einem bestimmten Park gearbeitet hat. Sie haben genau auswendig gelernt, wie Menschen in diesem Park gehen, rennen oder sitzen.

Wenn eine Person in diesem Park normal geht, sagt der Wächter: „Alles in Ordnung."
Wenn eine Person in einem neuen Park mit anderen Bäumen und Lichtverhältnissen geht, gerät der Wächter in Verwirrung. Er könnte einen normalen Gang nur deshalb für verdächtig halten, weil die Schatten anders aussehen.
Noch schlimmer: Wenn jemand etwas tut, das der Wächter noch nie gesehen hat (wie eine neue Tanzart), könnte er es übersehen, weil es nicht in sein winziges, auswendig gelerntes Regelbuch passt.

Das ist das Problem bei der aktuellen Video-Anomalieerkennung: Sie verlässt sich zu sehr auf den spezifischen Hintergrund und das Aussehen der Personen, was dazu führt, dass sie versagt, wenn sie an einen neuen Ort verlegt wird.

Die neue Lösung (Der „intelligente Detektiv")
Die Studie schlägt ein neues System vor, das wie ein intelligenter Detektiv funktioniert, der menschliches Verhalten versteht, anstatt nur eine bestimmte Szene auswendig zu lernen. Es verwendet „Skelett"-Daten (nur die Strichmännchen-Umriss von Personen), um den Hintergrund zu ignorieren und sich auf die Bewegung selbst zu konzentrieren.

Der Detektiv nutzt zwei Haupt-Superkräfte, um Probleme zu erkennen:

1. Die „gesunden Menschenverstand"-Bibliothek (Semantische Typizität)

Stellen Sie sich vor, der Detektiv hat eine riesige Bibliothek mit Büchern, die von einer superintelligenten KI (einem Large Language Model) geschrieben wurden.

Das Training: Bevor er seinen Dienst antritt, liest der Detektiv diese Bücher, um zu lernen, was Menschen im Allgemeinen als „normal" und „abnormal" betrachten.
- Normal: Einen Hund spazieren führen, eine Zeitung lesen, Geschirr spülen.
- Abnormal: Fallschirmspringen in einer Stadt, Tauchen auf einer Straße, Kämpfen.
Wie es funktioniert: Wenn der Detektiv ein Strichmännchen sieht, das auf der Straße springt, schaut er nicht nur auf die Pixel. Er fragt seine interne Bibliothek: „Ist Springen eine typische Sache, die Menschen in einem Überwachungsvideo tun?" Die Bibliothek antwortet: „Nein, das ist ungewöhnlich."
Der Vorteil: Da der Detektiv diese Regeln aus einer allgemeinen „gesunden Menschenverstand"-Bibliothek gelernt hat, kann er seltsames Verhalten in jeder neuen Stadt erkennen, nicht nur in der, in der er trainiert wurde.

2. Der „Ausreißer"-Radar (Kontextuelle Einzigartigkeit)

Manchmal ist eine Handlung normal (wie Fahrradfahren), aber sie ist für diesen spezifischen Moment seltsam.

Das Szenario: Stellen Sie sich ein Skigebiet vor. Alle sind am Skifahren. Wenn eine Person Ski fährt, ist das normal. Aber wenn eine Person plötzlich durch den Schnee Fahrrad fährt, während alle anderen Ski fahren, ist das seltsam.
Wie es funktioniert: Der Detektiv betrachtet die Menge. Er fragt: „Macht diese Person etwas, das gerade niemand sonst tut?"
- Wenn alle gehen und eine Person rennt, markiert der Detektiv dies.
- Wenn alle Ski fahren und eine Person Fahrrad fährt, markiert der Detektiv dies.
Der Vorteil: Dies hilft dabei, Dinge zu erkennen, die nicht „global" seltsam sind (wie Fahrradfahren), aber in diesem spezifischen Kontext seltsam sind.

Zusammenführung

Das System kombiniert diese beiden Prüfungen:

Ist diese Handlung allgemein seltsam? (z. B. ist „Kämpfen" immer seltsam).
Ist diese Handlung für diese spezifische Menge seltsam? (z. B. ist „Fahrradfahren" hier seltsam, weil alle anderen Ski fahren).

Wenn die Antwort auf eine der Fragen „Ja" lautet, löst das System einen Alarm aus.

Warum dies wichtig ist

Datenschutzfreundlich: Es muss keine Gesichter oder Kleidung sehen, nur die Skelett-Umriss. Das ist großartig für Orte, an denen man die Identität der Personen nicht aufnehmen darf.
Neue Szenen: Es funktioniert sofort in einem neuen Gebäude oder einer neuen Stadt, ohne dass es mit neuem Videomaterial neu trainiert werden muss.
Geschwindigkeit: Es ist überraschend schnell und leichtgewichtig im Vergleich zu anderen massiven KI-Systemen, die versuchen, jeden Frame mit riesigen Modellen zu „durchdenken".

Kurz gesagt: Anstatt einen spezifischen Raum auswendig zu lernen, lernt dieses System die allgemeinen Regeln menschlichen Verhaltens und überwacht dann, ob jemand diese Regeln bricht oder sich im Vergleich zur umgebenden Menge seltsam verhält.

1. Problemstellung

Zero-Shot Video Anomaly Detection (ZS-VAD) zielt darauf ab, abnormale Ereignisse in Überwachungsvideos zeitlich zu lokalisieren, ohne Trainingsdaten aus dem Zielbereich zu verwenden. Dies ist für Szenarien entscheidend, die Datenschutz betreffen oder neue Überwachungsdeployments umfassen, bei denen Zieldaten nicht verfügbar sind.

Aktuelle Einschränkungen:
- Frame-/Objektbasierte Methoden: Leiden unter Domänenverschiebungen im Hintergrund und im menschlichen Erscheinungsbild beim Wechsel zu neuen Szenen.
- Bestehende Skelett-basierte Methoden: Obwohl sie Hintergrund-/Erscheinungsunterschiede eliminieren, verlassen sie sich auf niedrigstufige Skelettdarstellungen (z. B. Koordinatenvorhersage, Rekonstruktion), die durch Selbstüberwachung gelernt werden. Ihnen fehlt das semantische Verständnis, wodurch sie nicht in der Lage sind, neue Anomalien zu unterscheiden, die normalen Mustern ähneln.
- Domänenbegrenzte Grenzen: Bestehende Methoden verlassen sich blind auf Normalitätsgrenzen, die durch die Quelltrainingsdaten definiert sind, was zu einer Fehlklassifizierung von unbekannten normalen Ereignissen als Anomalien in neuen Szenen führt.

2. Methodik

Die Autoren schlagen ein neuartiges Framework vor, das semantische Typizität von Aktionen und Kontexteinzigartigkeit nutzt, um eine generalisierbare ZS-VAD zu erreichen. Der Ansatz besteht aus zwei Hauptmodulen:

A. Sprachgesteuerte Typizitätsmodellierung (Trainingsphase)

Dieses Modul zielt darauf ab, ein hochstufiges semantisches Verständnis von Aktionen zu erlernen, anstatt niedrigstufige Koordinaten.

Skelett-Text-Ausrichtung: Das Modell verwendet einen externen Aktionserkennungsdatensatz (Kinect-400) anstelle von VAD-spezifischen Daten. Es richtet Skelett-Schnipsel mit Textlabels aus, indem es einen Skelett-Encoder ( $E_s$ ) und einen Text-Encoder ( $E_t$ ) verwendet und Skelette in einen sprachausgerichteten semantischen Raum projiziert.
Typizitätswissensauswahl (LLM-Destillation):
- Ein Large Language Model (LLM) wird aufgefordert, die 20 typischsten normalen Aktionen (z. B. Gehen, Lesen) und 20 typischsten abnormalen Aktionen (z. B. Kämpfen, Fallschirmspringen) aus den 400 Aktionsklassen zu identifizieren.
- Hochwertige Skelett-Schnipsel, die diesen ausgewählten „typischen" Klassen entsprechen, werden basierend auf der Skelett-Text-Ähnlichkeit gefiltert.
Typizitätsverteilungslernen:
- Ein Normalizing Flow (NF) wird auf den ausgewählten typischen normalen und abnormalen Merkmalen trainiert.
- Der NF modelliert die Wahrscheinlichkeitsverteilung dieser Verhaltensweisen. Während der Inferenz wird der Anomaliewert ( $S^t$ ) aus dem negativen Log-Likelihood eines Test-Schnipsels unter der gelernten „normalen" Verteilung abgeleitet. Dies ermöglicht dem Modell, sich basierend auf semantischen Priors und nicht auf spezifischen Datensatzstatistiken auf neue Szenen zu verallgemeinern.

B. Kontexteinzigartigkeitsanalyse zur Laufzeit (Inferenzphase)

Um Szenarien zu behandeln, in denen Aktionen nicht strikt „typisch" sind (z. B. eine normale Aktion, die in einem bestimmten Kontext anomal ist), analysiert das Modell den räumlich-zeitlichen Kontext.

Kontextgraph-Konstruktion: Für jeden Skelett-Schnipsel werden zwei Graphen erstellt:
- Cross-Person-Graph ( $G_c$ ): Verbindet die aktuelle Person mit nahegelegenen Personen im Raum.
- Selbstinspektionsgraph ( $G_s$ ): Verbindet die aktuelle Person mit ihren eigenen vergangenen/zukünftigen Zuständen in der Zeit (unter Ausschluss unmittelbarer Nachbarn, um Redundanz zu vermeiden).
Einzigartigkeitsscore: Das Modell berechnet den Merkmalsabstand zwischen dem Abfrageschnipsel und seinen Nachbarn in beiden Graphen. Da Anomalien selten und einzigartig sind, deutet ein hoher Abstand auf eine Anomalie hin. Der Einzigartigkeitsscore ( $S^u$ ) ist das Maximum der Cross-Person- und Selbstinspektionsabstände.
Ganzheitliche Bewertung: Der endgültige Anomaliewert ist eine normalisierte Kombination aus dem Typizitätsscore ( $S^t$ ) und dem Einzigkeitsscore ( $S^u$ ):
$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$
Dies integriert semantische Priors (was sollte normal/abnormal sein) mit kontextuellen Beweisen (was tatsächlich einzigartig in dieser Szene ist).

3. Hauptbeiträge

Neuartiges Framework: Ein skelett-basiertes ZS-VAD-Framework, das über das Lernen niedrigstufiger Darstellungen hinausgeht hin zu semantischer Typizität und Kontexteinzigartigkeit.
Sprachgesteuertes Typizitätsmodul: Einführung einer Methode, um LLM-Wissen über typisches normales/anormales Verhalten in einen Skelett-Encoder zu destillieren und so einen generalisierbaren semantischen Raum ohne Training im Zielbereich zu schaffen.
Einzigartigkeitsanalyse zur Laufzeit: Vorschlag eines dynamischen, szenenadaptiven Grenzmechanismus, der räumlich-zeitliche Unterschiede zwischen Individuen und Zeitpunkten analysiert, um kontextspezifische Anomalien zu erkennen.
State-of-the-Art-Leistung: Erzielt überlegene Ergebnisse auf vier großen Datensätzen (ShanghaiTech, UBnormal, NWPU, UCF-Crime), die über 100 unsichtbare Überwachungsszenen abdecken, und übertrifft sowohl Full-Shot- als auch andere Zero-Shot-Methoden.

4. Experimentelle Ergebnisse

Die Methode wurde auf vier Datensätzen bewertet, ohne Trainingsdaten aus den Zielbereichen:

Leistung: Die vorgeschlagene Methode erzielte State-of-the-Art (SOTA)-Ergebnisse über alle Datensätze hinweg.
- ShanghaiTech: 84,1 % AUC (vs. 85,9 % Full-Shot STG-NF, aber 0-Shot).
- UBnormal: 74,5 % AUC (eine signifikante Verbesserung von +5,7 % gegenüber dem Zero-Shot-Baseline STG-NF).
- NWPU: 62,1 % AUC (+4,2 % über dem Baseline).
- UCF-Crime: 62,7 % AUC (+10,8 % über dem Baseline).
Vergleich mit Full-Shot: Bemerkenswerterweise ist die Zero-Shot-Leistung dieser Methode mit der von Full-Shot-Methoden, die auf den Zieldaten trainiert wurden, vergleichbar und übertrifft sie in einigen Fällen.
Effizienz: Das Modell ist leichtgewichtig (~5,0 Mio. Parameter), deutlich kleiner als Ansätze auf Basis von Large Vision-Language Models (LVLM) (z. B. LAVAD mit 13 Mrd. + Parametern). Die Inferenzgeschwindigkeit wird durch die Skelettextraktion bestimmt, nicht durch die Logik der Anomaliebewertung.

5. Bedeutung und Auswirkung

Datenschutzkonforme Überwachung: Die Fähigkeit, Anomalieerkennung in neuen Umgebungen ohne Sammlung oder Training auf lokalen Videodaten einzusetzen, adressiert kritische Datenschutzbedenken.
Generalisierung: Durch den Wechsel vom „Lernen von Normalität aus Daten" zum „Lernen von Normalität aus semantischen Konzepten und Kontext" überwindet das Modell die Domänenlücke, die traditionelle VAD-Systeme plagt.
Praktischer Einsatz: Das Framework ist recheneffizient und erfordert während der Inferenz keine komplexen mehrstufigen Schlussfolgerungen oder massive LLMs, was es für den Einsatz an realen Edge-Standorten geeignet macht.
Paradigmenwechsel: Das Paper zeigt, dass Skelettdaten, wenn sie mit semantischen Priors und kontextueller Analyse kombiniert werden, ein hochwirksames Modal für die Zero-Shot-Anomalieerkennung sind und frame-basierte sowie objekt-basierte Ansätze in szenenübergreifenden Settings übertreffen.