Technisches Resümee: NSP-ML für die Erkennung abnormalen Verhaltens

Problemstellung

Die Erkennung von abnormalem Verhalten in Campus-Umgebungen ist entscheidend für die intelligente Überwachung und das Sicherheitsmanagement. Während bestehende Methoden bereits Fortschritte erzielt haben, stützen sie sich überwiegend auf visuelle Informationen. Diese Abhängigkeit schafft eine signifikante Einschränkung: Visuelle Repräsentationen allein scheitern oft daran, Verhaltensweisen zu unterscheiden, die zwar visuell ähnlich aussehen, aber basierend auf kontextuellen Einschränkungen (z. B. Zeit, Ort und erwartete Aktivitätsmuster) unterschiedliche Bedeutungen tragen. In Campus-Umgebungen kann eine Aktion wie „Rennen“ auf einem Spielplatz normal, in einem Laborflur jedoch abnormal sein. Aktuelle multimodale Ansätze behandeln textuelle Eingaben oft als statische Labels oder generische Beschreibungen und versäumen es, situative Normen oder das mit spezifischen räumlich-zeitlichen Bedingungen verbundene Vorwissen explizit zu kodieren. Folglich haben diese Modelle Schwierigkeiten mit kontextabhängigen abnormalen Verhaltensweisen, bei denen die Definition von „Abnormalität“ auf der Abweichung von erwarteten Mustern basiert und nicht allein auf dem visuellen Erscheinungsbild.

Methodik

Die vorliegende Arbeit schlägt NSP-ML (Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning) vor, ein Framework, das darauf ausgelegt ist, visuelle Repräsentationen mit zwei spezifischen Arten von kontextuellem Textwissen zu fusionieren: Normalitäts-geleiteten Protokollen (normality-guided logs) und räumlich-zeitlich vorwissen-bewussten Protokollen (spatiotemporal prior-aware logs).

1. Konstruktion des kontextuellen Textes

Anstatt statische Klassenz labels zu verwenden, konstruiert das Framework für jeden Videoclip $i$ und jede Kandidatenklasse $c$ eine kontextbedingte Verhaltenshypothese ($H_{i,c}$). Diese Hypothese wird durch die Konkatenation gebildet aus:

• Verhaltensprototyp ($B_c$): Eine kurze semantische Beschreibung des Verhaltens.
• Normalitätsprotokoll ($N_i$): Ein Text, der das erwartete Verhalten unter den spezifischen Campus-Bedingungen beschreibt.
• Räumlich-zeitliches Vorwissensprotokoll ($P_i$): Ein Text, der Risikostufen, Aktivitätsmuster und die Sensibilität im Zusammenhang mit dem spezifischen Ort und der Zeit zusammenfasst.

2. Räumlich-zeitliche Prior-Einbettung

Über die textuellen Protokolle hinaus kodiert das Modell strukturierte Signale direkt in den Textzweig:

• Temporale Einbettung: Zeitstempel werden mittels Sinus-/Kosinusfunktionen in periodische Embeddings umgewollt.
• Geografische Einbettung: Standorte werden basierend auf Koordinaten, Zonendichte und Management-Sensibilität kodiert.
• Diese strukturierten Embeddings werden in den Text-Feature-Raum projiziert, um mit den textuellen Prior-Beschreibungen zu korrespondieren.

3. Prior-bewusste Multi-Head-Attention

Das Framework führt einen Prior-Aware Multi-Head Attention-Mechanismus ein. Im Gegensatz zur Standard-Attention injiziert dieses Modul den projizierten Kontextvektor ($\bar{C}_i$) in die Query-Vektoren. Dies ermöglicht dem Modell eine Token-Ebene-Argumentation, die durch räumlich-zeitliche Priors geleitet wird, wodurch die Interaktion zwischen dem visuellen Beleg und den kontextuellen Hypothesen verstärkt wird.

4. Gated Contextual Fusion

Ein leichtgewichtiges Gating-Verfahren balanciert adaptiv die Beiträge des Verhaltensprototyps, des Normalitätsprotokolls und des Vorwissensprotokolls aus. Dies erlaubt es dem Modell, dynamisch zu bestimmen, wie viel Gewicht der Normalitätserwartung gegenüber den Prior-Beschränkungen für jede spezifische Klassifizierungsentscheidung beigemessen werden soll.

5. Optimierungsziele

Das Framework wird unter Verwendung einer zusammengesetzten Verlustfunktion ($L$) trainiert, die aus drei Komponenten besteht:

• Kontextuelle Klassifizierungsverlust ($L_{cls}$): Standardmäßiger Cross-Entropy-Verlust für den Abgleich visueller Repräsentationen mit kontextbedingten Hypothesen.
• Symmetrischer Kontrastiver Verlust ($L_{con}$): Ein Vision-Language-Alignment-Ziel, um sicherzustellen, dass visuelle Merkmale mit ihren entsprechenden kontextuellen Text-Hypothesen übereinstimmen.
• Kontrafaktischer Kontext-Verlust ($L_{cf}$): Ein neuartiger Verlust, der gemischte Hypothesen einführt (z. B. das Vertauschen des Normalitätsprotokolls einer Szene mit dem einer anderen), um das Modell explizit darin zu lehren, die korrekte Szenenlogik von falscher Logik zu unterscheiden, wodurch die kontextuelle Diskriminierung gestärkt wird.

Kernbeiträge

1. Neuartiges multimodales Framework: Die Studie führt NSP-ML ein, das visuelle Daten mit Normalitäts-geleiteten Protokollen und räumlich-zeitlich vorwissen-bewussten Protokollen fusioniert. Diese integrierte Repräsentation ermöglicht eine kontextsensitivere Interpretation subtiler abnormaler Verhaltensweisen durch die Nutzung der Synergie zwischen visuellem Beleg und situativen Erwartungen.
2. Explizite Modellierung kontextueller Priors: Im Gegensatz zu bisherigen Ansätzen, die Text als statische Labels behandeln, modelliert diese Arbeit abnormale Verhaltensweisen in Relation zu ihrer Abweichung von kontextuell erwarteten Mustern. Die Einführung strukturierter räumlich-zeitlicher Embeddings und Prior-bewusster Attention-Mechanismen stärkt die Cross-Modal-Interaktion.
3. Robuste Leistung und Generalisierbarkeit: Das Framework demonstriert seine Effektivität über mehrere Datensätze hinweg. Es erreicht State-of-the-Art-Ergebnisse auf dem campus-spezifischen CABRH8-Datensatz und behält eine starke Leistung auf allgemeinen Action-Recognition-Benchmarks (UCF-101 und HMDB-51) bei, was seine Robustheit über spezifische Campus-Szenarien hinaus bestätigt.

Experimentelle Ergebnisse

Die Experimente wurden primär auf dem CABRH8-Datensatz (5.950 Clips, 8 Kategorien von Campus-Abnormalitäten) durchgeführt, mit zusätzlicher Validierung auf UCF-101 und HMDB-51.

• Leistung auf CABRH8: Die vorgeschlagene NSP-ML-L-Variante (unter Verwendung eines ViT-L/14 Backbones) erreichte eine Top-1 Genauigkeit von 81,52 % und eine Top-5 Genauigkeit von 99,45 %. Dies übertrifft bestehende rein visuelle Methoden (z. B. TimeSformer, Swin-B) sowie statisch textgestützte Ansätze (z. B. CECL-L, das 80,26 % Top-1 erreichte).
• Effizienz: Trotz höherer Genauigkeit weist NSP-ML-L ein günstiges Effizienzprofil auf, benötigt 295 GFLOPs und läuft mit 32 FPS, was signifikant effizienter ist als hochkostspielige Wettbewerber wie HCMT (992 GFLOPs).
• Generalisierung: Auf UCF-101 erreichte NSP-ML-L 98,68 % Genauigkeit und auf HMDB-51 73,32 %, womit es mehrere State-of-the-Art-Baselines übertrifft und eine starke Übertragbarkeit auf allgemeine Aufgaben der Aktionserkennung zeigt.
• Ablationsstudien: Die Experimente bestätigten, dass:
  • Die Kombination von Normalitätsprotokollen und räumlich-zeitlichen Priors bessere Ergebnisse liefert als die Verwendung von nur einem der beiden oder nur der Verhaltensprototypen allein.
  • Strukturierte räumlich-zeitliche Embeddings (Zeit und Ort) ergänzende Gewinne gegenüber rein textuellen Priors bieten.
  • Der kontrafaktische Kontext-Verlust ($L_{cf}$) entscheidend für die Verbesserung der Fähigkeit des Modells ist, korrekte Szenenlogik von falscher Logik zu unterscheiden.

Bedeutung

Die Arbeit behauptet, dass die Einbeziehung von Normalitätsführung und räumlich-zeitlichen Priors einen effektiven Weg zur Verbesserung der kontextsensitiven Erkennung von abnormalem Verhalten in intelligenten Campus-Umgebungen darstellt. Durch den Wechsel von rein visuellem Matching hin zum Schlussfolgern über kontextbedingte Verhaltenshypothesen adressiert das NSP-ML-Framework die inhärente Ambiguität in dynamischen, belebten und kontextabhängigen Szenen. Die Ergebnisse legen nahe, dass dieser Ansatz es Modellen ermöglicht, besser zwischen visuell ähnlichen Aktionen zu unterscheiden, die sich in ihrer Abnormalität aufgrund situativer Einschränkungen unterscheiden, und bietet somit eine robustere Lösung für intelligente Überwachungssysteme.