💻 computer science

VTO: Visual Tool Orchestration for Video Anomaly Detection

Das Papier schlägt VTO vor, ein prozessüberwachtes Reinforcement-Learning-Framework, das einen durch ein Foundation Model gesteuerten kognitiven Evaluator sowie eine feingliedrige schrittweise Überwachung nutzt, um multimodale Agenten zu befähigen, spezialisierte visuelle Werkzeuge dynamisch für eine verbesserte Videoanomalieerkennung zu orchestrieren, was durch einen neuen Benchmark und ein Toolset namens VAD-Tool validiert wird.

Ursprüngliche Autoren: Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

Veröffentlicht 2026-08-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel in einer geschäftigen, chaotischen Stadt zu lösen. Sie haben ein Notizbuch und einen Stift, aber die Stadt ist voller fahrender Autos, herabfallender Gegenstände und kämpfender Menschen. Um den Fall zu lösen, können Sie nicht einfach die gesamte Szene betrachten und raten; Sie müssen spezifische Werkzeuge verwenden. Vielleicht benötigen Sie eine Lupe, um eine bestimmte Person zu verfolgen, einen Tachometer, um zu prüfen, ob ein Auto zu schnell fährt, oder einen Feuermelder, um Rauch zu entdecken. In der Welt der Computer wird dies als Video Anomaly Detection (Video-Anomalieerkennung) bezeichnet. Es ist die Aufgabe, Maschinen beizubringen, seltsame oder gefährliche Dinge in Videomaterial zu entdecken, wie zum einer Kampf ausbricht oder jemand hinfällt.

Lange Zeit versuchten Computer dies, indem sie Muster auswendig lernten, wie ein Schüler, der für eine Prüfung büffelt. Sie sahen sich ein Video an und sagten: „Das sieht nach einem Kampf aus!“ Aber wenn der Kampf an einem neuen Ort stattfand oder etwas anders aussah, wurde der Computer verwirrt und scheiterte. Vor kurzem versuchten Wissenschaftler, Computern ein „Gehirn“ (ein Large Language Model) zu geben, das sprechen und denken kann. Sie hofften, der Computer könne herausfinden, welches Werkzeug er wann benutzen muss. Aber hier liegt das Problem: Diese intelligenten Computer hören oft auf zu denken und geben ihre Antwort sofort nach dem Erkennen eines einzigen kleinen Problems. Sie übersehen das große Ganze, wie zum Beispiel, wie aus einem kleinen Kampf eine Massenpanik werden könnte. Sie brauchen einen Weg zu lernen, wie man Schritt für Schritt weiter ermittelt, ohne zu früh aufzuge zu geben.

Hier kommt das neue Paper ins Spiel. Die Forscher, unter der Leitung von Rui Wang und Mengshi Qi von der Beijing University of Posts and Telecommunications, haben ein neues System namens VTO (Visual Tool Orchestration) entwickelt. Betrachten Sie VTO als einen strengen, aber brillanten Coach für einen Detektiv-Roboter. Anstatt den Roboter einfach nur raten zu lassen, beobachtet der Coach jeden einzelnen Schritt, den der Roboter macht. Wenn der Roboter das falsche Werkzeug wählt oder die Untersuchung beendet, bevor er sich sicher ist, gibt der Coach ihm genau in diesem Moment ein „Daumen runter“. Wenn der Roboter einer perfekten logischen Kette folgt und einen Hinweis nach dem anderen prüft, gibt der Coach ihm ein „Daumenn nach oben“.

Das Team hat einen speziellen Trainingsplatz namens VAD-Tool geschaffen, der wie ein riesiger Spielplatz mit 12 verschiedenen „magischen Werkzeugen“ für den Roboter ist, um zu lernen. Diese Werkzeuge können Dinge tun wie Menschenmengen zu zählen, Gesichter zu erkennen, Waffen zu entdecken oder Feuer zu detektieren. Die Forscher haben ihren Roboter mit einer Methode namens „process-supervised reinforcement learning“ trainiert. Vereinfacht gesagt bedeutet dies, dass sie den Roboter nicht nur nach der Endantwort bewertet haben, sondern nach dem Prozess. Sie stellten sicher, dass der Roboter lernte, dass ein zu frühes Aufhören ein Fehler ist. Sie setzten sogar eine superintelligente KI (ein Modell mit 72 Milliarden Parametern) ein, die als Richter fungierte und prüfte, ob die Argumentation des Roboters bei jedem Schritt sinnvoll war.

Die Ergebnisse waren beeindruckend. Als sie ihr neues VTO-System testeten, wurde es viel besser darin, diese komplexen, mehrstufigen Rätsel zu lösen, als die alten Methoden. Während andere Systeme oft aufgaben, nachdem sie einen einzigen Hinweis gefunden hatten, machte VTO weiter und verknüpfte die Punkte, bis es die ganze Geschichte fand. In ihren Tests verbesserte das neue System die Genauigkeit bei der Auswahl der richtigen Werkzeuge und der richtigen Reihenfolge um bis zu 10,2 % im Vergleich zu den bisher besten Methoden. Es schlug sogar einige der größten, leistungsstärksten KI-Modelle da draußen und bewies, dass es wichtiger ist, einem Computer beizubringen, wie er Schritt für Schritt denkt, als ihn einfach nur größer zu machen. Das Paper legt nahe, dass wir, indem wir die KI zwingen, einem strengen, logischen Pfad zu folgen und sie dafür belohnen, nicht zu früh aufzugeben, sicherere und intelligentere Systeme bauen können, die unsere Städte überwachen.

Technisches Resümee: VTO – Visual Tool Orchestration für die Erkennung von Videoanomalien

1. Problemdefinition

Die Erkennung von Videoanomalien (Video Anomaly Detection, VAD) ist eine kritische Aufgabe für Anwendungen, die von der öffentlichen Sicherheit bis hin zur städtischen Überwachung reichen. Reale Anomalien sind jedoch selten isolierte Ereignisse; sie sind komplex, vielfältig und hängen von spezifischen physischen Kontexten ab (z. B. ein lokaler Streit, der in einen bewaffneten Angriff eskaliert). Traditionelle Deep-Learning-Ansätze behandeln VAD als eine Closed-Set-Klassifizierungs- oder Scoring-Aufgabe, was in Open-World-Szenarien zu einer schlechten Generalisierung führt.

Neuere Versuche, Large Language Models (LLMs) und Vision-Language Models (VLMs) für eine erklärbare VAD zu nutzen, haben multimodale Agenten eingeführt. Diese Systeme stehen jedoch vor zwei primären Einschränkungen:

Statische Orchestrierung: Systeme, die auf Supervised Fine-Tuning (SFT) oder heuristischem Behavior Cloning basieren, behandeln Werkzeuge als isolierte Kapseln. Sie haben Schwierigkeiten, distinkte visuelle Expertenmodelle dynamisch zu orchestrieren, um komplexe kausale Abhängigkeiten zu entschlüsseln.
Vorzeitiger Abbruch (Premature Termination): Standardmäßige Reinforcement Learning (RL)-Ansätze, die auf grobkörnigen, ergebnisbasierten Belohnungen beruhen, führen oft dazu, dass Agenten die Ausführung unmittelbar nach der Erkennung einer primären Anomalie stoppen. Ohne feinkörnige Supervision versagen die Agenten dabei, die notwendigen mehrstufigen kausalen Ketten zu vervollständigen, die zur Identifizierung kaskadierender sekundärer Gefahren erforderlich sind.

2. Methodik: Das VTO-Framework

Die Autoren schlagen VTO (Visual Tool Orchestration) vor, ein Framework für prozessüberwachtes Reinforcement Learning, das darauf ausgelegt ist, VAD in ein komplexes, mehrstufiges kognitives Werkzeug-Orchestrierungsproblem zu transformieren.

2.1 VAD-Tool Benchmark

Um das Framework zu unterstützen, haben die Autoren den VAD-Tool Benchmark konstruiert, ein hierarchisches visuelles Werkzeugset bestehend aus:

12 spezialisierten Vision-Tools: Organisiert in drei funktionale Kategorien:
- Identität & Tracking von Entitäten: Person Re-ID, Gangerkennung (Gait Recognition), Kennzeichenerkennung, Auto Re-ID.
- Verhaltens- & Szenenverständnis: Pose Estimation, Sturzerkennung beim Menschen, Crowd Counting, Szenenerkennung.
- Sicherheitsereignisse & Gefahrenerkennung: Gewalterkennung, Waffenerkennung, Feuer-/Raucherkennung sowie ein allgemeiner Experte für Anomalieerkennung.
Datensatz: Ein groß angelegter Trainingsdatensatz (~15,48 Mio. Token) und ein strenger Testdatensatz (1.841 Stichproben) mit zusammenhängenden Anomalie-Abfragen (z. B. Pose-basierte Gewalterkennung), die mehrstufiges Denken erfordern. Die Daten wurden über eine Human-in-the-Loop-Pipeline kuratiert, die starke VLMs (Qwen2.5-VL) für die initiale Trajektoriengenerierung und Expertenprüfung auf logische Korrektheit nutzt.

2.2 Trainingspipeline

Das VTO-Framework operiert in zwei distinkten Phasen:

Phase 1: Supervised Fine-Tuning (SFT)
Das Basismodell wird auf dem VAD-Tool-Datensatz feinjustiert, um fundamentale Fähigkeiten zu etablieren:

Syntaktische Werkzeugaufrufe: Einhaltung des validen ReAct-Formats (Thought, Action, Action Input, Observation).
Modellierung von Anomalieereignissen: Anpassung interner Repräsentationen für sicherheitsrelevante Ereignisse mit hoher Priorität.
Integration von Beobachtungen: Erlernen der Kontextualisierung spezifischer Outputs von visuellen Experten (z. B. Tracking-IDs, räumliche Koordinaten).

Phase 2: Prozessüberwachte kognitive Ausrichtung (Process-Supervised Cognitive Alignment)
Um die Einschränkungen von statischem Behavior Cloning und ergebnisbasiertem RL zu überwinden, führen die Autoren eine dynamische Lernschleife ein, die mittels Group Relative Policy Optimization (GRPO) optimiert wird. Diese Phase nutzt ein duales Belohnungssystem, um eine dichte, schrittweise Supervision zu gewährleisten:

Regelbasiertes Objektiv-Belohnungssystem ( $R_{rule}$ ):
- Aufgabenvollständigkeit ( $R_{comp}$ ): Positive Scores bei erfolgreichem Abschluss, negative Strafen bei Fehlern.
- Werkzeug-/Parameter-Matching ( $R_{tool}, R_{param}$ ): Erzwingung exakter Übereinstimmung von Werkzeugnamen und Parametern.
- Effizienzstrafe ( $R_{eff}$ ): Unterdrückung redundanter Werkzeugaufrufe.
LLM-als-Richter-Belohnung ( $R_{LLM}$ ):
- Nutzung eines 72B-Parameter-Modells (Qwen2.5-VL) als Experten-Evaluator, um Trajektorien in folgenden Punkten zu bewerten:
  - Logik ( $R_{logic}$ ): Schrittweise kausale Argumentation.
  - Relevanz ( $R_{rel}$ ): Übereinstimmung der Aktionen mit der Benutzerabfrage.
  - Vollständigkeit ( $R_{complete}$ ): Sicherstellung, dass alle notwendigen logischen Schritte abgedeckt sind, wobei vorzeitiger Abbruch explizit bestraft wird.

Der Agent optimiert seine Policy durch Maximierung des gruppenrelativen Vorteils und lernt so effektiv, zielgerichtete kausale Ketten aufzubauen, ohne vorzeitig abzubrechen.

3. Kernbeiträge

VTO-Framework: Ein dynamisches multimodales Agenten-Framework, das durch prozessüberwachtes Reinforcement Learning angetrieben wird. Es adressiert explizit das Problem des vorzeitigen Abbruchs in der VAD, indem es von ergebnisbasierten Belohnungen zu einer feinkörnigen, schrittweisen kognitiven Ausrichtung wechselt.
VAD-Tool Benchmark: Eine umfassende Evaluierungsplattform, die 12 spezialisierte Visionsmodelle integriert. Sie ist spezifisch darauf ausgelegt, einstufige und mehrstufige, zusammenhängende Anomalie-Argumentationen zu testen, und füllt damit eine Lücke in bestehenden Datensätzen, die primär auf ergebnisorientierte Metriken fokussieren.
Leistungsdurchbruch: Das Framework demonstriert, dass dynamische Policy-Optimierung die statischen SFT-Baselines signifikant übertrifft und sogar die Leistung massiver 72B-Parameter-Modelle bei komplexen Werkzeug-Orchestrierungsaufgaben übertreffen kann.

4. Experimentelle Ergebnisse

Umfangreiche Experimente wurden auf dem VAD-Tool Benchmark unter Verwendung verschiedener Basismodelle (Vicuna-7B, Llama-3-8B, Qwen3-VL-8B) und einer starken 72B-Baseline (Qwen2.5-VL-72B) durchgeführt.

Limitierungen der Baselines: Zero-Shot- und Few-Shot-Baselines sowie reine SFT-Modelle zeigten einen katastrophalen Leistungsabfall bei "Interrelated Tools"-Aufgaben. Beispielsweise fiel die Genauigkeit von Vicuna-7B bei Aufgaben mit zusammenhängenden Werkzeugen auf 0 %, während Qwen2.5-VL-72B bei etwa 67,40 % stagnierte.
VTO-Performance: VTO übertraf alle Baselines signifikant.
- Auf der Qwen3-VL-8B Backbone erreichte VTO eine Genauigkeit von 95,14 % beim "Whole"-Metrik-Wert für zusammenhängende Werkzeuge, verglichen mit 89,74 % für die SFT-Baseline.
- Auf der Llama-3-8B Backbone verbesserte VTO die Leistung bei zusammenhängenden Aufgaben von 65,93 % (SFT-Baseline) auf 72,16 %.
- VTO erreichte perfekte Werte (100 %) in den Metriken Decision (Decis) und Tool Selection (Tool) für die Qwen3-VL-8B Variante.
Ablationsstudien: Das Entfernen der prozessüberwachten Komponenten (insbesondere der Task-Completion-Reward oder des LLM-Judge-Rewards) führte zu signifikanten Leistungseinbußen. Dies bestätigt die Notwendigkeit sowohl deterministischer regelbasierter Anker als auch qualitativer logischer Supervision, um vorzeitigen Abbruch und Halluzinationen zu verhindern.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass VTO die Videonomalieerkennung als ein komplexes, mehrstufiges kognitives Werkzeug-Orchestrierungsproblem neu definiert, statt als eine statische Klassifizierungsaufgabe. Durch die Einführung von Process-Supervised Cognitive Alignment zeigen die Autoren, dass Agenten trainiert werden können, Umgebungen dynamisch zu explorieren, beobachtbare mehrstufige kausale Ketten zu konstruieren und Sicherheitsbeschränkungen strikt einzuhalten, ohne vorzeitig abzubrechen.

Die Arbeit schließt die Lücke zwischen statischem Imitationslernen und dynamischem Reinforcement Learning in physischen Sicherheitsdomänen. Sie stellt eine rigorose Infrastruktur (VAD-Tool) und ein skalierbares Framework (VTO) bereit, das es Agenten ermöglicht, unvorhersehbare, kaskadierende Gefahren zu handhaben und somit über die Grenzen aktueller trainingsabhängiger und trainingsfreier Paradigmen hinauszugehen. Die Autoren betonen, dass ihr Ansatz es kleineren Modellen (8B Parameter) ermöglicht, Leistungsniveaus zu erreichen, die denen viel größerer Modelle (72B Parameter) in spezifischen, komplexen Argumentationsaufgaben ebenbürtig oder gar überlegen sind.