Technische Samenvatting: VTO – Visual Tool Orchestration voor Video Anomaly Detection

1. Probleemdefinitie

Video Anomaly Detection (VAD) is een cruciale taak voor toepassingen variërend van publieke veiligheid tot stedelijke surveillance. Echter, echte anomalieën zijn zelden geïsoleerd; ze zijn complex, divers en afhankelijk van specifieke fysieke contexten (bijv. een lokale vechtpartij die escaleert in een aanval met een wapen). Traditionele deep learning-benaderingen behandelen VAD als een closed-set classificatie- of scoringtaak, wat leidt tot een gebrekkige generalisatie in open-world scenario's.

Recente pogingen om Large Language Models (LLMs) en Vision-Language Models (VLMs) te gebruiken voor verklaarbare VAD hebben multimodale agenten geïntroduceerd. Deze systemen kampen echter met twee primaire beperkingen:

1. Statische Orchestratie: Systemen die vertrouwen op Supervised Fine-Tuning (SFT) of heuristische behavior cloning behandelen tools als geïsoleerde capsules. Ze worstelen met het dynamisch orchestreren van onderscheidende visuele expertmodellen om complexe causale afhankelijkheden te ontcijferen.
2. Voortijdige Beëindiging: Standaard Reinforcement Learning (RL)-benaderingen, die vertrouwen op grofmazige, resultaatgerichte beloningen, zorgen er vaak voor dat agenten de uitvoering onmiddellijk staken nadat een primaire anomalie is gedetecteerd. Zonder fijnmazig toezicht falen agenten in het voltooien van de noodzakelijke meerstaps causale ketens die vereist zijn voor het identificeren van cascade-effecten van secundaire gevaren.

2. Methodologie: Het VTO-framework

De auteurs stellen VTO (Visual Tool Orchestration) voor, een process-supervised reinforcement learning framework dat is ontworpen om VAD te transformeren naar een complex, meerstaps cognitief tool-orchestratieprobleem.

2.1 VAD-Tool Benchmark

Om het framework te ondersteunen, hebben de auteurs VAD-Tool geconstrueerd, een hiërarchische visuele toolset en benchmark bestaande uit:

• 12 Gespecialiseerde Visuele Tools: Georganiseerd in drie functionele categorieën:
  • Entiteitsidentiteit & Tracking: Person Re-ID, Gait Recognition, License Plate Recognition, Car Re-ID.
  • Gedrags- & Scènebegrip: Pose Estimation, Human Fall Detection, Crowd Counting, Scene Recognition.
  • Beveiligingsgebeurtenissen & Gevaardetectie: Violence Detection, Weapon Detection, Fire/Smoke Detection, en een algemene Anomaly Detection expert.
• Dataset: Een grootschalige trainingsdataset (~15,48M tokens) en een rigoureuze testset (1.841 samples) met onderling verbonden anomalie-queries (bijv. Pose-gebaseerde Violence Detection) die meerstaps redenering vereisen. De data werd gecureerd via een human-in-the-loop pipeline met sterke VLMs (Qwen2.5-VL) voor initiële trajectgeneratie en expertreview voor logische correctheid.

2.2 Trainingspipeline

Het VTO-framework werkt in twee afzonderlijke stadia:

Fase 1: Supervised Fine-Tuning (SFT)
Het basismodel wordt gefinetuned op de VAD-Tool dataset om fundamentele capaciteiten vast te stellen:

• Syntactische Tool-invocatie: Het naleven van geldige ReAct-formattering (Thought, Action, Action Input, Observation).
• Anomalie-event Modellering: Het aanpassen van interne representaties voor scenario's met een hoog risico op veiligheid.
• Observatie-integratie: Leren om specifieke outputs van visuele experts te contextualiseren (bijv. tracking ID's, ruimtelijke coördinaten).

Fase 2: Process-Supervised Cognitive Alignment
Om de beperkingen van statische behavior cloning en outcome-based RL te overwinnen, introduceren de auteurs een dynamische leermlus die geoptimaliseerd is via Group Relative Policy Optimization (GRPO). Deze fase maakt gebruik van een duaal beloningssysteem om dense, stapgewijze supervisie te bieden:

1. Regelgebaseerde Objectieve Beloningen ($R_{rule}$):
   • Taakvoltooiing ($R_{comp}$): Positieve scores voor succesvolle voltooiing, negatieve straffen voor fouten.
   • Tool/Parameter Matching ($R_{tool}, R_{param}$): Handhaving van exacte overeenkomsten voor toolnamen en parameters.
   • Efficiëntiestraf ($R_{eff}$): Ontmoedigt redundante tool-invocaties.
2. LLM-as-a-Judge Beloningen ($R_{LLM}$):
   • Het gebruik van een 72B-parameter model (Qwen2.5-VL) als expert-evaluator om trajecten te scoren op:
     • Logica ($R_{logic}$): Stap-voor-stap causale redenering.
     • Relevantie ($R_{rel}$): Afstemming van acties op de gebruikersquery.
     • Volledigheid ($R_{complete}$): Zorgen dat alle noodzakelijke logische stappen worden doorlopen, waarbij voortijdige beëindiging expliciet wordt bestraft.

De agent optimaliseert zijn beleid door het groep-relatieve voordeel te maximaleren, waardoor het effectief leert om doelgerichte causale ketens te construeren zonder voortijdige beëindiging.

3. Belangrijkste Bijdragen

1. VTO Framework: Een dynamisch multimodal agent framework aangedreven door process-supervised reinforcement learning. Het adresseert expliciet het probleem van voortijdige beëindiging in VAD door de verschuiving van outcome-based beloningen naar fijnmazige, stapgewijze cognitieve alignment.
2. VAD-Tool Benchmark: Een uitgebreid evaluatieplatform dat 12 gespecialiseerde visuele modellen integreert. Het is specifiek ontworpen om single-step en multi-step onderling verbonden anomalie-redenering te testen, waarmee een gat wordt gevuld in bestaande datasets die primair focussen op outcome-gedreven metrieken.
3. Prestatie-doorbraak: Het framework demonstreert dat dynamische beleidsoptimalisatie de prestaties van statische SFT-baselines aanzienlijk kan verbeteren en zelfs de prestaties van massieve 72B-parameter modellen kan overtreffen bij complexe tool-orchestratie-taken.

4. Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op de VAD-Tool benchmark met diverse basismodellen (Vicuna-7B, Llama-3-8B, Qwen3-VL-8B) en een sterke 72B baseline (Qwen2.5-VL-72B).

• Beperkingen van Baselines: Zero-shot en few-shot baselines, evenals SFT-only modellen, vertoonden een catastrofale degradatie op "Interrelated Tools" taken. Zo daalde de nauwkeurigheid van Vicuna-7B naar 0% op interrelated whole-response taken, en Qwen2.5-VL-72B plateauerde op ~67,40%.
• VTO Prestaties: VTO presteerde significant beter dan alle baselines.
  • Op de Qwen3-VL-8B backbone bereikte VTO 95,14% nauwkeurigheid op de "Whole" metriek voor interrelated tools, vergeleken met 89,74% voor de SFT baseline.
  • Op de Llama-3-8B backbone verbeterde VTO de interrelated prestaties van 65,93% (SFT baseline) naar 72,16%.
  • VTO behaalde perfecte scores (100%) in de Decision (Decis) en Tool selectie (Tool) metrieken voor de Qwen3-VL-8B variant.
• Ablatie-studies: Het verwijderen van de process-supervised componenten (specifiek de taakvoltooiingsbeloning of de LLM judge beloning) leidde tot significante prestatiedalingen, wat de noodzaak bevestigt van zowel deterministische regelgebaseerde ankers als kwalitatieve logische supervisie om voortijdige beëindiging en hallucinatie te voorkomen.

5. Betekenis en Claims

Het artikel beweert dat VTO Video Anomaly Detection herdefinieert als een complex, meerstaps cognitief tool-orchestratieprobleem in plaats van een statische classificatietaak. Door Process-Supervised Cognitive Alignment te introduceren, demonstreren de auteurs dat agenten getraind kunnen worden om dynamisch omgevingen te verkennen, observeerbare meerstaps causale ketens te construeren en strikt aan veiligheidsrestricties te voldoen zonder voortijdig te stoppen.

Dit werk overbrugt de kloof tussen statische imitatie-learning en dynamische reinforcement learning in fysieke beveiligingsdomeinen. Het biedt een rigoureuze infrastructuur (VAD-Tool) en een schaalbaar framework (VTO) dat agenten in staat stelt om onvoorspelbare, cascade-gevaarlijke situaties aan te pakken, waarmee de beperkingen van huidige training-afhankelijke en training-vrije paradigma's worden overstegen. De auteurs benadrukken dat hun aanpak kleinere modellen (8B parameters) in staat stelt om prestatieniveaus te bereiken die die van veel grotere modellen (72B parameters) evenaren of zelfs overtreffen in specifieke, complexe redeneertaken.