🤖 AI

Confidence-Aware Tool Orchestration for Robust Video Understanding

Het artikel introduceert Robust-TO, een agentisch video-begrijpend framework dat het "Blind Trust Problem" mitigeert door per frame betrouwbaarheidsscores te integreren in een verenigd tool-orchestratiesysteem, waardoor de nauwkeurigheid en robuustheid tegen visuele corrupties aanzienlijk wordt verbeterd ten opzichte van state-of-the-art modellen.

Oorspronkelijke auteurs: Yangfan He, Yujin Choi, Jaehong Yoon

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yangfan He, Yujin Choi, Jaehong Yoon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechercheur bent die een misdaad probeert op te lossen op basis van een beveiligingscamera-video. Maar hier is de crux: de video is rommelig. Sommige delen zijn wazig omdat de camera schokte, sommige zijn overbelicht door fel zonlicht, en andere worden geblokkeerd door een vrachtwagen die voor de lens langsrijdt.

Het Probleem: "Blind Vertrouwen"
De meeste huidige AI-detectives lijden aan wat de auteurs het "Blind Trust Problem" noemen. Ze bekijken elke individuele frame van de video en gaan ervan uit: "Dit beeld is perfect, en ik kan het volledig vertrouwen." Ze beseffen niet dat een wazig frame eigenlijk een slecht bewijsstuk is. Omdat ze de slechte aanwijzingen net zozeer vertrouwen als de goede, komen ze vaak tot het verkeerde antwoord, terwijl ze nog steeds 100% zelfverzekerd zijn over hun fout. Het is alsof een rechercheur probeert een kenteken te lezen door een vuile voorruit en dan vol hardnekkigheid beweert: "Ik zie het heel duidelijk!"

De Oplossing: Robust-TO
Het paper introduceert Robust-TO, een nieuwe manier voor AI om video's te bekijken. In plaats van blindelings elke frame te vertrouwen, werkt Robust-TO als een slimme, sceptische editor die weet hoe hij met een rommelige video moet omgaan. Het werkt in drie stappen:

1. De "Kwaliteitsinspecteur" (Frame Selectie)

Voordat het de mysteries probeert op te lossen, scant Robust-TO de video en beoordeelt elke enkele frame.

De Analogie: Stel je een filmmonteur voor die naar een filmrol kijkt. Hij markeert de frames die wazig, te donker of geblokkeerd zijn door een object als "Afval". Hij houdt alleen de "Gouden" frames over—de frames die helder zijn en daadwerkelijk laten zien waar de vraag over gaat.
Het Resultaat: Als de vraag is: "Welke auto reed voor het rode licht?", negeert de AI de frames waarin een vrachtwagen het zicht blokkeert of waarin de ruitenwissers de scène wazig maken. Het gebruikt alleen de heldere momenten.

2. Het "Specialistische Team" (Confidence-Guided Tool Routing)

Zodra de AI de goede frames heeft, raadt hij niet zomaar wat. Hij breekt de grote vraag op in kleine, specifieke taken en stuurt ze naar verschillende "tools" (gespecialiseerde AI-programma's).

De Analogie: Denk aan een medisch team. Als een patiënt een gebroken been heeft, stuur je hem naar een orthopedist, niet naar een oogarts.
Hoe het werkt: Als de video wazig is, weet Robust-TO dat een "detectie-tool" (die zoekt naar scherpe randen) misschien zal falen. Daarom stuurt het de taak naar een "beschrijvende tool" (die beter is in het inschatten van wat er gebeurt in een waas).
De Betrouwbaarheidsscore: Elke tool geeft een antwoord en een betrouwbaarheidsscore. Maar hier is de truc: de score wordt aangepast op basis van hoe vuil de video was. Als een tool een antwoord geeft op basis van een wazig frame, wordt de betrouwbaarheidsscore automatisch verlaagd, als een waarschuwing: "Neem dit met een korrel zout."

3. De "Hoofdrechercheur" (Tiered Evidence Synthesis)

Ten slotte verzamelt de hoofd-AI alle antwoorden van de tools. Hij sorteert ze in drie stapels:

Hoge categorie: Helder bewijs uit heldere frames. Dit is de "waarheid".
Middelbare categorie: Oké bewijs. Dit wordt alleen gebruikt als het overeenkomt met de Hoge categorie.
Lage categorie: Afval bewijs uit slechte frames. Dit wordt weggegooid, tenzij er absoluut niets anders is om op te vertrouwen.
De Uitkomst: De AI bouwt zijn definitieve antwoord op basis van alleen de "Hoge categorie" feiten. Als het bewijs wankel is, geeft de AI toe dat er onzekerheid is, in plaats van wild te gokken.

Waarom het ertoe doet (De Resultaten)
De auteurs testten dit systeem op echte video's die opzettelijk rommelig waren gemaakt met onscherpte, schittering en obstructie (zoals een auto die in de regen rijdt).

De Oude Manier: Wanneer de video rommelig werd, stortten standaard AI-modellen in. Hun nauwkeurigheid daalde met 15–30%, maar ze wisten niet dat ze faalden.
De Robust-TO Manier: Zelfs met de rommelige video's behield Robust-TO een hoge nauwkeurigheid. Het presteerde zelfs beter dan sommige van de duurste, beroemde AI-modellen (zoals Gemini-2.5-Pro) tijdens deze uitdagende tests.
Efficiëntie: Omdat het de slechte frames negeert, hoeft het niet zoveel data te verwerken. Het lost de problemen sneller op en gebruikt minder rekenkracht, terwijl het vaker het juiste antwoord geeft.

In een Notendop
Robust-TO leert AI om te stoppen met een "blinde optimist" te zijn en een "kritische denker" te worden. Het leert te zeggen: "Ik kan dit deel van de video niet vertrouwen, dus ik negeer het en focus op de heldere delen," wat ervoor zorgt dat wanneer het een antwoord geeft, dit ook daadwerkelijk gebaseerd is op solide bewijs.

Technische Samenvatting: Robust-TO voor Vertrouwensbewuste Tool-Orchestratie

1. Probleemdefinitie: Het Blind Vertrouwen Probleem

Het paper identificeert een kritiek gebrek in hedendaagse Video Large Language Models (Video-LLMs): het Blind Vertrouwen Probleem. Huidige modellen gaan er impliciet van uit dat elke ingevoerde frame even betrouwbaar en informatief is. In realistische scenario's met verstoringen zoals bewegingsonscherpte, schittering, ruis door weinig licht of obstructie, leidt deze aanname tot significante prestatievermindering. Toonaangevende modellen kunnen onder dergelijke omstandigheden een nauwkeurigheidsverlies van 15–30 procentpunten lijden op embodied benchmarks, terwijl hun zelfgerapporteerde vertrouwen grotendeels ongewijzigd blijft. Dit "stille falen" is bijzonder gevaarlijk in veiligheidskritische domeinen zoals forensische analyse, surveillance en autonoom rijden, waar het model met een hoge mate van vertrouwen doorgaat ondanks gedegradeerd visueel bewijs.

Bestaande benaderingen vertrouwen doorgaans op uniforme of op query-gelijkenis gebaseerde frame-sampling zonder de intrinsieke kwaliteit van het visuele signaal te evalueren. Gevolgelijk worden gecorrumpeerde frames behandeld als valide bewijs, wat de uiteindelijke voorspelling vertekent.

2. Methodologie: Robust-TO Framework

Om dit aan te pakken, stellen de auteurs Robust-TO voor, een agentic video-begripsframework dat expliciet per-frame betrouwbaarheid integreert in elke fase van de redenering. Het systeem werkt via een driestaps-pipeline geleid door een host Video Language Model (VLM) dat getraind is met Group Relative Policy Optimization (GRPO).

A. Frame Selectie via Kwaliteitsprofilering

Voordat de redenering begint, beoordeelt het systeem de kwaliteit van de videostroom $\tilde{V}$ .

Kwaliteitsprofilering: Een parameter-vrije tool (assess_quality) analyseert elk frame om een verstoringsprofiel $d(f_i)$ te schatten op basis van drie dominante corruptietypen: onscherpte, helderheidsafwijking en obstructie. Deze worden berekend via signaalniveau-statistieken (bijv. inverse Laplacian variantie voor onscherpte, Sobel-magnitude voor obstructie) zonder dat hiervoor trainingsdata nodig is.
Betrouwbaarheids-Relevantie Score: Frames worden gescoord met een samengestelde metriek $s(f_i) = (1 - d(f_i)) \cdot \text{sim}(\phi(f_i), \psi(q))$ , waarbij een balans wordt gevonden tussen visuele betrouwbaarheid en query-relevantie.
Selectie: De top- $K$ meest betrouwbare frames worden geselecteerd voor verdere verwerking, waarbij gecorrumpeerde frames die anders gekozen zouden worden vanwege een hoge query-gelijkenis, worden weggefilterd.

B. Vertrouwensgestuurde Tool Routing

De host VLM deelt de oorspronkelijke query op in atomaire sub-queries en stuurt deze naar gespecialiseerde perceptie-tools.

Adaptieve Routing: De routing-beslissing houdt rekening met het dominante corruptietype in de geselecteerde frames. Als bijvoorbeeld onscherpte overheerst, geeft het systeem de voorkeur aan tools die robuust zijn tegen ruimtelijke degradatie (bijv. captioning) boven tools die scherpe grenzen vereisen (bijv. objectdetectie).
Gecalibreerde Vertrouwensoutput: Elke tool retourneert een tuple $(r_j, c_j)$ $(r_{j}, c_{j})$ , waarbij $r_j$ $r_{j}$ het resultaat is en $c_j$ $c_{j}$ een gecalibreerde vertrouwensscore.
- $c_j = c_j^{\text{intrinsic}} \times \rho(F_j)$
- $c_j^{\text{intrinsic}}$ is de zelfbeoordeling van de tool (bijv. detectiescore).
- $\rho(F_j)$ is de input-betrouwbaarheid, berekend als de gemiddelde betrouwbaarheid van de slechtst presterende subset van frames die door die tool-call zijn gebruikt. Dit voorkomt dat enkele schone frames de aanwezigheid van ernstig gecorrumpeerde inputs maskeren.

C. Betrouwbaarheidsbewuste Bewijssynthese

Het uiteindelijke antwoord wordt gesynthetiseerd door bewijs te groeperen in drie niveaus: Hoog, Gemiddeld en Laag.

Hoog-niveau: Drijft de primaire conclusie aan.
Gemiddeld-niveau: Wordt alleen behouden als het consistent is met de conclusie van het hoog-niveau; anders wordt het verworpen.
Laag-niveau: Wordt alleen gebruikt als fallback wanneer er geen sterker bewijs bestaat, inclusief expliciete onzekerheidsrapportage.
Deze gelaagde aanpak zorgt ervoor dat de uiteindelijke voorspelling geworteld is in het meest betrouwbare beschikbare visuele bewijs.

D. Trainingsdoel: Confidence-Cost GRPO

De host VLM wordt end-to-end getraind met behulp van GRPO met een samengestelde beloningsfunctie $R_{\text{total}}$ die vier signalen balanceert:

Correctheid ( $R_{\text{acc}}$ ): Nauwkeurigheid van het uiteindelijke antwoord.
Vertrouwens-Kosten ( $R_{\text{cc}}$ ): Moedigt outputs met een hoog vertrouwen aan, terwijl dure tool-calls op gedegradeerde frames worden bestraft ( $c_j - \lambda \cdot \text{cost}(T_j)$ ).
Sub-Query Efficiëntie ( $R_{\text{subq}}$ ): Bestraft zowel overmatige decompositie (verspilde calls) als ondermaatse decompositie (informatie-tekorten), verankerd aan een doelaantal geschat door een bevroren VLM.
Formaat Beloning ( $R_{\text{fmt}}$ ): Zorgt voor naleving van gestructureerde output-formaten.

3. Belangrijkste Bijdragen

Formalisering van het Blind Vertrouwen Probleem: Het paper definieert en kwantificeert expliciet de discrepantie tussen modelvertrouwen en de betrouwbaarheid van visueel bewijs onder realistische corrupties.
Robust-TO Framework: Een nieuw agentic pipeline dat per-frame kwaliteitsprofilering koppelt aan adaptieve tool-routing en gelaagde bewijssynthese.
Verenigde Vertrouwensinterface: Een mechanisme dat gecalibreerde vertrouwensscores genereert door de zekerheid van de tool te vermenigvuldigen met de betrouwbaarheid van de input-frames, waardoor het redeneermodel bewijs dynamisch kan wegen.
Confidence-Cost Optimalisatie: Een GRPO-trainingsstrategie die gezamenlijk optimaliseert voor nauwkeurigheid, betrouwbaarheid van bewijs en efficiëntie van de inferentie, wat voorkomt dat het model te veel vertrouwt op dure tools voor gecorrumpeerde data.

4. Experimentele Resultaten

Het framework werd geëvalueerd op UrbanVideo-Bench en VSI-Bench, waarbij acht taken (bijv. locatie van landmarks, routeplanning, actiegeneratie) werden afgedekt onder zowel schone als gecorrumpeerde condities (gegenereerd via RoVA).

Prestaties op Schone Data: Robust-TO met een Qwen3-VL-7B backbone bereikte een gemiddelde nauwkeurigheid van 56,4%, waarmee het de sterkste open-source baseline (Video-R1) met 10,6% verslaat en de propriëtaire Gemini-2.5-Pro (46,2%) overtreft.
Prestaties op Gecorrumpeerde Data: Onder vijf realistische corruptietypen (bewegingsonscherpte, Gaussische ruis, schittering, obstructie, weinig licht) behield Robust-TO een gemiddelde nauwkeurigheid van 54,3%. Dit is een verbetering van 5,8% ten opzichte van de sterkste open-source baseline (Video-R1) en een verbetering van 16,2% ten opzichte van Gemini-2.5-Pro.
Robuustheid: Robust-TO vertoonde de kleinste daling in nauwkeurigheid van schone naar gecorrumpeerde condities van alle vergeleken methoden.
Efficiëntie: De adaptieve key-frame selector verminderde het gemiddelde aantal verwerkte frames met 35% (van 32 naar 20,7) en verkortte de inferentietijd per sample met meer dan 35%, terwijl de nauwkeurigheid tegelijkertijd verbeterde.

5. Betekenis en Claims

Het paper claimt dat Robust-TO fundamenteel verschuift van een "blind vertrouwen"-paradigma naar een "vertrouwensbewust" paradigma voor video-redenering. Door de betrouwbaarheid van visueel bewijs expliciet te modelleren, bereikt het systeem een graceful degradation (gecontroleerde achteruitgang) in plaats van een stil falen wanneer het wordt geconfronteerd met real-world video-corrupties.

De auteurs benadrukken dat hun aanpak niet enkel parameters of data opschaalt, maar een structurele verandering introduceert in hoe bewijs wordt verkregen en gesynthetiseerd. De resultaten tonen aan dat adaptief gebruik van visuele tools, gestuurd door per-frame betrouwbaarheidsschattingen, zowel voor gecorrumpeerde als schone video's voordelen biedt, wat een pad opent naar robuustere en betrouwbaardere multimodale redeneersystemen voor veiligheidskritische toepassingen. Het werk wordt vrijgegeven met code en checkpoints om toekomstige uitbreidingen in open-world video-redenering te ondersteunen.