A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering

Probleemstelling

Agentic Video Question Answering (VideoQA) systemen vertrouwen momenteel op vaste toolbibliotheken. Hoewel deze agenten tijdens de inferentie dynamisch tools selecteren en sequensen, moeten terugkerende procedures voor elke nieuwe vraag opnieuw worden opgebouwd vanuit primitieve operaties. Deze redundantie creëert een aanzienlijke inferentie-overhead.

Het synthetiseren van samengestelde tools (herbruikbare sequenties van primitieven) zou deze planning- en selectiekosten kunnen amorteren. Het beoordelen van de waarde van dergelijke synthese is echter moeilijk met standaard metrieken. De nauwkeurigheid van het uiteindelijke antwoord alleen negeert de inferentie-inspanning; een systeem kan een hogere nauwkeurigheid bereiken door aanzienlijk meer computationele middelen te verbruiken, of andersom, de efficiëntie verbeteren ten koste van de nauwkeurigheid. Bestaande evaluaties falen in het onthullen hoe het uitbreiden van de actieruimte de afweging tussen correctheid en kosten verschuift.

Methodologie

1. Dynamic-SAGE Framework

De auteurs stellen Dynamic-SAGE voor, een framework dat het bestaande SAGE agentic VideoQA-systeem uitbreidt. In tegenstelling tot SAGE, dat een statische set tools gebruikt, breidt Dynamic-SAGE de herbruikbare actieruimte dynamisch uit vóór de evaluatie.

• Offline Synthese Pipeline: Gebruikmakend van een gehouden set van 150 VideoQA-vragen, synthetiseert een multi-agent systeem samengestelde tools:
  • Signature Agent: Identificeert terugkerende meerstaps redeneerpatronen en stelt tool-interfaces voor (naam, beschrijving, inputs/outputs).
  • Implementation Agent: Componeert bestaande primitieve operaties (bijv. ground event, transcribe speech, analyze) tot uitvoerbare Python-functies. Het is beperkt tot het gebruik van enkel bestaande primitieven, zonder nieuwe externe modellen of capaciteiten toe te voegen.
  • Verification Agent: Valideert kandidaten op veiligheid, contractnaleving en correctheid, en wijst duplicaten, foutieve code of tools die proberen een definitief antwoord te geven (waarbij de commitment van het antwoord aan de orchestrator wordt overgelaten) af.
• Inferentie: Tijdens de evaluatie selecteert de agent (georkestreerd door GPT-4o) uit de unie van de originele statische tools ($T_s$) en de gesynthetiseerde dynamische tools ($T_d$). Een gesynthetiseerde tool verschijnt als een enkele actie voor de orchestrator, maar voert intern een vaste sequentie van primitieven uit.

2. Cost-Aware Paired Evaluation Protocol

Om de impact van tool-synthese rigoureus te beoordelen, introduceren de auteurs een cost-aware, paired protocol (kostenbewust, gepaard protocol).

• Paired Comparison (Gepaarde Vergelijking): In plaats van geaggregeerde nauwkeurigheid te vergelijken, koppelt het protocol de Static-SAGE en Dynamic-SAGE systemen aan dezelfde inputvragen.
• Zesgroepen-classificatie: Elke gepaarde uitkomst wordt gecategoriseerd op basis van gezamenlijke correctheid (Static vs. Dynamic) en de verandering in zichtbare tool-aanroepen ($\Delta e_i$):
  1. $G_{safe}$: Beiden correct, Dynamic gebruikt minder calls.
  2. $G_{neutral}$: Beiden correct, geen verandering in calls.
  3. $G_{overhead}$: Beiden correct, Dynamic gebruikt meer calls.
  4. $G_{ideal}$: Static fout, Dynamic correct, minder calls.
  5. $G_{costly-gain}$: Static fout, Dynamic correct, evenveel/meer calls.
  6. $G_{loss}$: Static correct, Dynamic fout (wordt behandeld als een falen, ongeacht de efficiëntie).
• Significantietoetsing: Het protocol maakt gebruik van de McNemar-toets voor statistische significantie en gepaarde bootstrap-betrouwbaarheidsintervallen om betrouwbaarheid over subgroepen te rapporteren.

Belangrijkste Bijdragen

1. Een Cost-Aware Paired Protocol: Een herbruikbare evaluatiepraktijk die door tool-geaugmenteerde agenten geauditeerd wordt door gezamenlijk nauwkeurigheid en kostenveranderingen te rapporteren, waarbij efficiëntiewinst wordt gescheiden van schadelijke regressies.
2. Dynamic-SAGE Testbed: Een framework dat samengestelde tools synthetiseert, valideert en persistent registreert voor hergebruik op ongeziene vragen, zonder nieuwe modellen of primitieve capaciteiten te introduceren.
3. Multi-Axis Audit: Een empirische analyse op SAGE-Bench die aantoont dat tool-synthese de nauwkeurigheid verbetert, maar de kostenstructuren verschuift in plaats van ze uniform te verlagen.

Resultaten

Geëvalueerd op 1.304 samples uit SAGE-Bench (exclusief de 150-vraag synthese-holdout):

• Nauwkeurigheid: Dynamic-SAGE verbetert de algehele nauwkeurigheid met 7,52 procentpunt (van 60,43% naar 67,94%, $p < 0,001$).
  • De winsten zijn het grootst bij visuele vragen (+9,29%) en open-ended vragen (+9,17%).
  • De winsten zijn statistisch neutraal voor verbale en mixed-modality vragen.
  • Verbeteringen schalen met moeilijkheidsgraad, waarbij de grootste winsten worden gezien bij "hard" en "very hard" vragen.
• Efficiëntie & Kostenafwegingen:
  • Verminderde Orchestratie: Dynamic-SAGE vermindert het aantal redeneerbeurten (reasoning turns) en zichtbare tool-aanroepen met ongeveer 28% (van 3,34 naar 2,40 turns).
  • Verhoogde Tokens/Kosten: Omdat samengestelde tools meerdere primitieven inkapselen, neemt het totaal aantal primitieve operaties toe met 31%. Bijgevolg stijgt het tokenverbruik met 34%, en de monetaire kosten met 26%.
• Falen-analyse:
  • De meerderheid van de nauwkeurigheidsverliezen vindt plaats bij moeilijke, open-ended vragen waar de pipeline het meeste werk verricht.
  • De meeste fouten (53%) treden op wanneer Dynamic-SAGE meer tool-aanroepen gebruikt dan Static-SAGE, wat aangeeft dat uitgebreide trajecten nog steeds tot onjuiste antwoorden leiden, in plaats van voortijdige overmatige compressie.
  • De adoptie is scheef verdeeld: twee depth-2 tools zijn verantwoordelijk voor de meeste aanroepen, terwijl diepere tools zelden worden gebruikt en minder nauwkeurig zijn.

Betekenis en Claims

De paper claimt dat de primaire bijdrage niet alleen het systeem is, maar het protocol dat een "multi-axis profiel" van prestaties onthult dat scalar nauwkeurigheidsvergelijkingen missen.

De auteurs concluderen dat het uitbreiden van de actieruimte via tool-synthese wel helpt, maar dat het voordeel voorwaardelijk is. Het verschuift de kostenlast van orchestratie-stappen (redeneerbeurten, zichtbare calls) naar per-call tokenconsumptie. Het systeem bereikt een hogere nauwkeurigheid en minder interactiestappen, maar tegen een hogere monetaire en token-kost.

De auteurs merken bescheiden op dat de huidige aanpak geen universele oplossing is; betrouwbaarheidsrisico's blijven bestaan, met name voor moeilijke, open-ended vragen. Ze suggereren dat toekomstig werk zich moet richten op het verbeteren van de kwaliteit, onderscheidend vermogen en routing van gesynthetiseerde tools, in plaats van enkel de actieruimte uit te breiden. De paper claimt niet dat het VideoQA volledig oplost, maar biedt een rigoureuze methode om de afwegingen van dynamische tool-synthese te auditeren.