💬 NLP

Decomposing Queries into Tool Calls for Long-Video Keyframe Retrieval

Il documento presenta ToolMerge, un nuovo metodo di recupero dei fotogrammi chiave che sfrutta un LLM per decomporre le query in chiamate a strumenti specifiche e fondere i relativi risultati tramite operatori booleani, dimostrando prestazioni competitive sul nuovo benchmark Molmo-2 Moments.

Autori originali: Michal Shlapentokh-Rothman, Prachi Garg, Yu-Xiong Wang, Derek Hoiem

Pubblicato 2026-05-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Michal Shlapentokh-Rothman, Prachi Garg, Yu-Xiong Wang, Derek Hoiem

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un film della durata di 4 ore e qualcuno ti pone una domanda molto specifica al suo riguardo, come: "Cosa stava facendo l'uomo con la giacca gialla subito prima di attraversare il fiume?"

Se provassi a rispondere guardando l'intero film dall'inizio alla fine, ci vorrebbe un'eternità. Se invece scegliessi a caso alcune fotogrammi (come sfogliare un album fotografico), probabilmente perderesti il momento esatto. Questo è il problema che l'articolo affronta: Come possiamo trovare i pochi secondi esatti di un video lungo che contengono la risposta, senza guardare tutto?

Gli autori propongono un nuovo sistema chiamato ToolMerge. Ecco come funziona, spiegato attraverso semplici analogie.

1. Il problema dei vecchi metodi

I sistemi precedenti cercavano di risolvere il problema in due modi, entrambi difettosi:

L'approccio "taglia unica": Trattavano l'intera domanda come un'unica gigantesca stringa di ricerca. È come chiedere a un bibliotecario: "Trovami la pagina con l'uomo in giacca gialla che attraversa il fiume". Il bibliotecario potrebbe trovare una pagina con un fiume, o una pagina con un uomo, ma non necessariamente la giusta combinazione.
L'approccio "lista di controllo rigida": Cercavano di scomporre la domanda in una lista fissa di oggetti (ad esempio: "Trova l'uomo", "Trova la giacca", "Trova il fiume"). Ma la vita reale è disordinata. A volte è necessario cercare un'azione, a volte un oggetto e a volte un colore specifico. Una lista di controllo rigida perde le sfumature.

2. La soluzione: ToolMerge (Il detective intelligente)

ToolMerge agisce come un detective intelligente che sa come utilizzare diversi strumenti per risolvere un caso. Invece di cercare di trovare la risposta in un unico balzo, il detective scompone il lavoro.

Passo 1: Il Pianificatore (Il Cervello)
Innanzitutto, un "Pianificatore" (un cervello AI) legge la domanda. Invece di cercare semplicemente l'intera frase, scompone la domanda in compiti più piccoli e specifici.

Analogia: Se la domanda è "Cosa ha fatto l'uomo con la giacca gialla?", il Pianificatore non si limita a urlare "Giacca Gialla!" nel vuoto. Dice: "Ok, ho bisogno di tre cose: 1. Trova una scena con un fiume. 2. Trova un uomo vestito di giallo. 3. Trova qualcuno che attraversa l'acqua."

Passo 2: Gli Strumenti (Gli Specialisti)
Il Pianificatore invia questi piccoli compiti a diversi strumenti "specialisti".

Strumento A (SigLIP): Questo è lo Specialista di Scena. Guarda l'intera immagine per cogliere le atmosfere generali (ad esempio, "un fiume", "un canyon").
Strumento B (T-REN): Questo è lo Specialista di Oggetti. Si ingrandisce per trovare cose specifiche (ad esempio, "un uomo", "una giacca gialla").
Strumento C (OCR): Questo è il Lettore di Testo. Legge le parole scritte su cartelli o schermi nel video.

Passo 3: La Fusione (Il Giudice)
Ora, ogni strumento ha classificato ogni singolo fotogramma del video in base a quanto bene corrisponde al suo compito specifico. Il passaggio "Fusione" combina queste classifiche.

La regola "E": Se la domanda richiede sia un fiume sia un uomo, il sistema cerca i fotogrammi in cui entrambi gli strumenti hanno dato un punteggio alto. È come un diagramma di Venn; la risposta deve trovarsi al centro, dove i cerchi si sovrappongono.
La regola "O": Se la domanda chiede "Ha attraversato il fiume O il ponte?", il sistema cerca i fotogrammi che soddisfano una delle due condizioni.

Infine, il sistema seleziona i primi 3-8 fotogrammi che hanno ottenuto i punteggi migliori secondo tutte queste regole combinate e li consegna a un'AI finale "Risponditore" per fornire la risposta effettiva.

3. Il nuovo test: Molmo-2 Moments (M2M)

Per dimostrare che il loro sistema funziona, gli autori hanno realizzato che i test esistenti erano ingiusti. I vecchi test avevano domande che potevano essere risposte indovinando o guardando parti casuali del video.

Hanno costruito un nuovo test chiamato Molmo-2 Moments (M2M).

L'analogia: Immagina un insegnante che scrive un test basato solo su un clip specifico di 10 secondi di un film. L'insegnante sa esattamente cosa succede in quei 10 secondi. Se uno studente risponde correttamente, deve aver guardato quei 10 secondi specifici. Non avrebbe potuto indovinarlo dal resto del film.
Questo garantisce che, se il sistema ottiene la risposta corretta, abbia effettivamente trovato i fotogrammi giusti.

4. I risultati

Quando hanno testato ToolMerge:

È stato migliore nel trovare i fotogrammi giusti rispetto ai metodi precedenti, specialmente per domande complesse che coinvolgono più oggetti o azioni.
Ha funzionato particolarmente bene nel recupero delle didascalie. Se si fornisce al sistema una descrizione lunga e dettagliata di una scena (come una didascalia), ToolMerge è molto più bravo a trovare il clip video esatto che corrisponde a quella descrizione rispetto ai metodi più vecchi.
Hanno anche dimostrato che se si "allena" un po' il Pianificatore utilizzando un sistema di ricompensa specifico (GRPO), diventa ancora meglio nel sapere quali strumenti utilizzare.

Riepilogo

ToolMerge è un sistema che non cerca di indovinare la risposta a una domanda su un video lungo tutto in una volta. Invece, agisce come un project manager: scompone la domanda in piccoli compiti specifici, invia questi compiti a diversi strumenti specializzati e poi combina i risultati per trovare i pochi secondi esatti di video che contengono la verità. Hanno dimostrato che funziona creando un nuovo test più rigoroso, in cui la risposta è bloccata a un momento specifico nel tempo.

Riepilogo Tecnico: Decomposizione delle Query in Chiamate a Strumenti per il Recupero di Fotogrammi Chiave da Video Lunghi

Definizione del Problema

Il documento affronta la sfida della risposta a domande (QA) verificabile su video lunghi. Sebbene i sistemi esistenti siano in grado di generare risposte, fornire prove visive (fotogrammi chiave) per verificare tali risposte è fondamentale per un'interazione uomo-intelligenza artificiale affidabile. La difficoltà principale risiede nella selezione dei fotogrammi chiave: individuare i fotogrammi specifici all'interno di un video lungo che contengono le prove necessarie per rispondere a una query.

Gli approcci esistenti soffrono di due limitazioni principali:

Punteggio su Query Singola: I metodi che assegnano un punteggio a ogni fotogramma rispetto a una query concatenata singola (ad esempio, domanda + opzioni) spesso non riescono a catturare query complesse che richiedono elementi visivi distinti multipli.
Decomposizione a Schema Fisso: I metodi che decompongono le query in schemi fissi (ad esempio, tuple specifiche oggetto-relazione) mancano di flessibilità e non possono sfruttare efficacemente strumenti visivi diversificati.

Inoltre, valutare la qualità del recupero in isolamento è difficile perché i benchmark standard (come Video-MME o LongVideoBench) contengono spesso domande in cui le risposte possono essere indovinate senza guardare il video, o dove le prove sono ambigue su più intervalli temporali.

Metodologia: ToolMerge

Gli autori propongono ToolMerge, un framework di recupero basato su decomposizione e fusione. Invece di assegnare un punteggio ai fotogrammi rispetto a una query monolitica, ToolMerge scompone la query in sotto-query indipendenti, le esegue utilizzando strumenti visivi leggeri specializzati e fonde i risultati.

1. Decomposizione Basata su Planner

Un planner basato su LLM (zero-shot o ottimizzato con RL) analizza la domanda di input e le scelte di risposta. Non risponde alla domanda, ma genera:

Chiamate a Strumenti: Un insieme di query indipendenti per strumenti visivi specifici.
Logica Booleana: Istruzioni su come combinare i risultati di queste chiamate (utilizzando gli operatori AND o OR).

2. Strumenti Visivi

Il sistema utilizza modelli di visione leggeri invece di costose descrizioni (captioning) per fotogramma:

SigLIP-2: Esegue il matching immagine-testo su intero fotogramma per catturare prove a livello di scena (azioni, ambientazioni, layout spaziale).
T-REN: Esegue il matching delle caratteristiche di regioni allineate al testo per localizzare entità o oggetti specifici.
OCR: Viene eseguito automaticamente su fotogrammi campionati per rilevare il testo a schermo, con risultati filtrati da un giudice LLM leggero per la pertinenza.

3. Strategia di Fusione

Poiché strumenti diversi producono punteggi su scale diverse, ToolMerge fonde i ranghi anziché i punteggi grezzi:

A ogni fotogramma viene assegnato un rango (1 = migliore) all'interno dell'output di ciascuno strumento.
Operatore AND: Seleziona il rango peggiore (massimo) tra gli strumenti. Ciò garantisce che un fotogramma venga classificato in alto solo se tutti gli elementi richiesti appaiono insieme.
Operatore OR: Seleziona il rango migliore (minimo). Questo viene utilizzato quando strumenti diversi potrebbero trovare prove valide alternative.
Integrazione OCR: I fotogrammi contenenti testo rilevante vengono inseriti al rango 1 (priorità massima) dopo la verifica, poiché presentano meno ambiguità rispetto ai matching basati sulla similarità.

4. Selezione Finale

Un algoritmo greedy di Soppressione Non Massima (NMS) seleziona i primi $k$ fotogrammi in base alla classifica fusa, imponendo un intervallo temporale minimo ( $\tau$ ) per garantire la diversità. Questi fotogrammi vengono quindi passati a un Modello Vision-Language (VLM) "risponditore" per generare la risposta finale.

Costruzione del Benchmark: Molmo-2 Moments (M2M)

Per valutare rigorosamente il recupero senza il rumore dei fallimenti nel ragionamento, gli autori introducono Molmo-2 Moments (M2M).

Costruzione: Derivato dal Dataset di Captioning Molmo-2, dove gli annotatori descrivono clip specifiche di 10–20 secondi.
Ancoraggio: Ogni domanda è generata da una didascalia specifica, garantendo che la risposta ground-truth sia ancorata a un intervallo temporale specifico per costruzione.
Pipeline di Filtraggio: Una pipeline automatizzata e verificata da umani in 8 passaggi assicura che le domande siano:
- Inrispondibili da modelli solo testuali (filtro cieco).
- Non risolvibili tramite campionamento uniforme (filtro di necessità).
- Difficili abbastanza da richiedere un recupero mirato (filtro di difficoltà).
- Libere da dipendenze meta-linguistiche o solo audio.
Modalità di Valutazione: M2M supporta il Recupero di Domande (HIT@K), il Recupero di Didascalie (recuperare fotogrammi per la didascalia sorgente) e l'Accuratezza QA a valle.

Contributi Chiave

ToolMerge: Un metodo senza addestramento (o migliorabile con RL) che scompone le query in chiamate a strumenti e fonde i ranghi utilizzando operatori booleani, consentendo un uso flessibile di diversi strumenti visivi.
Molmo-2 Moments (M2M): Un benchmark in cui ogni domanda è strettamente ancorata a un intervallo temporale ground-truth, isolando le prestazioni di recupero dalle capacità di ragionamento.
Valutazione Completa: Un framework di valutazione in tre parti che copre la QA su video lunghi, il recupero diretto di domande e il recupero di didascalie, dimostrando che la decomposizione è particolarmente efficace per query complesse e multi-elemento.

Risultati Sperimentali

Gli autori hanno valutato ToolMerge rispetto a baseline (Campionamento Uniforme, SigLIP-Q) e selettori di fotogrammi chiave all'avanguardia (AKS, BOLT, LIF, WFS) su LongVideoBench, Video-MME e M2M.

QA su Video Lunghi: ToolMerge ha raggiunto la massima accuratezza su tutti i budget di fotogrammi testati (8 e 32 fotogrammi) e modelli risponditori (Qwen3-VL, GPT-4o) sia su LongVideoBench che su Video-MME. Notabilmente, la semplice baseline SigLIP-Q (top-k su query singola) si è rivelata sorprendentemente competitiva, superando spesso metodi di decomposizione più complessi come LIF.
Recupero M2M: Sul benchmark M2M, ToolMerge e SigLIP-Q sono stati i migliori performer. ToolMerge ha mostrato un vantaggio distinto nel Recupero di Didascalie, superando SigLIP-Q del 5% a HIT@32. Ciò suggerisce che per query che descrivono elementi visivi multipli co-occorrenti (come nelle didascalie), l'approccio di decomposizione multi-strumento cattura prove che i metodi a query singola perdono.
Miglioramento del Planner: L'applicazione di GRPO (Reinforcement Learning) al planner utilizzando una ricompensa basata sul recall (verificando se i fotogrammi selezionati ricadono nell'intervallo ground-truth) ha ulteriormente migliorato le prestazioni, in particolare sulle metriche di recupero.
Efficienza: Il metodo è significativamente più efficiente rispetto agli approcci basati su captioning. Elaborare un video di 10 minuti con ToolMerge ha richiesto circa 3,4 volte meno tempo rispetto alla generazione di didascalie per l'intero video.

Significato e Affermazioni

Il documento afferma che la decomposizione e fusione è un framework robusto per il recupero di fotogrammi chiave, specialmente per query che richiedono la presenza simultanea di più elementi visivi.

Recupero vs Ragionamento: Ancorando le domande a intervalli specifici, M2M dimostra che la qualità del recupero è fortemente correlata all'accuratezza QA a valle quando il carico di ragionamento è minimizzato.
Diversità degli Strumenti: I risultati indicano che, sebbene la semplice similarità su query singola (SigLIP-Q) sia una baseline forte, decomporre le query per sfruttare strumenti specializzati (come T-REN per gli oggetti e SigLIP per le scene) fornisce un vantaggio misurabile per query complesse e descrittive (didascalie).
Verificabilità: Il sistema fornisce un percorso diretto verso un'IA verificabile, consentendo agli utenti di ispezionare i fotogrammi chiave specifici che supportano una risposta, piuttosto che affidarsi a riepiloghi testuali opachi.

Gli autori mantengono un tono modesto, notando limitazioni come l'insieme fisso di strumenti (escludendo la comprensione audio) e la dipendenza dalle capacità di ragionamento del risponditore una volta trovati i fotogrammi corretti. Non affermano di risolvere il problema generale della comprensione di video lunghi, ma piuttosto di fornire un meccanismo specifico, efficiente e verificabile per la componente di recupero.