Riepilogo Tecnico: Robust-TO per l'Orchestrazione di Strumenti Consapevole della Fiducia (Confidence-Aware)

1. Definizione del Problema: Il Problema della Fiducia Cieca

Il documento identifica un difetto critico nei contemporanei Video Large Language Models (Video-LLM): il Problema della Fiducia Cieca (Blind Trust Problem). Gli attuali modelli assumono implicitamente che ogni fotogramma di input sia ugualmente affidabile e informativo. In scenari reali che coinvolgono perturbazioni come sfocatura da movimento (motion blur), riflessi, rumore in condizioni di scarsa illuminazione o occlusione, questa assunzione porta a un significativo degrado delle prestazioni. I modelli all'avanguardia possono subire cali di accuratezza del 15–30 punti percentuali su benchmark embodied in tali condizioni, eppure la loro fiducia auto-riportata rimane sostanzialmente invariata. Questo "fallimento silenzioso" è particolarmente pericoloso in domini critici per la sicurezza come l'analisi forense, la sorveglianza e la guida autonoma, dove il modello procede con alta fiducia nonostante l'evidenza visiva degradata.

Gli approcci esistenti si affidano tipicamente al campionamento di fotogrammi uniforme o basato sulla somiglianza con la query senza valutare la qualità intrinseca del segnale visivo. Di conseguenza, i fotogrammi corrotti vengono trattati come prove valide, distorcendo la previsione finale.

2. Metodologia: Framework Robust-TO

Per affrontare questo problema, gli autori propongono Robust-TO, un framework di comprensione video agentico che integra esplicitamente l'affidabilità per fotogramma in ogni fase del ragionamento. Il sistema opera attraverso una pipeline a tre stadi guidata da un Video Language Model (VLM) ospite addestrato con Group Relative Policy Optimization (GRPO).

A. Selezione dei Fotogrammi tramite Profilazione della Qualità

Prima del ragionamento, il sistema valuta la qualità del flusso video $\tilde{V}$.

• Profilazione della Qualità: Uno strumento privo di parametri (assess_quality) analizza ogni fotogramma per stimare un profilo di disturbo $d(f_i)$ basato su tre tipi dominanti di corruzione: sfocatura, deviazione di luminosità e occlusione. Questi sono calcolati tramite statistiche a livello di segnale (ad es., varianza del Laplaciano inverso per la sfocatura, magnitudo di Sobel per l'occlusione) senza richiedere dati di addestramento.
• Punteggio di Affidabilità-Rilevanza: I fotogrammi sono valutati utilizzando un metrico composito $s(f_i) = (1 - d(f_i)) \cdot \text{sim}(\phi(f_i), \psi(q))$, bilanciando l'affidabilità visiva rispetto alla rilevanza della query.
• Selezione: I top-$K$ fotogrammi più affidabili vengono selezionati per l'elaborazione a valle, filtrando i fotogrammi corrotti che potrebbero altrimenti essere selezionati a causa dell'alta somiglianza con la query.

B. Routing degli Strumenti Guidato dalla Fiducia

L'host VLM decompone la query originale in sub-query atomiche e le instrada verso strumenti di percezione specializzati.

• Routing Adattivo: La decisione di routing considera il tipo di corruzione dominante nei fotogrammi selezionati. Ad esempio, se la sfocatura è predominante, il sistema favorisce strumenti robusti alla degradazione spaziale (ad es., captioning) rispetto a quelli che richiedono confini netti (ad es., rilevamento di oggetti).
• Output di Fiducia Calibrato: Ogni strumento restituisce una tupla $(r_j, c_j)$, dove $r_j$ è il risultato e $c_j$ è un punteggio di fiducia calibrato.
  • $c_j = c_j^{\text{intrinsic}} \times \rho(F_j)$
  • $c_j^{\text{intrinsic}}$ è l'auto-valutazione dello strumento (ad es., punteggio di rilevamento).
  • $\rho(F_j)$ è l'affidabilità dell'input, calcolata come la media della affidabilità del sottoinsieme di fotogrammi con le peggiori prestazioni utilizzati da quella chiamata allo strumento. Ciò impedisce a pochi fotogrammi puliti di mascherare la presenza di input severamente corrotti.

C. Sintesi dell'Evidenza Consapevole dell'Affidabilità

La risposta finale è sintetizzata raggruppando l'evidenza in tre livelli: Alto, Medio e Basso.

• Livello Alto: Guida la conclusione primaria.
• Livello Medio: Conservato solo se coerente con la conclusione del livello alto; altrimenti scartato.
• Livello Basso: Utilizzato solo come fallback quando non esiste un'evidenza più forte, con una segnalazione esplicita dell'incertezza.
  Questo approccio a livelli assicura che la previsione finale sia fondata sull'evidenza visiva più affidabile disponibile.

D. Obiettivo di Addestramento: Confidence-Cost GRPO

L'host VLM è addestrato end-to-end usando GRPO con una funzione di ricompensa composita $R_{\text{total}}$ che bilancia quattro segnali:

1. Correttezza ($R_{\text{acc}}$): Accuratezza della risposta finale.
2. Costo della Fiducia ($R_{\text{cc}}$): Incoraggia output ad alta fiducia penalizzando al contempo le chiamate a strumenti costosi su fotogrammi degradati ($c_j - \lambda \cdot \text{cost}(T_j)$).
3. Efficienza delle Sub-Query ($R_{\text{subq}}$): Penalizza sia la sovra-decomposizione (chiamate spreco) che la sotto-decomposizione (lacune informative), ancorata a un conteggio target stimato da un VLM congelato.
4. Ricompensa di Formato ($R_{\text{fmt}}$): Garantisce l'aderenza a formati di output strutturati.

3. Contributi Chiave

1. Formalizzazione del Problema della Fiducia Cieca: Il documento definisce e quantifica esplicitamente il disconnessione tra la fiducia del modello e l'affidabilità dell'evidenza visiva sotto corruzioni del mondo reale.
2. Framework Robust-TO: Un nuovo pipeline agentico che accoppia la profilazione della qualità del fotogramma con il routing adattivo degli strumenti e la sintesi dell'evidenza a livelli.
3. Interfaccia di Fiducia Unificata: Un meccanismo che produce punteggi di fiducia calibrati moltiplicando la certezza dello strumento per l'affidabilità del fotogramma di input, permettendo al modello di ragionamento di pesare l'evidenza dinamicamente.
4. Ottimizzazione Confidence-Cost: Una strategia di addestramento GRPO che ottimizza congiuntamente accuratezza, affidabilità dell'evidenza ed efficienza dell'inferenza, impedendo al modello di fare un eccessivo affidamento su strumenti costosi per dati corrotti.

4. Risultati Sperimentali

Il framework è stato valutato su UrbanVideo-Bench e VSI-Bench, coprendo otto compiti (ad es., posizione del landmark, pianificazione del percorso, generazione di azioni) sia in condizioni pulite che corrotte (generate tramite RoVA).

• Prestazioni su Dati Puliti: Robust-TO con un backbone Qwen3-VL-7B ha raggiunto una accuratezza media del 56,4%, superando il più forte baseline open-source (Video-R1) del 10,6% e superando il proprietario Gemini-2.5-Pro (46,2%).
• Prestazioni su Dati Corrotti: Sotto cinque tipi realistici di corruzione (sfocatura da movimento, rumore Gaussiano, riflesso, occlusione, scarsa illuminazione), Robust-TO ha mantenuto un'accuratezza media del 54,3%. Si tratta di un miglioramento del 5,8% rispetto al più forte baseline open-source (Video-R1) e di un miglioramento del 16,2% rispetto a Gemini-2.5-Pro.
• Robustezza: Robust-TO ha mostrato il minor calo di accuratezza dalle condizioni pulite a quelle corrotte tra tutti i metodi confrontati.
• Efficienza: Il selettore di key-frame adattivo ha ridotto il numero medio di fotogrammi elaborati del 35% (da 32 a 20,7) e ha tagliato il tempo di inferenza per campione di oltre il 35%, migliorando simultaneamente l'accuratezza.

5. Significato e Rivendicazioni

Il documento afferma che Robust-TO sposta fondamentalmente il ragionamento video dal paradigma della "fiducia cieca" a un paradigma "consapevole della fiducia". Modellando esplicitamente l'affidabilità dell'evidenza visiva, il sistema ottiene un degrado graduale invece di un fallimento silenzioso quando affronta corruzioni video del mondo reale.

Gli autori sottolineano che il loro approccio non si limita a scalare parametri o dati, ma introduce un cambiamento strutturale nel modo in cui l'evidenza viene acquisita e sintetizzata. I risultati dimostrano che l'uso adattivo di strumenti visivi, guidato da stime di affidabilità per fotogramma, beneficia sia i video corrotti che quelli puliti, offrendo una via verso sistemi di ragionamento multimodale più robusti e affidabili per applicazioni critiche per la sicurezza. Il lavoro è rilasciato con codice e checkpoint per supportare future estensioni nel ragionamento video in open-world.