💻 computer science

PercepCap: Video Captioner with Structured Spatio-Temporal Perception

PercepCap è un nuovo framework di video captioning che potenzia la comprensione spazio-temporale generando esplicitamente una traccia percettiva delle traiettorie degli oggetti e degli eventi prima di produrre la didascalia finale, supportato da una strategia di addestramento a due stadi e una pipeline di costruzione dei dati ancorata alla didascalia per garantire l'allineamento tra l'evidenza percettiva e l'output descrittivo.

Autori originali: Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

Pubblicato 2026-07-23

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come guardare un film e scrivere una recensione. Nel mondo dell'intelligenza artificiale, questo compito è chiamato "video captioning" (didascalia video). Per molto tempo, i robot più intelligenti (noti come Modelli Linguistici di Grandi Dimensioni Multimodali, o MLLM) sono diventati sempre più bravi in questo, ma hanno un punto debole segreto: sono come maghi che tirano fuori un coniglio dal cappello senza mostrarti come ci sono riusciti. Guardano il video e sputano immediatamente una frase come: "Un cane corre attraverso il campo". Ma non mostrano il loro lavoro. Non ti dicono quale cane, dove esattamente stava correndo, o quando ha iniziato e finito. Se il robot commette un errore — ad esempio, pensa che il cane stesse correndo all'indietro — l'errore rimane nascosto all'interno della frase finale, rendendo difficile correggerlo. Gli scienziati si preoccupano di questo perché, se vogliamo che i robot comprendano davvero il mondo, abbiamo bisogno di sapere come lo vedono, non solo cosa dicono a riguardo.

Entra in scena PercepCap, un nuovo framework che agisce come un detective per i robot video. Inveve di lasciare che il robot passi direttamente alla recensione finale, PercepCap lo costringe a scrivere prima le sue "note da detective". Prima di scrivere la didascalia finale, deve elencare esplicitamente gli indizi che ha trovato: "Vedo un cane (ID: 123) che si muove dal lato sinistro dello schermo verso il lato destro tra i 2 e i 5 secondi". Questa catena "percepisci-poi-descrivi" rende visibile il pensiero del robot. I ricercatori hanno scoperto che, costringendo il robot a mostrare la sua evidenza spazio-temporale (dove si trovano le cose e quando accadono) prima di scrivere la storia, la descrizione finale diventa molto più accurata e dettagliata. Non hanno solo ipotizzato che questo avrebbe funzionato; hanno addestrato un modello utilizzando un processo speciale in due fasi e lo hanno testato su diversi benchmark impegnativi, dimostrando che questo approccio "mostra il tuo lavoro" supera costantemente i vecchi metodi basati sul "indovina la risposta".

Il taccuino del detective: Come funziona PercepCap

Pensa al vecchio modo di fare il video captioning come a uno studente che sostiene un esame e può scrivere solo la risposta finale su un foglio a bolle. Se lo studente sbaglia, l'insegnante non ha idea se ha letto male la domanda, se ha dimenticato un fatto o se ha semplicemente tirato a indovinare. Il nuovo metodo, PercepCap, è come dare a quello studente un foglio per gli appunti.

Il passaggio "Perceive" (Il foglio per gli appunti)
Per prima cosa, il robot guarda il video e compila un "taccuino da detective" strutturato. Non si tratta di un elenco casuale; è un registro rigoroso e organizzato di due cose:

Traiettorie degli oggetti: Traccia oggetti specifici (come una persona o un'auto) e annota esattamente dove si trovano sullo schermo in diversi momenti.
Eventi temporali: Nota quando avvengono azioni specifiche, segnando l'inizio e la fine esatti.

Il passaggio "Describe" (Il rapporto finale)
Solo dopo che il taccuino è pieno, il robot scrive la didascalia finale. Utilizza le note del foglio per gli appunti come guida. Poiché il robot ha già svolto il lavoro difficile di identificare e temporizzare gli eventi, la storia finale è molto meno soggetta ad allucinazioni o dettagli mancanti.

La formula segreta: Come hanno insegnato al robot

Potresti chiederti: "Dove ha imparato il robot a compilare questo taccuino se nessuno gli aveva mai dato dei taccuini prima?". I ricercatori hanno dovuto inventare un modo intelligente per creare i dati di addestramento, che chiamano Costruzione di Dati di Percezione Ancorati alla Didascalia (Caption-Anchored Perception Data Construction).

Immagina di avere una recensione perfetta di un film scritta da un esperto umano, ma che non ha timestamp o tag di posizione. I ricercatori hanno preso questa recensione e hanno chiesto a un'IA super intelligente di tornare a guardare il film, questa volta cercando specificamente le cose menzionate nella recensione.

Ancora (Anchor): Sono partiti dalla didascalia finale (l'ancora).
Estrazione (Extract): Hanno estratto i nomi degli oggetti e degli eventi menzionati.
3.olo Fondamento (Ground): Hanno fatto sì che l'IA guardasse di nuovo il video per trovare esattamente dove e quando quelle cose specifiche sono accadute, disegnando dei riquadri intorno a loro e aggiungendo i timestamp.

Questo ha creato un set di addestramento perfetto in cui la didascalia finale e le "note del detective" coincidevano perfettamente.

Il campo di addestramento in due fasi

Per insegnare al robot questo nuovo modo di pensare, i ricercatori hanno utilizzato una strategia di addestramento in due fasi:

Fase 1: Fine-Tuning Supervisionato (La fase "Impara le regole")
Hanno mostrato al robot migliaia di questi esempi perfetti (didascalia + note corrispondenti) e gli hanno insegnato a imitarli. Il robot ha imparato: "Per prima cosa, devo elencare gli indizi. Poi, scrivo la storia". Questo è chiamato Fine-Tuning Supervisionato Percezione-poi-Descrizione (PD-SFT).
Fase 2: Apprendimento per Rinforzo (La fase "Ottieni una stella d'oro")
Copiare non basta; il robot deve diventare bravo. Qui, hanno utilizzato un metodo chiamato Apprendimento per Rinforzo Basato sulla Percezione (PG-RL). Immagina un insegnante che valuta il lavoro del robot in due categorie separate:
- Le Note: Hai tracciato correttamente gli oggetti? Hai riportato correttamente l'inizio e la fine?
- La Storia: La didascalia finale è accurata e completa?
Il robot riceve un "punteggio" basato su entrambi. Se scrive una bellissima storia ma ha saltato un oggetto chiave nelle sue note, riceve un punteggio più basso. Questo costringe il robot a prestare attenzione alla qualità della sua percezione, non solo al ritmo delle sue frasi.

I Risultati: Funziona davvero?

I ricercatori hanno testato PercepCap su diverse sfide difficili di comprensione video, tra cui DREAM-1K, CaReBench, ShortVidBench e MotionBench. Hanno confrontato il loro nuovo modello con la baseline standard Qwen3-VL (un potente modello esistente che scrive direttamente le didascalie).

I risultati sono stati chiari: PercepCap ha superato costantemente la baseline.

Su DREAM-1K, ha raggiunto un punteggio F1 di 33,9 (rispetto al 29,1 della baseline), il che significa che è stato più bravo a catturare i dettagli corretti senza inventare cose false.
Su CaReBench, ha migliorato significativamente l'accuratezza nell'identificare azioni e oggetti.
Anche su ShortVidBench e MotionBench, che testano quanto bene una didascalia possa rispondere a domande su un video, PercepCap ha ottenuto punteggi più alti (ad esempio, 76,1% di accuratezza contro il 72,8% della baseline).

Perché questo è importante (e cosa non può ancora fare)

Il messaggio principale è che far sì che un robot "mostri il suo lavoro" prima di parlare lo rende più intelligente e affidabile. Separando l'atto di vedere (percezione) dall'atto di parlare (didascalia), i ricercatori hanno creato un sistema più facile da correggere e più difficile da ingannare.

Tuttavia, il documento è onesto riguardo ai suoi limiti. Poiché i dati di addestramento sono stati creati da un'IA (il metodo "Ancorato alla Didascalia"), se l'IA iniziale ha commesso un errore nelle note, quell'errore potrebbe essere trasmesso al robot. Inoltre, questo metodo richiede più tempo e potenza di calcolo perché il robot deve scrivere un lungo elenco di note prima di poter scrivere la frase finale. Ma, per chiunque voglia un'IA video che non si limiti a indovinare ma che comprenda effettivamente la linea temporale e la posizione degli eventi, PercepCap suggerisce una nuova e promettente direzione.

Riepilogo Tecnico: PercepCap

Problematica

La didascalia video richiede una comprensione spazio-temporale fine, che comprenda la localizzazione spaziale degli oggetti e la sequenza temporale degli eventi. Gli attuali Modelli Linguistici Multimodali (MLLM) impiegano tipicamente un paradigma di generazione basato solo sulla didascalia, mappando gli input video direttamente in descrizioni testuali finali. Questo approccio rende la fase percettiva implicita, il che significa che il modello identifica oggetti, azioni e relazioni temporali all'interno di un unico processo autoregressivo senza esporre l'evidenza sottostante. Di conseguenza, gli errori nell'identità degli oggetti, nel riconoscimento delle azioni o nell'ordine temporale sono visibili solo nell'output finale, rendendo difficile identificare, supervisionare o correggere specifici fallimenti percettivi. Inoltre, i segnali di supervisione standard applicati solo alla didascalia finale non forniscono un feedback diretto sul fatto che la percezione sottostante del modello sia corretta.

Metodologia

Per affrontare queste limitazioni, gli autori propongono PercepCap, un framework consapevole della percezione che separa esplicitamente la percezione spazio-temporale dalla generazione della didascalia. L'innovazione principale è una catena di generazione "percepi-descrivi", in cui il modello produce prima una traccia di percezione strutturata e poi genera la didascalia finale condizionata da questa evidenza.

1. Percezione Spazio-Temporale Strutturata

Il framework riformula la sequenza di output come $Y = [Y_{perc}, Y_{cap}]$ , dove $Y_{perc}$ è una traccia strutturata contenente:

Evidenza dell'Oggetto: Identità temporalmente coerenti, etichette semantiche e sequenze di localizzazione (bounding box 2D con timestamp).
Evidenza dell'Evento: Segmenti temporali (tempi di inizio/fine) con descrizioni testuali concise, collegati agli oggetti tracciati.

2. Strategia di Addestramento a Due Stadi

PercepCap utilizza una pipeline di Fine-Tuning per Rinforzo (RFT) a due stadi:

Supervised Fine-Tuning "Percepi-poi-Descrivi" (PD-SFT): Questa fase adatta il modello dalla generazione diretta di didascalie alla catena percepi-descrivi. Utilizza la perdita di cross-entropy sul next-token su sequenze target serializzate per insegnare al modello a generare traiettorie di oggetti ed eventi temporalmente radicati prima di produrre la didascalia finale.
Reinforcement Learning Basato sulla Percezione (PG-RL): Per superare i limiti della supervisione a singolo token (che non può distinguere tra errori di percezione ed errori di captioning), PG-RL impiega l'Ottimizzazione della Politica Relativa al Gruppo (GRPO). Utilizza una funzione di ricompensa composita che decompone il feedback in:
- Ricompense a livello di percezione: IoU spaziale ( $R_{iou}$ ) per la localizzazione degli oggetti, IoU temporale ( $R_{tiou}$ ) e sovrapposizione semantica ( $R_{sodam}$ ) per la temporizzazione e la descrizione degli eventi.
- Ricompense a livello di didascalia: $R_{cap}$ valuta la copertura degli oggetti e degli eventi nella parte testuale finale rispetto alla verità di base (ground truth).
- Ricompense di formato: $R_{format}$ assicura che l'output aderisca a una rigorosa struttura JSON.

3. Costruzione di Dati Ancorati alla Didascalia

Poiché i dataset standard mancano di annotazioni percettive intermedie, gli autori introducono una pipeline per costruire dati di addestramento allineati alle didascalie:

Generazione dell'Ancora della Didascalia: Un modello video potente genera una descrizione basata solo sulla didascalia ( $Y^*_{cap}$ ).
Estrazione del Contenuto: Il modello estrae le etichette degli oggetti e le descrizioni degli eventi da questa didascalia.
Completamento Radicato sul Video: Il modello rivisita il video per assegnare identità, predire bounding box con timestamp per gli oggetti e predire i tempi di inizio/fine per gli eventi.
Assemblaggio: I dati spaziali/temporali radicati vengono combinati con la didascalia originale per formare la coppia di addestramento strutturata $Y^* = [Y^*_{perc}, Y^*_{cap}]$ .

Contributi Chiave

Framework Consapevole della Percezione: Il paper introduce un paradigma che trasforma la generazione di didascalie video in un processo di generazione basato sull'evidenza, producendo esplicitamente una traccia di percezione spazio-temporale strutturata (traiettorie degli oggetti e confini degli eventi) prima della didascalia finale.
PD-SFT e PG-RL: Una strategia di addestramento a due stadi che prima adatta il modello alla catena percepi-descrivi e poi lo ottimizza utilizzando ricompense decomposte che valutano separatamente l'ancoraggio percettivo e la qualità della didascalia.
Costruzione di Dati Ancorati alla Didascalia: Una nuova pipeline di dati che genera dati di percezione strutturati allineati con le didascalie finali, consentendo l'addestramento di modelli che richiedono una supervisione percettiva intermedia.

Risultati

PercepCap è stato valutato su molteplici benchmark, tra cui DREAM-1K, CaReBench, ShortVidBench, MotionBench e VidCapBench-AE.

Prestazioni: Il modello supera costantemente il baseline Qwen3-VL (un modello open-source da 8B) in tutti i benchmark. Ad esempio, su DREAM-1K, PercepCap ha ottenuto un punteggio F1 di 33.9 rispetto al 29.1 del baseline. Su CaReBench, ha migliorato l'Action F1 a 39.4 e l'Object F1 a 34.7.
Studi di Ablazione: Gli esperimenti hanno confermato che i guadagni non sono dovuti semplicemente a un ulteriore fine-tuning o a una più forte supervisione della didascalia. Le varianti che utilizzavano solo ricompense a livello di didascalia o paradigmi di generazione basati solo sulla didascalia hanno ottenuto prestazioni significativamente inferiori rispetto all'intera pipeline PercepCap, dimostrando la necessità della traccia percettiva esplicita e dell'approccio di addestramento a stadi.
Analisi Qualitativa: I confronti visivi mostrano che PercepCap distingue meglio le entità chiave e segue le catene di azione (ad esempio, il passaggio di oggetti) in modo più fedele rispetto ai baseline di captioning diretto.

Significato

Il paper sostiene che la generazione dettagliata di didascalie beneficia dall'esposizione del processo di "ragionamento" del modello. Rendendo esplicita l'evidenza percettiva, PercepCap consente:

Supervisione Mirata: Gli errori possono essere attribuiti a fasi specifiche (percezione vs verbalizzazione), consentendo segnali di addestramento più precisi.
Auditabilità: La traccia strutturata rende ispezionabile la comprensione del video da parte del modello, colmando il divario tra l'input video grezzo e l'output in linguaggio naturale.
Migliore Ancoraggio: Il framework assicura che la didascalia finale sia strettamente condizionata dalle traiettorie degli oggetti e dai confini degli eventi verificati, portando a una maggiore copertura e accuratezza nella descrizione di contenuti video complessi.

Gli autori concludono che le tracce di percezione strutturate fungono da interfaccia intermedia pratica, rendendo la generazione di didascalie video più ancorata, auditabile ed efficace per compiti di comprensione fine.