💬 NLP

A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs

Questo articolo valuta sistematicamente il bias posizionale nella sintesi multi-video attraverso nove MLLM utilizzando un nuovo benchmark, rivelando che la qualità della sintesi è significativamente influenzata dall'ordine di input e dal dominio, con le attuali strategie di mitigazione che non riescono a eliminare completamente tali bias.

Autori originali: Huangchen Xu, Yuan Wu, Yi Chang

Pubblicato 2026-06-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Huangchen Xu, Yuan Wu, Yi Chang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere uno chef che prepara un menù degustazione composto da quattro portate: una zuppa, un'insalata, una bistecca e un dessert. Chiedi a un assistente AI molto intelligente, ma un po' distratto, di scrivere una breve, perfetta descrizione per ogni piatto.

Potresti pensare che l'AI descriverà la bistecca perfettamente indipendentamente dal fatto che sia il primo o l'ultimo piatto del menù. Ma questo articolo, intitolato "A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs," ha scoperto che l'AI è in realtà piuttosto schizzinosa riguardo a dove un video si trova in una sequenza.

Ecco la suddivisione delle loro scoperte utilizzando semplici analogie:

1. Il problema del "Posto a Tavola"

I ricercatori hanno scoperto che se mostri all'AI quattro video contemporaneamente e le chiedi di riassumere ciascuno di essi, la qualità del riassunto cambia a seconda della posizione del video (1°, 2°, 3° o 4°).

La sindrome del "Figlio di Mezzo": Proprio come un figlio di mezzo potrebbe ricevere meno attenzione rispetto al primogenito o al più piccolo, i video nel mezzo dell'elenco (posizioni 2 e 3) spesso ricevono riassunti peggiori. L'AI tende a dimenticare i dettagli o a scrivere descrizioni più vaghe per loro rispetto ai video all'inizio o alla fine.
"Prima Impressione" vs. "Gran Finale": A volte l'AI ama il primo video (l'effetto "Primacy"), e a volte ama l'ultimo (l'effetto "Recency"). Ma spesso, semplicemente ignora quelli centrali.

2. Il "Trucco Magico" per nascondere il pregiudizio

L'articolo evidenzia una parte insidiosa: non puoi limitarti a guardare il punteggio medio per vedere se l'AI è influenzata.

L'analogia: Immagina uno studente che prende un A nel primo test, una F nel secondo, una F nel terzo e un A nel quarto. La sua media sembra accettabile (una B), ma chiaramente ha un problema con i test centrali.
I ricercatori hanno scoperto che alcuni modelli di AI hanno un punteggio medio "neutro", ma se si guarda più da vicino, stanno in realtà fallendo nei video centrali pur andando alla grande con quelli alle estremità. Hanno creato strumenti speciali (metriche) per individuare questa "Debolezza del Figlio di Mezzo" che i test standard non rilevano.

3. Non si tratta solo di "Avere più Occhi"

Il team ha testato se dare all'AI più risorse potesse risolvere il problema.

Più fotogrammi: Hanno mostato all'AI più immagini (fotogrammi) da ogni video.
Più parole: Hanno detto all'AI che poteva scrivere riassunti più lunghi.
Il risultato: Non ha aiutato molto. Anche quando l'AI aveva un "budget visivo" maggiore o più spazio per scrivere, continuava a ignorare i video centrali. È come dare a uno studente distratto un quaderno più grande; continuerà comunque a non scrivere dei capitoli centrali.

4. L'esperimento dell' "L'ordine conta"

Per dimostrare che non si trattasse di una coincidenza, hanno utilizzato un metodo di rotazione ciclica.

L'analogia: Immagina quattro amici (Video A, B, C, D) che si alternano nel sedersi su quattro sedie diverse (1, 2, 3, 4).
- Round 1: A siede sulla Sedia 1, B sulla 2, C sulla 3, D sulla 4.
- Round 2: A siede sulla Sedia 2, B sulla 3, C sulla 4, D sulla 1.
- E così via.
In questo modo, hanno garantito che ogni video avesse avuto la possibilità di sedersi in ogni sedia. Hanno scoperto che il Video A riceveva un ottimo riassunto quando sedeva sulla Sedia 1, ma un cattivo riassunto quando sedeva sulla Sedia 3. Il contenuto del video non cambiava, ma il posto sì.

5. Tentare di "Correggere" l'AI con i Prompt

I ricercatori hanno provato a "istruire" l'AI affinché fosse equa.

L'istruzione "Sii Equo": Hanno aggiunto una nota alle istruzioni dell'AI dicendo: "Per favore, presta la stessa attenzione a ogni video".
Il risultato: Non ha funzionato molto. L'AI ha continuato a favorire le estremità. È come dire a uno studente stanco: "Per favore, studia tutti i capitoli allo stesso modo", e lui finisce comunque per scorrere velocemente quelli centrali.
Uno alla volta: Hanno provato a chiedere all'AI di riassumere solo un video alla volta, anche se ne vedeva tutti e quattro. Questo ha aiutato un po' con i video centrali, ma non è stato un rimedio perfetto.

6. Il problema della "Fuga di Informazioni" (Leakage)

Infine, hanno scoperto che a volte l'AI si confonde e mescola le storie.

L'analogia: Se chiedi all'AI di descrivere il video del "Dessert", potrebbe accidentalmente descrivere un dettaglio del video della "Zuppa" perché si è confusa su quale video fosse quale. Questo accade più spesso quando i video sono elencati in una lunga fila.

In sintesi

L'articolo conclude che gli attuali modelli di AI non sono affidabili quando vengono interrogati per riassumere più video contemporaneamente. Sono sensibili all'ordine in cui i video vengono mostrati. Se vuoi un buon riassunto, non puoi semplicemente buttare quattro video in un mucchio; la posizione di ciascun video conta molto e l'AI attualmente fatica a trattarli tutti con la stessa attenzione.

I ricercatori hanno costruito un nuovo "campo di prova" (benchmark) per aiutare i futuri sviluppatori di AI a correggere questo "pregiudizio posizionale", affinché un giorno un'AI possa riassumere una playlist di video senza dimenticare quelli nel mezzo.

Sintesi Tecnica: Una Valutazione Sistematica del Bias Posizionale nella Sintesi Multi-Video con MLLM

Definizione del Problema

Sebbene i Modelli Linguistici Multimodali (MLLM) abbiano dimostrato una capacità crescente nella comprensione video, la loro affidabilità nell'elaborare simultaneamente molteplici input video rimane scarsamente compresa. Questo articolo investiga il bias posizionale nel compito specifico della sintesi multi-video, in cui un modello deve generare un riassunto distinto e allineato per ogni video all'interno di una singola sequenza di input.

Il problema centrale è che la qualità di un riassunto per singolo video può fluttuare in base alla posizione dello slot di input del video (ad esempio, primo, centrale o ultimo), anche quando il contenuto visivo sottostante rimane identico. A differenza del lavoro precedente in ambito NLP o nella comprensione multi-immagine focalizzato sul recupero o sugli effetti "lost in the middle" nei contesti lunghi, la sintesi multi-video presenta una sfida unica: il modello non deve solo recuperare informazioni, ma deve anche vincolare correttamente ogni riassunto generato alla sorgente video corretta, bilanciando al contempo la capacità di generazione limitata tra molteplici slot di input.

Metodologia

Costruzione del Benchmark

Gli autori hanno costruito un nuovo benchmark utilizzando due dataset pubblici: ActivityNet (che copre le categorie Cooking, Domestic e Leisure) e il News Video Dataset.

Scenari: Quattro categorie (Cooking, Domestic, Leisure, News) con diverse durate video (brevi: 0–1 min; lunghe: 1–2 min).
Scale di Input: Gli esperimenti sono stati condotti su input a coppie (2 video) e a lista (4 video).
Ordinamento: È stato impiegato un design di permutazione ciclica. Per $P$ video, ogni video appare in ogni posizione esattamente una volta attraverso le sessioni sperimentali, garantendo un'analisi bilanciata pur mantenendo gestibile il costo dell'inferenza.
Dati Totali: 708 video unici che producono migliaia di istanze controllate per ordine.

Modelli Valutati

Sono stati valutati nove MLLM, inclusi sia modelli proprietari che open-source:

Proprietari: Gemini-3.1-Pro, GPT-5.4.
Open-Source: InternVL3.5 (8B, 14B), Qwen3-VL (8B, 30B-A3B), MiniCPM-o-4.5, GLM-4.1V-9B-Thinking, MiMo-VL-7B-RL.

Metriche di Valutazione

Riconoscendo che le metriche di sovrapposizione lessicale (ad es. ROUGE) sono insufficienti per una sintesi altamente astrattiva, gli autori hanno proposto tre metriche complementari:

Copertura (Coverage): Misura la preservazione delle informazioni chiave dai riferimenti scritti da umani.
- Domini ActivityNet: Utilizza un LLM-as-a-Judge (GPT-5.1) per determinare se le frasi di riferimento sono coperte (permettendo la parafrasi).
- Domini News: Utilizza la copertura dei frammenti di riferimento (ispirata a NEWSROOM) per misurare la proporzione di token di riferimento corrispondenti, poiché i riassunti delle news sono spesso brevi e ricchi di entità.
Bias Posizionale Direzionale (DPB): Una metrica con segno che quantifica la preferenza per le posizioni precoci (primacy) rispetto a quelle tardive (recency).
- Formula: Una somma pesata dei punteggi di copertura dove le posizioni precoci hanno pesi negativi e le posizioni tardive hanno pesi positivi.
Gap Centro-Bordo (MEG): Specificamente per gli input a 4 video, questa metrica calcola la differenza tra la copertura media delle posizioni centrali (2 e 3) e delle posizioni di bordo (1 e 4).
- Un MEG negativo indica una "debolezza della posizione centrale", un fenomeno che può essere mascherato da un DPB vicino allo zero se i bias iniziali e finali si annullano a vicenda.

Strategia di Allineamento

Per garantire che i riassunti siano correttamente attribuiti ai rispettivi video sorgente, è stata utilizzata una strategia di allineamento a due stadi:

Basata su Template: Estrazione dei segmenti basata su marcatori fissi (ad es. [video0], [video1]).
Fallback Semantico: Se il template fallisce, le frasi vengono suddivise e assegnate al video con la maggiore similarità semantica.

Risultati Chiave

1. Eterogeneità degli Effetti Posizionali

Il bias posizionale non è un pattern universale di primacy o recency; è dipendente dal modello e dal dominio.

DPB vs. MEG: Diversi setting hanno mostrato un DPB quasi nullo (suggerendo assenza di bias) ma un MEG significativamente negativo. Ad esempio, InternVL3.5-14B su Leisure-4 mostrava un DPB dello 0,07% ma un MEG del -2,65%, indicando che le posizioni centrali performavano peggio nonostante le performance bilanciate ai bordi.
Dipendenza dalla Scala: I risultati a coppie (P=2) non hanno predetto in modo affidabile il comportamento a lista (P=4). Alcuni modelli hanno mostrato una forte recency in P=2 che è scomparsa o si è invertita in P=4, suggerendo complesse interazioni di posizione negli input multi-video.

2. Robustezza e Sensibilità

Budget Visivo: Aumentare il numero di frame campionati o la risoluzione non ha eliminato uniformemente lo squilibrio posizionale. I pattern di MEG negativo sono persistiti attraverso varie configurazioni di budget visivo.
Lunghezza del Riassunto: Aumentare la lunghezza richiesta del riassunto (ad es. da 2 a 6 frasi) non ha rimosso la debolezza della posizione centrale. In alcuni casi, budget più ampi hanno reso più visibile l'allocazione diseguale dei dettagli, poiché le posizioni di bordo ottenevano una copertura maggiore rispetto alle posizioni centrali.
Formati di Confine: Cambiare i separatori di input da frame neri a etichette testuali ha alterato la curva di copertura ma non ha fornito miglioramenti consistenti né ha eliminato la debolezza della posizione centrale.

3. Mitigazione e Diagnostica

Istruzioni di Prompt: L'aggiunta di istruzioni esplicite di "attenzione bilanciata" non ha fornito una mitigazione affidabile. In alcuni casi, ha appiattito la curva abbassando la copertura delle posizioni di bordo invece di migliorare le posizioni centrali.
Generazione a Target Singolo: Chiedere al modello di generare riassunti per un solo video alla volta (rimuovendo l'interferenza del prefisso autoregressivo) ha migliorato la copertura per le posizioni deboli negli scenari P=4, ma ha degradato le prestazioni negli scenari P=2. Ciò suggerisce che la compressione della generazione congiunta contribuisce al bias negli input più grandi.
Posizionamento del Prompt: Posizionare l'istruzione del compito dopo i video (video-first) ha aumentato il tasso di "leakage cross-video" (dove i dettagli di un video appaiono nel riassunto di un altro) rispetto all'approccio standard prompt-first.

Significato e Rivendicazioni

L'articolo sostiene che la sintesi multi-video rimane sensibile al protocollo di input e alla posizione, sfidando l'assunto che gli MLLM siano invarianti rispetto all'ordine.

Limitazione delle Metriche Esistenti: Lo studio dimostra che il bias direzionale con segno (DPB) da solo è insufficiente per diagnosticare i problemi posizionali, poiché può nascondere effetti non monotoni come la debolezza della posizione centrale. La metrica MEG proposta è necessaria per catturare queste sfumature.
Sensibilità al Protocollo: I risultati indicano che gli attuali modelli non sono robusti rispetto all'ordinamento degli input. Piccole variazioni nel posizionamento del prompt o nella formattazione dei confini possono alterare significativamente il binding del target e i tassi di leakage.
Fondamento per il Lavoro Futuro: Gli autori forniscono un benchmark, metriche specifiche (Copertura, DPB, MEG) e strumenti diagnostici (prompting a target singolo, audit del leakage) per servire come fondamento per studiare e migliorare la robustezza all'ordine nei sistemi multimodali.

L'articolo conclude che, sebbene le interviste leggere a livello di prompt possano parzialmente rimodellare gli effetti posizionali, esse non risolvono completamente il problema, suggerendo che i sistemi multimodali più robusti e invarianti all'ordine potrebbero richiedere interventi architettonici o durante l'addestramento, oltre ai controlli attuali in fase di inferenza.