Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

Sintesi Tecnica: Chain-of-Caption: Miglioramento Training-Free di Modelli Large Language Multimodali su Referring Expression Comprehension

Problematica
La Referring Expression Comprehension (REC) è una sfida di lunga data nell'apprendimento visione-linguaggio, che richiede a un modello di localizzare un oggetto specifico all'interno di un'immagine basandosi su una descrizione testuale. Sebbene i Modelli Large Language Multimodali (MLLM) abbiano raggiunto un'elevata accuratezza (>80% a 0,5 Intersection over Union (IoU)) su benchmark come RefCOCO, essi faticano con soglie di IoU elevate (>0,7). Gli attuali modelli spesso falliscono quando l'oggetto target si trova sullo sfondo, è parzialmente occluso o quando esistono più istanze della stessa classe. Inoltre, gli approcci attuali mescolano vari strumenti di fornitura del contesto senza isolare il contributo specifico dei singoli componenti, lasciando poco chiaro l'origine dei guadagni di prestazione.

Metodologia
Gli autori propongono Chain-of-Caption, un framework training-free progettato per migliorare le prestazioni di REC di MLLM generalisti sfruttando le loro capacità multi-task (generazione di descrizioni localizzate, Visual Question Answering (VQA) e captioning di immagini) per raffinare iterativamente le predizioni. La metodologia opera attraverso le seguenti fasi:

1. Augmentation del Contesto: Il framework introduce sia contesti testuali che visivi.

   • Contesto Testuale (Grounded Description): L'MLLM viene istruito per rilevare un numero specificato di oggetti nell'immagine, restituendo una lista numerata contenente le descrizioni degli oggetti e le corrispondenti coordinate dei bounding box. Questa "descrizione localizzata" (grounded description) funge da ponte tra la query testuale e la scena visiva.
   • Contesto Visivo: Il framework utilizza il ritaglio (cropping) dell'immagine attorno a una regione inizialmente predetta per focalizzare l'attenzione del modello, e visualizza i bounding box per fornire una guida spaziale.

2. Raffinamento Iterativo (Chain-of-Caption):

   • Inizializzazione: Il modello genera una descrizione localizzata iniziale ($g$) e un bounding box iniziale ($b$) per il testo target ($t$).
   • Ciclo di Verifica: Il modello impiega la sua capacità di VQA per verificare se la regione ritagliata definita da $b$ corrisponde alla descrizione target, restituendo una risposta binaria "sì" o "no".
   • Correzione: Se la risposta è "no", il modello genera una didascalia ($c$) per la regione ritagliata fallita. Questa didascalia, insieme al precedente bounding box, viene aggiunta alla descrizione localizzata per aggiornare il contesto.
   • Ripercezione: Il modello utilizza questo contesto arricchito per generare una nuova predizione del bounding box ($b_{CoC}$). Questo processo si ripete finché la verifica non restituisce "sì" o viene raggiunto un numero massimo di tentativi.

Contributi Chiave

• Analisi degli Strumenti Contestuali: Il documento valuta sistematicamente gli effetti individuali dei contesti testuali (descrizioni di oggetti rispetto a descrizioni localizzate) e dei contesti visivi (cropping rispetto al disegno di bounding box) sulle prestazioni di REC.
• Framework Training-Free: Chain-of-Caption migliora le prestazioni di REC degli MLLM senza alcun fine-tuning, affidandosi esclusivamente al prompt engineering e alle capacità multi-task intrinseche del modello.
• Grounding Iterativo: Il framework combina in modo unico le descrizioni localizzate con un ciclo di autocorrezione utilizzando VQA e captioning per gestire compiti di localizzazione ambigui o difficili.

Risultati Sperimentali
Gli esperimenti sono stati condotti sui dataset RefCOCO, RefCOCO+, RefCOCOg e sul più impegnativo Ref-L4 utilizzando i modelli NVILA-8B, NVILA-15B e Qwen2.5-7B.

• Impatto del Contesto: Lo studio ha rilevato che, mentre le semplici descrizioni degli oggetti avevano un impatto minimo, le descrizioni localizzate hanno migliorato significativamente l'accuratezza alle soglie di IoU elevate (0,7 e 0,9), sebbene abbiano leggermente ridotto le prestazioni a 0,5 IoU. Il cropping ha migliorato l'accuratezza ad alta soglia ma ha degradato la prestazione a bassa soglia.
• Guadagni di Prestazione: Chain-of-Caption ha dimostrato miglioramenti sostanziali rispetto ai modelli baseline. Sul modello NVILA-8B, ha ottenuto un guadagno di prestazione dal 5% al 30% attraverso varie soglie di IoU. Nello specifico, su Ref-L4, il metodo ha migliorato l'Acc0.7 dal 30,28% al 56,63% (+26,35%) e l'Acc0,9 dal 2,82% al 25,16% (+22,34%).
• Scaling del Modello: Il framework si è dimostrato efficace su diverse dimensioni di modello. Notevolmente, mentre NVILA-15B sottoperformava rispetto a NVILA-8B nella sua forma base, Chain-of-Caption ha permesso a NVILA-15B di superare il modello più piccolo, suggerendo capacità di in-context learning superiori nei modelli più grandi.
• Limitazioni: Il metodo dipende dalla capacità del modello di seguire costantemente le istruzioni di formattazione (ad esempio, l'output JSON per i bounding box). Gli autori hanno notato che Qwen2.5-7B ha avuto difficoltà con la coerenza della formattazione dell'output nella sua forma base, richiedendo strategie di prompting specifiche per garantire l'affidabilità.

Significatività
Il paper afferma che Chain-of-Caption migliora sostanzialmente l'accuratezza del rilevamento dei bounding box, in particolare alle soglie di IoU più elevate (>0,7), risultando in bounding box meglio allineati. Isolando gli effetti dei diversi tipi di contesto, gli autori dimostrano che il grounding dei concetti testuali con le coordinate dei bounding box è il meccanismo più efficace per migliorare la REC. Il lavoro evidenzia come gli attuali MLLM possiedano la capacità latente di raffinare le proprie predizioni attraverso la generazione e la verifica iterativa del contesto, offrendo una via verso una localizzazione ad alta precisione senza il costo computazionale del retraining.