Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

Technische Samenvatting: Chain-of-Caption: Training-vrije verbetering van Multimodale Large Language Models op het gebied van Referring Expression Comprehension

Probleemstelling
Referring Expression Comprehension (REC) is een langdurige uitdaging binnen vision-language learning, waarbij een model een specifiek object in een afbeelding moet lokaliseren op basis van een tekstuele beschrijving. Hoewel Multimodale Large Language Models (MLLMs) een hoge nauwkeurigheid (>80% bij een 0,5 Intersection over Union (IoU)) hebben bereikt op benchmarks zoals RefCOCO, worstelen ze met hoge IoU-drempels (>0,7). Bestaande modellen falen vaak wanneer het doelobject zich op de achtergrond bevindt, gedeeltelijk wordt geoccludeerd, of wanneer er meerdere instanties van dezelfde klasse aanwezig zijn. Bovendien combineren huidige benaderingen vaak diverse context-biedende tools zonder de specifieke bijdrage van individuele componenten te isoleren, waardoor de bron van prestatiewinst onduidelijk blijft.

Methodologie
De auteurs stellen Chain-of-Caption voor, een training-vrij framework dat is ontworpen om de REC-prestaties van algemene MLLMs te verbeteren door gebruik te maken van hun multi-task capaciteiten (gegrondeerde beschrijving generatie, Visual Question Answering (VQA) en beeldonderschriften/image captioning) om voorspellingen iteratief te verfijnen. De methodologie werkt via de volgende stadia:

1. Context Augmentatie: Het framework introduceert zowel tekstuele als visuele contexten.

   • Textuele Context (Grounded Description): De MLLM wordt geprompt om een specifiek aantal objecten in de afbeelding te detecteren, waarbij een genummerde lijst wordt gegenereerd met objectbeschrijvingen en de bijbehorende bounding box coördinaten. Deze "gegronde beschrijving" dient als een brug tussen de tekstuele query en de visuele scène.
   • Visuele Context: Het framework maakt gebruik van image cropping rond een initieel voorspelde regio om de aandacht van het model te focussen, en visualiseert bounding boxes om ruimtelijke begeleiding te bieden.

2. Iteratieve Verfijning (Chain-of-Caption):

   • Initialisatie: Het model genereert een initiële gegronde beschrijving ($g$) en een initiële bounding box voorspelling ($b$) voor de doeltekst ($t$).
   • Verificatie-loop: Het model gebruikt zijn VQA-capaciteit om te verifiëren of de uitgesneden regio gedefinieerd door $b$ overeenkomt met de doelbeschrijving, waarbij een binaire "ja" of "nee" wordt geretourneerd.
   • Correctie: Als het antwoord "nee" is, genereert het model een caption ($c$) voor de gefaalde uitgesneden regio. Deze caption, samen met de vorige bounding box, wordt toegevoegd aan de gegronde beschrijving om de context bij te werken.
   • Re-predictie: Het model gebruikt deze verrijkte context om een nieuwe bounding box voorspelling ($b_{CoC}$) te genereren. Dit proces herhaalt zich totdat de verificatie "ja" teruggeeft of een maximaal aantal pogingen is bereikt.

Belangrijkste Bijdragen

• Analyse van Contextuele Tools: Het paper evalueert systematisch de individuele effecten van tekstuele contexten (objectbeschrijvingen versus gegronde beschrijvingen) en visuele contexten (cropping versus het tekenen van bounding boxes) op de REC-prestaties.
• Training-vrij Framework: Chain-of-Caption verbetert de MLLM-prestaties zonder enige fine-tuning, vertrouwend op louter prompt engineering en de inherente multi-task vermogens van het model.
• Iteratieve Grounding: Het framework combineert uniek gegronde beschrijvingen met een zelfcorrectie-loop met behulp van VQA en captioning om ambigue of moeilijke lokalisatietaken aan te pakken.

Experimentele Resultaten
Experimenten werden uitgevoerd op de RefCOCO, RefCOCO+, RefCOCOg en de meer uitdagende Ref-L4 datasets met behulp van de NVILA-8B, NVILA-15B en Qwen2.5-7B modellen.

• Impact van Context: De studie vond dat hoewel eenvoudige objectbeschrijvingen minimale impact hadden, gegronde beschrijvingen de nauwkeurigheid bij hoge IoU-drempels (0,7 en 0,9) significant verbeterden, hoewel ze de prestaties bij een 0,5 IoU licht verminderden. Cropping verbeterde de prestaties bij hoge drempels, maar verslechterde de prestaties bij lage drempels.
• Prestatiewinst: Chain-of-Caption demonstreerde substantiële verbeteringen ten opzichte van baseline modellen. Op het NVILA-8B model behaalde het een prestatiewinst van 5% tot 30% over diverse IoU-drempels. Specifiek op Ref-L4 verbeterde de methode Acc0.7 van 30,28% naar 56,63% (+26,35%) en Acc0.9 van 2,82% naar 25,16% (+22,34%).
• Model Scaling: Het framework bleek effectief over verschillende modelgroottes heen. Opvallend genoeg, terwijl NVILA-15B in zijn basisvorm onderpresteerde ten opzichte van NVILA-8B, stelde Chain-of-Caption NVILA-15B in staat om het kleinere model te overtreffen, wat wijst op superieure in-context leervermogens in grotere modellen.
• Beperkingen: De methode is afhankelijk van het vermogen van het model om consistent instructies voor formattering op te volgen (bijv. JSON output voor bounding boxes). De auteurs merkten op dat Qwen2.5-7B moeite had met consistente output-formattering in zijn basisvorm, wat specifieke prompting-strategieën vereiste om betrouwbaarheid te garanderen.

Betekenis
Het paper beweert dat Chain-of-Caption de nauwkeurigheid van bounding box detectie substantieel verbetert, met name bij hogere IoU-drempels (>0,7), wat resulteert in beter uitgelijnde bounding boxes. Door de effecten van verschillende contexttypes te isoleren, demonstreren de auteurs dat het grondig verbinden van tekstuele concepten met bounding box coördinaten het meest effectieve mechanisme is voor het verbeteren van REC. Het werk benadrukt dat bestaande MLLMs over de latente capaciteit beschikken om hun eigen voorspellingen te verfijnen door middel van iteratieve contextgeneratie en verificatie, wat een pad biedt naar hoog-precieze lokalisatie zonder de computationele kosten van hertraining.