CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning

Technische Samenvatting: CineCap

Probleemdefinitie

Cinematografische bijschrijving (captioning) beoogt te beschrijven hoe een video gefilmd is met behulp van professionele beeldtaalconcepten, in plaats van enkel te beschrijven wat er in de scène gebeurt. Deze taak vereist het genereren van verenigde, open-vorm beschrijvingen die zes specifieke dimensies dekken: camera movement (beweging), shot size (shotgrootte), shooting angle (camerastandpunt), depth of field (scherptediepte), composition (compositie) en subject orientation (oriëntatie van het onderwerp).

De auteurs identificeren drie primaire uitdagingen in dit domein:

1. Fijnmazige Inferentie: Modellen moeten subtiele visuele aanwijzingen onderscheiden (bijv. het verschil tussen camerabeweging en beweging van het onderwerp, of tussen een close-up en een medium close-up) om professionele concepten af te leiden.
2. Temporele Compositionaliteit: Cinematografische patronen zijn vaak dynamisch en samengesteld; een enkele video kan meerdere camera-gedragingen bevatten die zich in de loop van de tijd ontwikkelen, wat vereist dat er temporele lokalisatie plaatsvindt in plaats van een enkele statische label.
3. Volledigheid versus Accuratesse: Als een taak voor dichte bijschrijving (dense captioning) moet de output zowel feitelijk correct als dekkend zijn voor alle relevante dimensies. Bestaande benaderingen hebben vaak moeite met het balanceren van deze aspecten, waarbij ze vaak volledigheid opofferen voor accuratesse of vice versa.

Huidige multimodale grote taalmodellen (MLLM's) pakken dit grotendeels aan via visual question answering (VQA) of beperkte herkenning van camerabeweging, maar falen in het produceren van verenigde, multidimensionale beschrijvingen.

Methodologie: CineCap Framework

De auteurs stellen CineCap voor, een tweefasig framework dat ontworpen is om de generatie van bijschriften te funderen in expliciet visueel bewijs, terwijl het een balans vindt tussen beschrijvende volledigheid en feitelijke juistheid.

1. Spatio-Temporele Anker-gebaseerde Gestructureerde Redenering

Om de complexiteit van het afleiden van professionele concepten aan te pakken, introduceert het framework Spatio-Temporele Ankers:

• Ruimtelijke Ankers (Spatial Anchors): Deze funderen abstracte filmconcepten in observeerbaar visueel bewijs. Zo wordt camerabeweging bijvoorbeeld afgeleid van de beweging van statische achtergrondreferenties, en wordt de shotgrootte bepaald door de schaal van het onderwerp.
• Temporele Ankers (Temporal Anchors): Deze binden dynamische attributen aan specifieke tijdsintervallen (bijv. $[t_s, t_e]$), waardoor het model samengestelde patronen kan beschrijven waarbij het cameragedrag gedurende de duur van een clip verandert.

2. Fase 1: Supervised Fine-Tuning (SFT) met Atomaire CoT

In plaats van onbeperkte langvormige redenering, construeren de auteurs atomaire chain-of-thought (CoT) supervisie.

• Atomaire Structuur: Redenering wordt georganiseerd in compacte eenheden. Voor dynamische attributen is het formaat [Temporele Anker] [Ruimtelijke Anker] → Statement. Voor statische attributen worden directe statements gebruikt.
• Data Constructie: Vertrekkend vanuit handmatig geannoteerde video-bijschrift paren, herstelt het systeem het visuele bewijs dat ten grondslag ligt aan elk beschrijving om een "bewijs-naar-antwoord" CoT te creëren. Dit levert 80.000 trainingssamples op.
• Doel: Deze fase leert het model om visueel bewijs te organiseren in gestructureerde, multidimensionale redenering zonder te vertrouwen op onnodig lange redeneerketens.

3. Fase 2: Reinforcement Learning met GRPO

Het SFT-model wordt verder geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO) om de afweging tussen volledigheid en accuratesse te verbeteren.

• LLM-as-a-Judge: Een LLM evalueert gegenereerde bijschriften door ze te ontleden in atomaire statements over de zes dimensies, en vergelijkt deze met de grondwaarheid (ground truth) om het volgende te berekenen:
  • Volledigheidsscore ($s_{cmp}$): Het aandeel van de grondwaarheid dat wordt gedekt.
  • Accuratesse Score ($s_{acc}$): De feitelijke juistheid van de gegenereerde inhoud.
• Gated Coverage Reward: Om te voorkomen dat het model de voorkeur geeft aan korte, conservatieve bijschriften (die de accuratesse verhogen maar de volledigheid schaden) of lange, hallucinerende bijschriften, wordt een gated coverage reward geïntroduceerd.
  • Deze beloning straft de discrepantie tussen het aantal voorspelde atomaire statements en het aantal grondwaarheid statements af ($|N_{gt} - N_{pred}|$).
  • Gating Mechanisme: De coverage reward wordt alleen geactiveerd als de accuratesse score een drempelwaarde ($\tau$) overschrijdt. Dit zorgt ervoor dat het model prioriteit geeft aan feitelijke juistheid voordat het probeert de beschrijvende volledigheid te vergroten.

Belangrijkste Bijdragen

1. Nieuw Perspectief: Het artikel herkadert het begrip van cinematografie door de generatie van bijschriften te funderen in expliciet spatio-temporeel visueel bewijs, waarbij de interactie tussen cinematografische attributen en temporele compositie wordt geadresseerd.
2. CineCap Framework: Een verenigd systeem dat spatio-temporele anker-gebaseerde gestructureerde redenering combineert met een gated coverage reward mechanisme. Dit bereikt een gebalanceerde afweging tussen de volledigheid van de beschrijving en de accuratesse.
3. CineCap Bench: De constructie van de eerste uitgebreide benchmark voor cinematografische bijschrijving, bestaande uit 472 handmatig geannoteerde video-bijschrift paren die diverse cinematografische aspecten dekken.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat CineCap zowel propriëtaire (bijv. Gemini-3.1-Pro) als open-source baselines (bijv. Qwen3-VL, InternVL) overtreft op alle metrieken.

Experimentele Resultaten

Geëvalueerd op de CineCap Bench, behaalt het model significante verbeteringen ten opzichte van sterke baselines:

• Algemene Prestaties: CineCap behaalt een algemene F1-score van 73,57, waarmee het de sterkste baseline (Gemini-3.1-Pro) met 32,41% overtreft (52,45 vs. 73,57).
• Dimensie-specifieke Winsten:
  • Camera Movement: F1 verbeterde van ~40-52 (baselines) naar 57,44 (gemiddelde van Cmp/Acc).
  • Depth of Field: Behaalde 81,29 (gemiddelde van Cmp/Acc), een enorme sprong vanaf baselines die rond de 47-48 schommelden.
  • Camera Angle: Behaalde 89,20, waarmee het andere modellen aanzienlijk verslaat.
• Ablatie-studies:
  • Het vervangen van directe caption SFT door Atomic CoT SFT verbeterde de F1 met ~1 punt, wat de waarde van gestructureerde supervisie bevestigt.
  • Het toevoegen van GRPO met het voorgestelde reward design verbeterde de F1 verder met ~3,36 punten.
  • De gated coverage reward bleek superieur aan eenvoudige lengtestrafs (length penalties), die de neiging hadden de volledigheid te verhogen ten koste van de accuratesse.

Betekenis en Claims

Het artikel claimt dat CineCap een nieuwe standaard (state of the art) vestigt voor cinematografische bijschrijving. De betekenis ligt in:

• Verder gaan dan VQA: De verschuiving van beperkte herkenning naar verenigde, open-vorm generatie die de multidimensionale aard van filmtaal vastlegt.
• Mogelijk maken van Controleerbare Generatie: Het bieden van een fundament voor controleerbare, filmkwaliteit video-generatie, waarbij nauwkeurige modellering van camera-attributen essentieel is.
• Methodologische Rigor: Het aantonen dat het combineren van expliciete spatio-temporele redenering met een zorgvuldig ontworpen reward mechanisme (specifiek de gated coverage reward) effectief is voor het balanceren van de concurrerende doelstellingen van accuratesse en volledigheid in dichte video-bijschrijving.

De auteurs concluderen dat hun werk verder onderzoek naar cinematografisch begrip bevordert en taken ondersteunt die een controleerbare cinematografische video-generatie vereisen.