Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models

Probleemstelling

Hoewel Large Language Models (LLMs) aanzienlijke vooruitgang hebben geboekt in redeneren door technieken zoals Chain-of-Thought (CoT) en test-time reasoning (zoals OpenAI o1), blijft het uitbreiden van deze capaciteiten naar Multimodal Large Language Models (MLLMs) een grote uitdaging. De belangrijkste knelpunten zijn:

1. Schaarste aan data: Er is een gebrek aan hoogwaardige, langdurige redeneerdata voor visuele taken (afbeeldingen en video's), aangezien het verzamelen en annoteren hiervan duur en arbeidsintensief is.
2. Onderscheidende complexiteit: Visueel redeneren vereist niet alleen tekstuele logica, maar ook het begrijpen van ruimtelijke relaties en, in het geval van video, temporele coherentie en dynamische objectbewegingen.
3. Beperkte trainingstechnieken: Bestaande methoden voor CoT bij MLLMs leveren vaak suboptimale resultaten op. Directe supervisie met complexe redeneertrajecten werkt niet altijd goed, en bestaande versterkingsleerbenaderingen (zoals off-policy DPO) zijn instabiel voor lange-termijn redenering en video-verstaan.

Methodologie

Het paper introduceert een evolutionaire aanpak, beginnend met Insight-V en geëvolueerd naar Insight-V++, gebaseerd op een multi-agent architectuur en een zelf-evoluerend trainingsparadigma.

1. Data Generatie Pipeline

Om het gebrek aan data op te lossen, ontwikkelden de auteurs een schaalbaar, progressief systeem dat automatisch gestructureerde redeneertrajecten genereert:

• Progressieve Generatie: Een generator produceert stap-voor-stap redeneertrajecten in JSON-formaat.
• Multi-granulariteit Beoordeling: Een beoordelingssysteem filtert foutieve antwoorden en scoret de kwaliteit van de redeneerpaden (1-100) op basis van nauwkeurigheid en detail.
• Video-uitbreiding: Voor video's wordt een in-context scoring strategie gebruikt, waarbij een "gouden set" van hoogwaardige video-redeneervoorbeelden wordt gebruikt om het beoordelingsmodel te leiden, waardoor de kwaliteit van dynamische trajecten wordt gewaarborgd.

2. Multi-Agent Architectuur

In plaats van één model dat alles doet, wordt het probleem opgesplitst in twee gespecialiseerde agenten:

• Reasoning Agent: Genereert een gedetailleerd, stap-voor-stap redeneerproces voor een vraag.
• Summary Agent: Evalueert het gegenereerde redeneerproces, filtert fouten, en formuleert het definitieve antwoord. Dit agent is getraind om kritisch te zijn en niet blindelings fouten in het redeneerpad over te nemen.

3. Training en Versterkingsleer (RL)

• Insight-V (Fase 1): Gebruikt Supervised Fine-Tuning (SFT) gevolgd door Iterative Direct Preference Optimization (DPO). Dit stabiliseert de generatie van redeneerpaden, maar DPO is off-policy en heeft beperkingen voor lange-termijn redenering.
• Insight-V++ (Fase 2): Introduceert een on-policy Reinforcement Learning aanpak met twee nieuwe algoritmen:
  • ST-GRPO (Spatial-Temporal Group Relative Policy Optimization): Specifiek ontworpen voor de Reasoning Agent om ruimtelijk-temporele logica (vooral in video's) te verbeteren.
  • J-GRPO (Judgment GRPO): Ontworpen voor de Summary Agent om de robuustheid van de beoordeling en het eindantwoord te verhogen.
• Zelf-Evoluerende Strategie (Closed-Loop): De systemen zijn gekoppeld in een cyclus. De Summary Agent geeft feedback aan de Reasoning Agent, die het traject corrigeert. Deze verbeterde data wordt gebruikt om beide agenten opnieuw te trainen (SFT + RL), waardoor het systeem continu zichzelf verbetert zonder menselijke annotatie.

Belangrijkste Bijdragen

1. Schalbare Data Pipeline: Een volledig geautomatiseerd systeem voor het genereren van hoogwaardige, langdurige redeneerdata voor zowel afbeeldingen als video's, zonder menselijke tussenkomst.
2. Multi-Agent Systeem: Een architectuur die redeneren en samenvatten/evalueren ontkoppelt, wat leidt tot robuustere prestaties dan monolithische modellen.
3. Nieuwe RL Algoritmen (ST-GRPO & J-GRPO): Specifiek ontworpen versterkingsleermethoden die de stabiliteit en prestaties van on-policy learning voor visuele redenering verbeteren, met name voor video.
4. Zelf-Evoluerend Framework: Een gesloten lus waarbij het systeem autonoom zijn eigen trainingsdata genereert en verfijnt, waardoor het de beperkingen van statische datasets overwint.

Resultaten

De auteurs hebben Insight-V en Insight-V++ getest op diverse benchmarks (o.a. LLaVA-NeXT en Qwen2.5-VL als basismodellen):

• Afbeelding Redenering: Insight-V++ behaalde state-of-the-art resultaten op complexe redeneerbenchmarks (zoals MMMU, MathVista, ChartQA). Er werd een gemiddelde verbetering van +4.8% behaald op algemene benchmarks en +6.9% op video-benchmarks ten opzichte van sterke baselines.
• Video Redenering: Het model toonde aanzienlijke verbeteringen in het begrijpen van temporele dynamiek, causale relaties en ruimtelijke coherentie in video's. Op benchmarks zoals VideoMME en VideoMMMU overtrof het bestaande open-source modellen met een grote marge.
• Behoud van Perceptie: In tegenstelling tot veel andere methoden die redeneren ten koste gaan van visuele perceptie, behield Insight-V++ zijn sterke vaardigheden in traditionele visuele taken (zoals OCR en objectherkenning).
• Ablatie Studies: Deze toonden aan dat de multi-agent architectuur cruciaal is, dat iteratieve DPO beter werkt dan eenmalige training, en dat de zelf-evoluerende cyclus de grootste winst oplevert op de meest complexe taken.

Betekenis

Insight-V++ vertegenwoordigt een fundamentele doorbraak in multimodaal redeneren. Het paper lost het probleem van data-schaarste op door een autonome, zelf-evoluerende cyclus te creëren die hoogwaardige trainingsdata genereert. Door de overgang van statische, off-policy methoden naar dynamische, on-policy versterkingsleer (GRPO) voor zowel afbeeldingen als video's, pakt het paper de complexiteit van langdurig visueel redeneren effectief aan. Dit biedt een schaalbaar pad naar het ontwikkelen van AGI-achtige systemen die niet alleen zien, maar ook diep kunnen redeneren over complexe, dynamische wereldscènes.