Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models

1. O Problema

O avanço das Grandes Linguagens (LLMs) para raciocínio complexo através de "Chain-of-Thought" (CoT) e paradigmas como o OpenAI o1 não foi totalmente replicado em Modelos de Linguagem Multimodais (MLLMs). Existem três desafios principais identificados pelos autores:

• Escassez de Dados: Falta de conjuntos de dados de alta qualidade, longos e estruturados para raciocínio visual (imagens e vídeos), devido ao alto custo de anotação humana e à ausência de pipelines de geração automática eficazes.
• Limitações de Treinamento: Abordagens atuais de treinamento (como CoT direto ou DPO fora de política) são frequentemente ineficazes para raciocínio visual de longo prazo, levando a erros cumulativos e falta de robustez.
• Complexidade Espaço-Temporal: A transição do raciocínio estático (imagens) para dinâmico (vídeos) exige que os modelos rastreiem objetos, compreendam sequências de ações e mantenham coerência espaço-temporal, algo que os pipelines de dados e treinamento existentes não conseguem capturar adequadamente.

2. Metodologia

Os autores propõem uma evolução de dois estágios: Insight-V (fundação) e Insight-V++ (avanço).

A. Pipeline de Geração de Dados Escalável

• Geração Progressiva: Um gerador de raciocínio produz trajetórias estruturadas em JSON (resumo do passo, detalhe, ação de continuar/resumir) de forma iterativa.
• Avaliação Multi-Granularidade: Um sistema de avaliação automatizado filtra respostas erradas e pontua os caminhos de raciocínio (de 1 a 100) com base na precisão passo a passo e no nível de detalhe.
• Adaptação para Vídeo: Para vídeos, introduz-se uma estratégia de pontuação "in-context", utilizando exemplos dourados (golden examples) de modelos de ponta para guiar o avaliador na avaliação de coerência temporal.

B. Arquitetura Multi-Agente

O sistema decompõe a tarefa em dois agentes especializados:

1. Agente de Raciocínio (Reasoning Agent): Focado exclusivamente em gerar um processo de raciocínio detalhado e estruturado para a entrada.
2. Agente de Resumo (Summary Agent): Avalia criticamente o caminho de raciocínio gerado, identifica erros, filtra informações irrelevantes e formula a resposta final. Isso previne que erros intermediários corrompam a resposta final.

C. Estratégias de Treinamento

• Insight-V (Fase Inicial): Utiliza Supervised Fine-Tuning (SFT) seguido de Iterative Direct Preference Optimization (DPO). O DPO iterativo ajuda a alinhar o agente de raciocínio com preferências humanas, refinando o processo de geração.
• Insight-V++ (Fase Avançada): Substitui o DPO (que é off-policy e instável para RL) por algoritmos de Reinforcement Learning (RL) On-Policy baseados em GRPO (Group Relative Policy Optimization):
  • ST-GRPO (Spatial-Temporal GRPO): Otimizado para o Agente de Raciocínio. Utiliza recompensas compostas para tarefas de raciocínio padrão, temporal grounding (IoU) e "Video Jigsaw" (reconstrução de sequência), forçando o modelo a dominar a lógica espaço-temporal.
  • J-GRPO (Judgement GRPO): Otimizado para o Agente de Resumo. Utiliza uma estratégia de currículo com pesos adaptativos para recompensar tanto a detecção de falhas no raciocínio quanto a precisão da resposta final.
• Auto-Evolução em Loop Fechado: O Agente de Resumo fornece feedback rigoroso ao Agente de Raciocínio. O Agente de Raciocínio refina seus caminhos com base nesse feedback, e os dados gerados de alta qualidade são usados para retreinar todo o sistema, criando um ciclo contínuo de auto-improvação sem necessidade de novas anotações humanas.

3. Principais Contribuições

1. Pipeline Unificado de Dados Espaço-Temporal: Uma estratégia escalável para gerar automaticamente dados de raciocínio de longo prazo para imagens e vídeos, utilizando avaliação multi-granular e exemplos in-context para vídeos.
2. Algoritmos de RL Específicos (ST-GRPO e J-GRPO): Novos algoritmos que superam as limitações do DPO, fornecendo sinais de recompensa estáveis e específicos para melhorar a alinhamento espaço-temporal do raciocínio e a robustez da avaliação.
3. Sistema de Auto-Evolução: Uma arquitetura onde os agentes cooperam e co-evoluem através de um loop de feedback iterativo, permitindo que o sistema escale suas capacidades de raciocínio continuamente sem dependência de dados anotados manualmente.
4. Desempenho SOTA: Demonstra que a decomposição de tarefas em agentes especializados supera abordagens monolíticas em benchmarks complexos.

4. Resultados

Os experimentos foram realizados em base modelos robustos (LLaVA-NeXT e Qwen2.5-VL) em diversos benchmarks:

• Raciocínio de Imagem: O Insight-V++ alcançou ganhos consistentes. No Qwen2.5-VL, houve um aumento de +4.8% em benchmarks gerais de raciocínio e uma pontuação média de 53.9 em tarefas de alta complexidade, superando todos os modelos anteriores baseados na mesma arquitetura.
• Raciocínio de Vídeo: O framework obteve uma melhoria média de +6.9% em seis benchmarks de vídeo (incluindo VideoMME, VideoMMMU, VideoHolmes).
  • Destaque no VideoMMLU (STEM e fórmulas dinâmicas), onde o modelo saltou de 37.5% para 48.4%, aproximando-se do desempenho do GPT-4o.
  • No VideoMMMU (conhecimento profissional), alcançou 57.6%, superando significativamente concorrentes de código aberto como Video-R1.
• Preservação de Percepção: O sistema melhorou o raciocínio sem degradar as capacidades tradicionais de percepção visual (OCR, detecção de objetos), mantendo-se competitivo em tarefas de visão pura.

5. Significância

O Insight-V++ representa um avanço fundamental na direção de uma Inteligência Artificial Geral (AGI) visual. Ao resolver o gargalo da escassez de dados através da geração automática e estabilizar o treinamento de raciocínio de longo prazo via RL on-policy e auto-evolução, o trabalho estabelece um caminho escalável e sem anotação humana para desenvolver modelos de raciocínio visual de próxima geração. A capacidade de transitar fluentemente entre imagens estáticas e vídeos complexos, mantendo coerência lógica e temporal, posiciona esta arquitetura como um marco para aplicações em robótica, condução autônoma e análise científica multimodal.