Vero: An Open RL Recipe for General Visual Reasoning

Título: Vero: Uma Receita Aberta de RL para Raciocínio Visual Geral

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) atuais demonstram capacidades promissoras em raciocínio visual, mas as melhores performances são alcançadas por sistemas proprietários (como GPT-5 e Qwen3-VL) cujos pipelines de Aprendizado por Reforço (RL) e dados de treinamento são secretos.

• Falta de Transparência: As receitas (receitas de treinamento) proprietárias impedem a reprodução científica, a análise de falhas e a compreensão de quais componentes (dados, recompensas, algoritmos) realmente impulsionam o desempenho.
• Limitação de Escopo: Esforços abertos existentes focam predominantemente em nichos específicos, como matemática visual (ex: OpenMMReasoner, VL-Rethinker), falhando em generalizar para outras capacidades visuais críticas como compreensão de gráficos, orientação espacial e seguimento de instruções abertas.
• Desafio do RL Multi-tarefa: Aplicar RL em tarefas visuais heterogêneas é difícil devido a interferências entre tarefas, transferência fraca e desequilíbrio de otimização, a menos que a distribuição de dados e o design de recompensas sejam cuidadosamente estruturados.

2. Metodologia

O trabalho introduz o Vero, uma família de VLMs totalmente aberta, treinada com uma receita única de RL baseada em dados diversificados e recompensas roteadas por tarefa.

A. Construção do Dataset Vero-600K

• Escala e Diversidade: Um conjunto de dados de 600.000 amostras compilado a partir de 59 datasets distintos.
• Categorização: Os dados são divididos uniformemente em 6 categorias de tarefas, cobrindo capacidades visuais distintas:
  1. STEM: Raciocínio matemático, diagramas e ciência.
  2. Espacial & Ação: Navegação de UI, entendimento 3D e robótica.
  3. Conhecimento & Reconhecimento: VQA combinando reconhecimento de objetos com conhecimento de mundo.
  4. Gráficos & OCR: Extração e raciocínio sobre informações estruturadas (tabelas, infográficos).
  5. Ancoragem, Contagem & Busca: Localização de objetos, contagem e busca visual.
  6. Legendas & Seguimento de Instruções: Descrições abertas e seguimento de prompts complexos.
• Pipeline de Curadoria:
  • Seleção Heurística e Manual: Filtragem de datasets com baixa qualidade, ambiguidade ou formatos incompatíveis.
  • Filtragem de Perguntas: Uso de um LLM forte (Qwen3-VL-235B) para remover perguntas ambíguas, irrelevantes ou não verificáveis.
  • Filtragem de Respostas: Normalização de respostas (ex: remover unidades em números, padronizar múltipla escolha) para garantir cálculo estável de recompensas.

B. Treinamento com RL (Reinforcement Learning)

• Algoritmo: Utilização de GSPO (Group Sequence Policy Optimization), uma variação do GRPO que opera em nível de sequência, oferecendo maior estabilidade e preservação da capacidade de exploração (entropia) comparado ao PPO ou GRPO padrão.
• Design de Recompensas (Task-Routed Rewards): Em vez de uma única função de recompensa, o sistema utiliza um roteador que seleciona a verificação de resposta apropriada baseada no tipo de tarefa:
  • Correspondência de String/Números: Para respostas exatas.
  • Verificação Matemática (Math-Verify): Para problemas simbólicos.
  • LLM-as-Judge: Para respostas abertas e instruções complexas, com diretrizes estritas para evitar "hacking" de recompensa (ex: penalizar autoavaliação).
  • IoU/F1: Para tarefas de ancoragem (bounding boxes).
• Mistura de Dados: A mistura uniforme das 6 categorias (100k amostras cada) mostrou-se superior a esquemas ponderados por dificuldade ou tamanho do dataset, promovendo transferência positiva entre tarefas.

C. Avaliação (VeroEval)

• Introdução do VeroEval, uma suíte de avaliação abrangente com 30 benchmarks cobrindo todas as 6 categorias, projetada para testar a generalização e o raciocínio profundo.

3. Principais Contribuições

1. Receita Aberta de Ponta: O primeiro framework totalmente aberto (dados, código e modelos) que iguala ou supera modelos proprietários de ponta em raciocínio visual geral.
2. Vero-600K: Um dataset massivo e diversificado que demonstra que a diversidade de tarefas é o motor principal do sucesso do RL, superando a especialização em nichos.
3. Análise de Transferência Cruzada: Evidência empírica de que treinar em uma única categoria de tarefa frequentemente resulta em transferência negativa para outras. A mistura balanceada é essencial para evitar colapso de capacidades (ex: treinar apenas em STEM degrada a capacidade de chat visual).
4. Comportamentos de Cadeia de Pensamento (CoT): Descoberta de que diferentes categorias de tarefas elicitem padrões de raciocínio qualitativamente distintos (ex: tarefas STEM exigem backtracking elevado, enquanto tarefas de ancoragem favorecem busca visual direta). O modelo misto aprende a alternar entre esses modos cognitivos.

4. Resultados

• Desempenho Geral: O modelo Vero-Qwen3T-8B (treinado a partir do Qwen3-VL-8B-Thinking) alcançou o estado da arte entre modelos de 8B parâmetros, superando o Qwen3-VL-8B-Thinking (proprietário) em 24 de 30 benchmarks do VeroEval, sem usar dados proprietários de "pensamento".
• Ganhos Consistentes:
  • Melhoria de +3.7 a +5.5 pontos em média sobre quatro modelos base diferentes (Qwen2.5-VL, Qwen3-VL, MiMo-VL).
  • Superação do modelo MiMo-VL-7B-RL (que usa uma receita proprietária) em 3 das 6 categorias, provando que a receita aberta pode superar sistemas fechados.
  • Ganhos significativos em categorias negligenciadas por outros métodos abertos, como Gráficos & OCR (+8.5 pontos) e Ancoragem/Busca (+8.6 pontos).
• Curvas de Aprendizado: O Vero-600K superou ou igualou conjuntos de dados abertos anteriores (ViRL-39k, OpenMMReasoner-74k) em todas as categorias desde os estágios iniciais do treinamento.
• Ablações:
  • A mistura uniforme de tarefas superou ponderações baseadas em dificuldade ou tamanho.
  • O design de recompensas roteadas superou significativamente o uso de uma única verificação matemática (math_verify).
  • O RL superou o Fine-Tuning Supervisionado (SFT) em todas as categorias, indicando que o RL é crucial para aprender estratégias de raciocínio adaptativas.

5. Significado e Impacto

O trabalho Vero estabelece um novo paradigma para o desenvolvimento de VLMs de raciocínio:

• Democratização: Prova que é possível alcançar desempenho de ponta sem dados ou pipelines proprietários, permitindo que a comunidade científica reproduza e estude o estado da arte.
• Importância da Diversidade: Demonstra que, para o raciocínio visual, a amplitude da cobertura de tarefas é tão crítica quanto a sofisticação algorítmica. A diversidade de dados mitiga interferências e permite que o modelo aprenda um repertório cognitivo flexível.
• Insights Cognitivos: Oferece uma janela para como os modelos adaptam seus comportamentos de raciocínio (como backtracking vs. busca direta) dependendo da tarefa, sugerindo que o RL multi-tarefa bem-sucedido ensina o modelo a selecionar estratégias cognitivas apropriadas, análogo à mudança de tarefas na cognição humana.

Em resumo, o Vero fornece a "receita" completa para construir um raciocinador visual geral, desafiando a noção de que dados e pipelines fechados são necessários para o avanço em IA multimodal.