Resumo Técnico: Raciocínio Visual Latente Semântico Enriquecido (SLVR)

1. Declaração do Problema

O raciocínio no espaço latente multimodal visa substituir o "pensamento com imagens" explicitamente computacionalmente caro (por exemplo, recortes iterativos, invocação de ferramentas) realizando o raciocínio visual diretamente dentro de um espaço latente compacto. No entanto, as abordagens existentes enfrentam duas limitações primárias:

1. Falta de Riqueza Semântica: Os métodos atuais geralmente dependem apenas de supervisão visual, fazendo com que as representações latentes codifiquem pistas de nível de aparência, enquanto falham em preservar explicitamente o conteúdo semântico de granularidade fina (por exemplo, propriedades de objetos, estados, interações) necessário para tarefas de raciocínio diversas.
2. Otimização de Tarefa Única: O treinamento latente é frequentemente impulsionado por uma única consulta ou formulação de tarefa. Não há um mecanismo unificado para alinhar como uma única representação latente enriquecida deve suportar tipos de consulta diversos e granularidades de raciocínio fundamentadas na mesma região visual.

Consequentemente, os latentes existentes carecem da informação semântica estrutural necessária para lidar robustamente com tarefas de raciocínio em nível de região, onde múltiplas perspectivas semânticas devem ser abordadas simultaneamente.

2. Metodologia

Os autores propõem o Raciocínio Visual Latente Semântico Enriquecido (SLVR), um framework de aprendizado em duas etapas projetado para enriquecer representações latentes com semântica visual de nível de atributo e alinhá-las com objetivos de raciocínio diversos.

2.1. Construção de Dados (SLV-Set)

Para suportar o framework, os autores construíram o SLV-Set, compreendendo dois componentes complementares baseados no Visual-CoT:

• Conjunto de Dados Semântico de Nível de Atributo: Aproximadamente 400 mil anotações de atributos em nível de região. Usando o Qwen3-VL-235B, o sistema gera perfis semânticos estruturados para regiões-chave, cobrindo aparência (cor, forma, material), ações, interações, atributos espaciais e texto. Estes são codificados em embeddings semânticos de 4096 dimensões para servir como sinais de supervisão de granularidade fina.
• Conjunto de Dados de Múltiplas Consultas: Aproximadamente 800 mil pares de perguntas e respostas onde duas perguntas semanticamente distintas são fundamentadas na mesma região visual, sondando diferentes aspectos semânticos.

Adicionalmente, o SV-QA é introduzido como um benchmark (591 amostras pareadas) para avaliar a robustez do raciocínio latente sob variação semântica, estendendo benchmarks existentes (V*, HRBench-4K, HRBench-8K) ao consultar a mesma região a partir de múltiplas perspectivas.

2.2. Etapa 1: Aprendizado Latente Estruturado

Na primeira etapa, o modelo aprende representações latentes centradas em região que integram explicitamente evidência visual com semântica de nível de atributo.

• Construção de Entrada: Uma imagem e uma pergunta são processadas. Uma região de interesse (ROI) é codificada em um segmento latente visual ($H_{vis}$). Um token especial <sem> é inserido para gerar um único latente semântico ($z_{sem}$).
• Alinhamento Visual: Os tokens latentes visuais são alinhados com as características do codificador de visão usando uma perda de erro quadrático médio (MSE) para preservar detalhes visuais de granularidade fina.
• Alinhamento Semântico: O latente semântico ($z_{sem}$) é projetado e alinhado com o embedding semântico de nível de atributo pré-calculado ($e$) usando perda MSE. Isso força o latente a capturar atributos estruturados (por exemplo, "segurando uma câmera", "jaqueta verde").
• Objetivo: $L_{stage1} = L_{vis} + L_{sem}$.

2.3. Etapa 2: Otimização de Política Relativa de Grupo Multi-consulta (M-GRPO)

A segunda etapa refina os latentes aprendidos para garantir que eles suportem consistentemente objetivos de raciocínio diversos.

• Mecanismo: Dadas múltiplas perguntas ($q_1, q_2$) fundamentadas na mesma região, o modelo gera pares latentes correspondentes. O M-GRPO realiza atualizações de política para otimizar esses latentes conjuntamente.
• Componentes de Recompensa:
  1. Correção da Resposta: Recompensa respostas corretas para cada consulta (avaliadas por um juiz externo).
  2. Consistência Latente: Penaliza a divergência entre os latentes gerados para diferentes consultas ($q_1$ vs. $q_2$) fundamentadas na mesma região, garantindo que a representação latente permaneça estável através de variações semânticas.
  3. Regularização de Estabilidade: Ancora os latentes otimizados à distribuição aprendida na Etapa 1 usando uma formulação baseada em margem para evitar desvios excessivos.
• Otimização: O framework usa um objetivo de Otimização de Política Relativa de Grupo (GRPO), atualizando a política sobre grupos de consultas fundamentadas em região para encorajar representações que são simultaneamente eficazes para múltiplas consultas semânticas.

3. Principais Contribuições

1. Framework SLVR: Um paradigma de aprendizado em duas etapas que enriquece representações latentes com semântica visual de nível de atributo de granularidade fina e as alinha com demandas de raciocínio diversas via M-GRPO.
2. Conjunto de Dados SLV-Set: Um recurso em grande escala contendo ~400 mil anotações de atributos em nível de região e ~800 mil amostras de QA de múltiplas consultas, fornecendo a supervisão necessária para o enriquecimento semântico e o alinhamento latente.
3. Benchmark SV-QA: Um novo benchmark de avaliação projetado para testar a robustez do raciocínio latente sob variação semântica, consultando a mesma região visual a partir de múltiplas perspectivas semânticas.
4. Validação Empírica: Experimentos extensivos demonstrando que o SLVR melhora a robustez do raciocínio e a consistência semântica em comparação com baselines de raciocínio latente existentes e abordagens "think-with-image".

4. Resultados Experimentais

Experimentos foram conduzidos em benchmarks padrão de VQA (OKVQA, GQA, VizWiz, ChartQA, TextVQA, AI2D) e no benchmark proposto SV-QA.

• Benchmarks Padrão: O SLVR-7B superou métodos anteriores de raciocínio latente (por exemplo, LVR) e manteve-se competitivo com baselines "think-with-image" (por exemplo, GRIT, DeepEyes). Ganhos notáveis foram observados no OKVQA (+11,2% sobre o LVR) e no VizWiz (+24,7%).
• Benchmark SV-QA: O SLVR alcançou desempenho superior na métrica "Ambas Corretas" (correção conjunta de duas perguntas distintas na mesma região) em V*, HRBench-4K e HRBench-8K. Por exemplo, no HRBench-8K, o SLVR melhorou a pontuação "Ambas Corretas" em +4,0% sobre o LVR.
• VisualPuzzles: O SLVR alcançou a melhor precisão geral (34,2%) em comparação com o LVR (29,4%), com melhorias significativas nas categorias de raciocínio Dedutivo (+5,0) e Espacial (+7,4).
• Estudos de Ablação: Os resultados confirmaram que a supervisão semântica da Etapa 1 e as restrições de consistência do M-GRPO são críticas. Baselines apenas de texto, mesmo com treinamento de múltiplas consultas, ficaram atrás das variantes de raciocínio latente na manutenção de fundamentação consistente através de múltiplas perspectivas semânticas.

5. Significado e Alegações

O artigo afirma que o SLVR aborda a lacuna crítica no raciocínio multimodal atual, indo além da supervisão puramente visual para representações latentes semânticamente enriquecidas. Os autores argumentam que:

• Operações visuais explícitas (recortes) são computacionalmente ineficientes, enquanto latentes puramente visuais carecem de profundidade semântica.
• Ao supervisionar explicitamente latentes com semântica de nível de atributo e impor consistência através de múltiplas consultas, os modelos podem alcançar raciocínio mais robusto e semanticamente consistente sem a sobrecarga de manipulação visual explícita.
• O framework proposto permite que representações latentes suportem flexivelmente tarefas diversas e granularidades de raciocínio fundamentadas na mesma evidência visual, oferecendo uma alternativa escalável ao "pensamento com imagens" explícito.

O trabalho é posicionado como um avanço no campo do aprendizado de máquina, especificamente no aprimoramento da eficiência e da fidelidade semântica do raciocínio latente multimodal.