Resumo Técnico: MARS – Normalização de Vantagem Ancorada em Mono para Raciocínio Visual Multi-Fonte

Declaração do Problema

Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tenha avançado o raciocínio visual, os métodos existentes lutam ao processar entradas multi-fonte (por exemplo, RGB, infravermelho, profundidade, multi-visão). As abordagens atuais tipicamente tratam dados multi-fonte como uma simples acumulação de informações, operando sob a suposição de que "ver mais significa saber mais". No entanto, este artigo identifica uma limitação crítica: quando as fontes diferem significativamente em propriedades físicas e semânticas, a integração ingênua pode introduzir interferência ou ruído em vez de ganho de informação.

Em cenários onde uma fonte possui um sinal dominante e confiável (por exemplo, infravermelho em condições de baixa luminosidade) enquanto outras estão degradadas ou irrelevantes, os frameworks padrão de RLVR frequentemente falham em distinguir entre fusão benéfica e conflito prejudicial. Consequentemente, o desempenho do raciocínio multi-fonte pode degradar-se abaixo do nível do raciocínio mono-fonte forte. Os frameworks existentes carecem de mecanismos explícitos para modelar a interação dinâmica entre fontes ou para quantificar se a integração de uma fonte adicional produz um ganho de informação positivo em relação a uma linha de base mono-fonte.

Metodologia: MARS

Para abordar esses desafios, os autores propõem o MARS (Normalização de Vantagem Ancorada em Mono para Raciocínio Multi-Fonte). Este framework trata cada modalidade visual como uma fonte de informação independente e modela explicitamente o ganho de informação introduzido pela fusão multi-fonte.

Mecanismo Central

A inovação central do MARS é o uso de recompensas mono-fonte como âncoras dinâmicas para normalizar as vantagens de trajetórias multi-fonte durante o treinamento de RLVR.

1. Geração de Dupla Trajetória: Para uma instância de treinamento dada (pergunta $q$ e múltiplas imagens $i$), o modelo de política $\pi_\theta$ gera dois tipos de trajetórias:

   • Trajetórias multi-fonte ($G_{multi}$): O modelo processa todas as imagens disponíveis conjuntamente.
   • Trajetórias mono-fonte ($G_{mono}$): O modelo processa cada imagem individualmente emparelhada com a entrada de texto.

2. Normalização Híbrida de Vantagem: Em vez de calcular estatísticas de vantagem apenas a partir de trajetórias multi-fonte, o MARS calcula uma média e um desvio padrão híbridos usando a união de recompensas mono-fonte e multi-fonte ($G_{multi} \cup G_{mono}$). A vantagem $A_j$ para uma trajetória multi-fonte é calculada como:
   $$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{mean}(G_{multi} \cup G_{mono})}{\text{std}(G_{multi} \cup G_{mono})}$$

3. Regulação Adaptativa:

   • Supressão de Conflito: Se uma fonte específica for dominante e a fusão multi-fonte introduzir ruído (resultando em recompensas mais baixas do que a âncora mono-fonte), as estatísticas de normalização deslocam-se para suprimir o sinal multi-fonte conflitante, guiando o modelo em direção ao comportamento mono-fonte confiável.
   • Ênfase na Promoção: Se a fusão multi-fonte produzir uma recompensa mais alta do que a linha de base mono-fonte (indicando ganho genuíno de informação), o algoritmo incentiva a exploração além das pistas mono-fonte, quantificando efetivamente o "ganho de informação multi-fonte".

Fundamentação Teórica

Os autores fornecem análise teórica para apoiar o método:

• Não Viesamento: O algoritmo proposto garante que a expectativa da estimativa do gradiente permaneça equivalente à otimização on-policy padrão, assegurando que nenhum viés seja introduzido.
• Decomposição do Gradiente: A atualização do gradiente é mostrada como equivalente à maximização da recompensa multi-fonte padrão mais um termo de regularização baseado no Ganho de Informação Multi-Fonte ($\Delta IG$). Este termo representa a diferença entre as recompensas esperadas de trajetórias multi-fonte e mono-fonte. Um $\Delta IG$ negativo indica conflito de modalidade, enquanto um valor positivo indica promoção mútua.

Principais Contribuições

1. Identificação de uma Limitação Central: O artigo revela que o raciocínio visual multi-fonte existente pode degradar sistematicamente o desempenho devido a interferência de modalidade não modelada, desafiando a suposição de que mais entradas sempre equivalem a melhor conhecimento.
2. Framework Inovador (MARS): Os autores desenham um método que introduz recompensas mono-fonte como âncoras para medir quantitativamente o ganho de informação durante a normalização de vantagem. Isso permite regulação adaptativa de diferentes fontes sem exigir redesenho arquitetural ou correção off-policy.
3. Validação Empírica: Experimentos extensivos em diversos conjuntos de dados (profundidade, infravermelho, multi-visão, ricos em texto) e algoritmos de RL (GRPO, DAPO) demonstram melhorias consistentes de desempenho.

Resultados Experimentais

Os autores avaliaram o MARS em quatro tarefas multi-fonte usando os modelos Qwen2.5-VL-3B e 7B. As principais descobertas incluem:

• Ganhos de Desempenho: O MARS alcançou melhorias significativas sobre os métodos de RLVR de base. Especificamente, produziu ganhos de desempenho médios de 3,2% e 4,9% nos frameworks GRPO e DAPO, respectivamente, na métrica de raciocínio multi-fonte.
• Melhorias em Tarefas Específicas: Ganhos notáveis foram observados nos conjuntos de dados infravermelho (3,8%) e multi-visão (7,0%).
• Robustez: O método demonstrou robustez superior contra degradações visuais (ruído gaussiano, desfoque de movimento, oclusão), mantendo alta precisão onde as linhas de base sofreram quedas de desempenho.
• Eficiência: A abordagem requer apenas um único modelo de política e gera amostras mono-fonte modificando as entradas, evitando a sobrecarga de armazenamento de replay de experiência ou correção off-policy. A sobrecarga computacional é moderada, com o benefício principal derivando do mecanismo de âncora em vez de volume aumentado de trajetórias.
• Análise Qualitativa: Estudos de caso mostraram que o MARS prioriza com sucesso fontes informativas (por exemplo, infravermelho em baixa luminosidade) e suprime fontes irrelevantes ou ruidosas (por exemplo, imagens de profundidade branqueadas), levando a um raciocínio e fundamentação mais precisos em comparação com o GRPO padrão.

Significado e Alegações

O artigo alega que o MARS oferece uma solução geral e eficaz para melhorar o desempenho do raciocínio visual em cenários multi-fonte. Ao modelar explicitamente a interação dinâmica entre fontes e quantificar o ganho de informação, o método resolve o conflito entre "ver mais" e "saber mais".

Os autores enfatizam que sua abordagem:

• Não depende de frameworks de treinamento específicos (compatível com GRPO e DAPO).
• Não requer alterações arquitetônicas no modelo subjacente.
• Fornece uma maneira principiante de lidar com conflitos e promoções de modalidade, levando a trajetórias de otimização mais estáveis e interpretáveis.
• Valida que alavancar dinamicamente recompensas mono-fonte como âncoras guia efetivamente os modelos a focar em fontes informativas enquanto suprimem ruído, confirmando que o raciocínio multi-fonte eficaz requer distinguir entre ganho de informação e interferência.