NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

Título: NoisyGRPO: Incentivizando o Raciocínio Multimodal em Cadeia de Pensamento (CoT) via Injeção de Ruído e Estimação Bayesiana

1. Problema Identificado

O artigo aborda as limitações atuais dos modelos de linguagem multimodais (MLLMs) ao aplicar aprendizado por reforço (RL), especificamente o algoritmo GRPO (Group Relative Policy Optimization), para melhorar o raciocínio em cadeia de pensamento (CoT). Os autores identificam dois problemas principais que impedem a generalização eficaz desses modelos:

1. Exploração de Política Limitada: O GRPO padrão utiliza amostragem por temperatura para gerar múltiplos "rollouts" (trajetórias de resposta). No entanto, durante o treinamento, essas trajetórias tendem a convergir para saídas quase idênticas, resultando em uma exploração insuficiente e em uma política determinística prematura.
2. Falta de Supervisão de Processo: As recompensas baseadas em regras avaliam apenas a resposta final. Isso faz com que o modelo aprenda "atalhos" e alucinações visuais que funcionam nos dados de treinamento, mas falham em distribuições fora do treinamento (out-of-distribution).

Além disso, a injeção simples de ruído para forçar a exploração cria um cenário off-policy (a política que coleta dados com ruído difere da política alvo que opera com dados limpos), introduzindo viés na estimativa de vantagem e corrompendo o gradiente da política.

2. Metodologia: NoisyGRPO

Os autores propõem o NoisyGRPO, um framework unificado que melhora o GRPO através de duas inovações principais, sem adicionar custo computacional significativo:

A. Política de Exploração com Injeção de Ruído (Noise-Injected Exploration Policy)

• Mecanismo: Em vez de injetar ruído no modelo inteiro, o método aplica ruído gaussiano controlado diretamente nas imagens de entrada durante a fase de coleta de rollouts.
• Processo: Para cada amostra, um nível de ruído $n_i$ é amostrado de uma distribuição uniforme $U(0, 1)$. A imagem é perturbada usando um processo estilo difusão correspondente a esse nível de ruído.
• Objetivo: Forçar o modelo a explorar um espectro mais amplo de cenários visuais e evitar a convergência prematura para respostas idênticas. A política alvo (para atualização) ainda opera com imagens limpas para garantir estabilidade.

B. Estimação de Vantagem Bayesiana (Bayesian Advantage Estimation)

Para mitigar o viés introduzido pelo ruído (o problema off-policy), o NoisyGRPO reformula a estimativa de vantagem como um problema de inferência bayesiana:

• Priori (Prior): O nível de ruído injetado ($n_i$) é tratado como uma estimativa a priori da qualidade da trajetória. A lógica é que, se o modelo responde corretamente mesmo com ruído alto, a qualidade do raciocínio é intrinsecamente alta.
• Verossimilhança (Likelihood): A recompensa observada (baseada na correção semântica da resposta final) atua como a observação.
• Fusão Bayesiana: O método combina a priori (ruído) e a verossimilhança (recompensa) para calcular uma estimativa posterior robusta da vantagem da trajetória.
  • Se as recompensas dentro de um grupo variam muito, a incerteza da priori diminui (confia-se mais na recompensa observada).
  • Se as recompensas são consistentes apesar do ruído variável, a incerteza da priori aumenta, permitindo que o sinal de ruído guie a atualização da política.
• Resultado: Isso permite que o modelo aprenda a preferir trajetórias fundamentadas visualmente (que sobrevivem ao ruído) em detrimento de alucinações.

3. Contribuições Principais

1. Novo Framework de RL Multimodal: Proposta do NoisyGRPO, que sistematicamente melhora algoritmos como o GRPO para tarefas gerais de raciocínio multimodal.
2. Estratégia de Injeção de Ruído Estruturada: Uso de perturbação visual controlada para promover diversidade na exploração, resolvendo o problema de colapso de diversidade no GRPO padrão.
3. Método de Estimação Bayesiana: Introdução de uma abordagem principista para corrigir o viés off-policy, fundindo o nível de ruído com a recompensa observada para obter gradientes de política mais precisos e robustos.
4. Validação em Modelos de Pequena Escala: Demonstração de que o método é particularmente eficaz em MLLMs menores (ex: Qwen2.5-VL 3B), onde a generalização é mais crítica e difícil.

4. Resultados Experimentais

Os autores avaliaram o NoisyGRPO em três dimensões: Qualidade do CoT, Capacidade Geral e Alucinação.

• Benchmarks de Qualidade CoT (MME-CoT):
  • O NoisyGRPO superou consistentemente o GRPO padrão.
  • No modelo Qwen2.5-VL 3B, houve uma melhoria de +4.4 na qualidade do CoT e uma melhoria significativa na robustez.
  • O modelo NoisyGRPO-7B alcançou pontuações de robustez superiores a modelos proprietários como GPT-4o e Kimi K1.5 em certas métricas.
• Capacidade Geral (MMStar):
  • Ganhos de +3.7 na pontuação média do MMStar para o modelo de 3B e +2.8 para o de 7B em comparação com a linha de base.
  • Melhorias notáveis em tarefas que exigem compreensão visual granular (Percepção Granular e Raciocínio de Instância).
• Redução de Alucinações (AMBER):
  • O método reduziu as taxas de alucinação, embora tenha mostrado uma leve queda na métrica de "Cobertura" (Cov.), indicando que as respostas tendem a ser mais concisas e fundamentadas, evitando elaborações desnecessárias.
• Eficiência:
  • O NoisyGRPO produziu cadeias de pensamento (CoT) mais curtas e precisas em comparação ao GRPO, mantendo a mesma precisão de resposta.
  • O custo computacional (tempo de parede e uso de GPU) foi comparável ao do GRPO padrão.

5. Significado e Impacto

O NoisyGRPO representa um avanço significativo na aplicação de Aprendizado por Reforço em modelos multimodais. Ao resolver o dilema entre exploração (necessária para generalização) e estabilidade (necessária para convergência), o método oferece uma solução elegante:

• Generalização Robusta: Permite que modelos menores aprendam a raciocinar de forma mais confiável em cenários visuais variados, não apenas memorizando padrões de treinamento.
• Correção de Viés: A abordagem bayesiana fornece uma maneira teórica sólida de lidar com dados de treinamento perturbados, algo que métodos anteriores ignoravam ou tratavam de forma heurística.
• Aplicabilidade Prática: A eficiência do método o torna viável para implantação em modelos de tamanho moderado, democratizando o acesso a capacidades avançadas de raciocínio multimodal sem a necessidade de recursos computacionais massivos.

Em resumo, o trabalho demonstra que a injeção controlada de ruído, quando combinada com uma estimativa de vantagem inteligente e bayesiana, pode transformar a capacidade de raciocínio de modelos de visão e linguagem, tornando-os mais robustos, precisos e generalizáveis.