All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

Título: All Roads Lead to Rome: Incentivizando o Pensamento Divergente em Modelos Visão-Linguagem

1. O Problema

O artigo aborda uma limitação fundamental nos Modelos Visão-Linguagem (VLMs) treinados com Aprendizado por Reforço (RL), especificamente utilizando o algoritmo Group Relative Policy Optimization (GRPO). Embora o RL tenha demonstrado melhorar as capacidades de raciocínio dos VLMs, os autores identificam um fenômeno crítico chamado "colapso de diversidade" (diversity collapse).

• Comportamento dos Modelos Base vs. RL:
  • Modelos Base: Apresentam um pensamento mais divergente. Embora possam ser menos refinados em um único caminho de raciocínio, eles exploram uma variedade mais ampla de estratégias e perspectivas alternativas.
  • Modelos RL (GRPO): Tendem a um pensamento convergente e profundo. Eles otimizam excessivamente um único caminho de raciocínio dominante, descartando alternativas potenciais precocemente.
• Consequências do Colapso de Diversidade:
  • Ótimos Locais: O modelo converge prematuramente para um subconjunto limitado de estratégias, falhando em explorar soluções globais ótimas.
  • Escalabilidade Pobre: Em tarefas complexas onde a estratégia padrão falha, os modelos RL não conseguem encontrar alternativas, enquanto os modelos base (que tentam múltiplas abordagens) têm maior taxa de sucesso quando amostrados várias vezes (test-time scaling).
  • Fragilidade: Em casos de falha, os embeddings de raciocínio do modelo RL são densamente agrupados em uma região estreita, cobrindo apenas uma pequena fração do espaço de soluções possíveis.

2. Metodologia Proposta: MUPO

Para resolver o colapso de diversidade, os autores propõem o Multi-Group Policy Optimization (MUPO), uma substituição direta e eficaz para o GRPO.

• Conceito Central: O MUPO incentiva o pensamento divergente dividindo as respostas geradas em múltiplos grupos, onde cada grupo representa uma estratégia de raciocínio distinta.
• Mecanismo de Funcionamento:
  1. Particionamento: As $N$ respostas amostradas são divididas em $K$ grupos ($G_1, G_2, ..., G_K$) com base em similaridade de embeddings de raciocínio (agrupamento restrito).
  2. Estimativa de Vantagem Local: Diferente do GRPO, que calcula vantagens globalmente, o MUPO calcula a vantagem ($\hat{A}$) dentro de cada grupo. Isso permite que cada modo de raciocínio seja refinado independentemente.
  3. Recompensa de Diversidade: Introduz-se uma recompensa adicional ($R_{div}$) que mede a distância entre os embeddings de um grupo e os de todos os outros grupos. Isso penaliza a convergência excessiva e incentiva a separação entre os grupos.
  4. Função de Objetivo: O objetivo total é uma composição ponderada dos objetivos GRPO de cada grupo, mais a recompensa de diversidade.
     $$J_{MUPO} = \sum_{k=1}^{K} w_k \cdot J_{GRPO}(G_k) + \text{Recompensa de Diversidade}$$
  5. Agendamento (Annealing): O peso da recompensa de diversidade ($\lambda$) segue um cronograma de decaimento (cosseno). Começa alto para fomentar a exploração ampla no início do treinamento e diminui gradualmente para focar na exploração de soluções ótimas globais nas fases finais.

3. Contribuições Principais

1. Identificação de Comportamento Fundamental: Evidenciam a distinção comportamental entre modelos RL (profundos, mas estreitos) e modelos base (menos refinados, mas diversificados), mostrando que a diversidade é crucial para resolver problemas complexos.
2. Diagnóstico do Colapso de Diversidade: Demonstram empiricamente que o GRPO sofre de um colapso de diversidade precoce durante o treinamento, levando a ótimos locais e limitando a escalabilidade em tempo de teste.
3. Algoritmo MUPO: Propõem um algoritmo simples, mas eficaz, que integra pensamento paralelo (divergente) no processo de RL, permitindo que o modelo explore múltiplas estratégias simultaneamente enquanto refina cada uma delas.
4. Validação Empírica: Demonstram que o MUPO supera modelos de base e outros modelos RL fortes em diversos benchmarks, estabelecendo um novo estado da arte (SOTA).

4. Resultados Experimentais

Os autores avaliaram o modelo MUPO-Thinker (baseado em Qwen2.5-VL de 3B e 7B parâmetros) em nove benchmarks de raciocínio (matemáticos e gerais).

• Desempenho Geral (Acc@1):
  • O MUPO-Thinker-7B alcançou ganhos médios de 2,5% em benchmarks matemáticos e 2,3% em benchmarks de propósito geral em comparação com os melhores resultados anteriores.
  • O MUPO-Thinker-3B superou modelos de base e RL de mesma escala, com ganhos de até 2,4%.
• Escalabilidade em Tempo de Teste (Acc@4):
  • O MUPO demonstrou capacidades de escalabilidade superiores. No MUPO-Thinker-7B, houve um aumento de 6,0% em benchmarks matemáticos e 6,2% em benchmarks gerais ao permitir 4 tentativas de amostragem (Acc@4).
  • O modelo de 3B com MUPO atingiu desempenho comparável a modelos de base de 7B, demonstrando alta eficiência.
• Análise Qualitativa:
  • Visualizações t-SNE mostraram que, ao contrário do GRPO (que forma clusters densos e estreitos), o MUPO mantém uma estrutura multimodal, com grupos distintos representando estratégias diferentes (ex: contagem sequencial vs. contagem por exclusão).
  • Em casos de falha do GRPO, o MUPO conseguiu encontrar a solução correta explorando caminhos alternativos que o GRPO havia descartado.

5. Significado e Impacto

O trabalho é significativo porque desafia a suposição de que o RL deve apenas refinar um único caminho de raciocínio para atingir o máximo desempenho. Ao introduzir o MUPO, os autores provam que:

• A diversidade de raciocínio é tão importante quanto a profundidade para a resolução de problemas complexos em VLMs.
• É possível preservar a capacidade de exploração dos modelos base enquanto se aproveita a capacidade de auto-reflexão e refinamento do RL.
• O método oferece uma solução escalável e eficiente para superar os limites de desempenho atuais, permitindo que modelos menores (3B) rivalizem com modelos maiores (7B) através de uma melhor estratégia de treinamento.

Em resumo, o MUPO "incentiva o pensamento divergente", garantindo que, assim como "todos os caminhos levam a Roma", o modelo explore múltiplos caminhos para encontrar a solução correta, evitando ficar preso em estratégias subótimas.