From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

Título: Da Exploração à Exploração: Uma Abordagem de RLVR com Entropia em Duas Etapas para Treinamento Tolerante a Ruído de MLLMs

1. Problema e Contexto

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem se mostrado eficaz para aprimorar o raciocínio em Modelos de Linguagem Grandes Multimodais (MLLMs), superando o ajuste fino supervisionado (SFT) em tarefas como raciocínio matemático e geração de código. No entanto, a implementação prática do RLVR enfrenta um obstáculo crítico: a dependência de dados de alta qualidade e rotulados corretamente.

Em cenários do mundo real, os conjuntos de dados frequentemente contêm ruído de anotação (rótulos incorretos). Quando métodos existentes de RLVR (como o GRPO - Group Relative Policy Optimization) são treinados com dados ruidosos, eles tendem a:

1. Sobreajustar (Overfit) aos rótulos incorretos.
2. Suprimir a diversidade de respostas, o que é essencial para o cálculo de vantagens informativas no GRPO. Se o modelo converge prematuramente para uma única resposta (mesmo que errada), o mecanismo de comparação em grupo falha em identificar trajetórias melhores.

Métodos atuais baseados em sinais externos (como compiladores ou LLMs como juízes) ou internos (recompensas aleatórias) mostram desempenho inconsistente sob ruído. Métodos baseados em entropia pura (apenas minimização ou apenas maximização) também falham: a minimização pura leva a comportamentos determinísticos prematuros, enquanto a maximização pura impede a convergência.

2. Metodologia Proposta

Os autores propõem um método de Otimização Guiada por Entropia em Duas Etapas (Two-Stage Entropy-Guided RLVR) que dinamiza o treinamento, transitando de uma fase de exploração para uma de exploração (exploitation).

A. Entropia a Nível de Token
Diferente da entropia de sequência, o método foca na entropia de cada token gerado. A entropia do token $t$ mede a incerteza da distribuição de probabilidade do modelo naquele passo.

• Objetivo: Controlar a diversidade das respostas geradas pelo modelo durante o treinamento.

B. O Esquema de Duas Etapas
A função de perda total combina a perda padrão do GRPO ($\mathcal{L}_{GRPO}$) com um termo de entropia ($\mathcal{L}_{entropy}$) ponderado por um coeficiente $\lambda(\tau)$ que varia com o passo de treinamento $\tau$:

$$\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda(\tau) \mathcal{L}_{entropy}$$

O coeficiente $\lambda(\tau)$ segue uma função de agendamento (schedule) em duas fases:

1. Fase 1: Exploração (Maximização de Entropia)

   • Quando: Início do treinamento ($\tau \le \tau_{switch}$).
   • Ação: $\lambda(\tau) = +\lambda_{max}$.
   • Objetivo: Maximizar a entropia. Isso encoraja o modelo a gerar respostas diversas e variadas.
   • Benefício: Atua como um regularizador que impede a convergência prematura para rótulos ruidosos. Garante que haja variação intra-grupo suficiente para que o GRPO calcule vantagens confiáveis e descubra trajetórias corretas mesmo com dados sujos.

2. Fase 2: Exploração/Consolidação (Minimização de Entropia)

   • Quando: Fim do treinamento ($\tau > \tau_{switch}$).
   • Ação: $\lambda(\tau) = -\lambda_{min}$.
   • Objetivo: Minimizar a entropia.
   • Benefício: Encoraja o modelo a produzir saídas confiantes e determinísticas, consolidando o conhecimento adquirido e refinando a precisão preditiva após a fase de exploração.

3. Contribuições Principais

• Análise Abrangente de Ruído: Avaliação sistemática do impacto de diferentes taxas de anotação ruidosa (de 0% a 100%) em múltiplas arquiteturas de modelos (Qwen2-VL, Qwen2.5-VL, InternVL) e tarefas (Grounding em GUI, Classificação de Imagem, Detecção de Objetos).
• Identificação de Limitações: Demonstração de que a otimização de entropia deve ser dinâmica. Métodos estáticos (apenas minimização ou apenas maximização) falham em equilibrar robustez e convergência sob ruído.
• Método Proposto: Introdução de uma estratégia de agendamento de entropia que alterna entre maximização e minimização, superando o GRPO padrão e métodos de estado da arte em cenários ruidosos.

4. Resultados Experimentais

Os experimentos foram conduzidos em tarefas de Grounding em GUI (ScreenSpot), Classificação de Imagem (Pets37) e Detecção de Objetos (OVOD).

• Desempenho sob Ruído:

  • No conjunto de dados ScreenSpot com 50% de rótulos ruidosos, o método proposto (GRPO w. Two.) alcançou 80.2% de precisão, superando o GRPO padrão (76.2%) e o GRPO com minimização de entropia (77.4%).
  • Em cenários extremos de 100% de ruído, o método proposto manteve uma precisão de 75.8%, enquanto o GRPO padrão caiu para 71.0%.
  • O método superou consistentemente as abordagens de sinais externos (como LLM-as-a-Judge) e internos (recompensas aleatórias/formato).

• Generalização e Escalabilidade:

  • O método demonstrou ganhos significativos em diferentes tamanhos de modelos (de 2B a 7B parâmetros). Modelos maiores (ex: Qwen2-VL-7B) beneficiaram-se ainda mais da estratégia de duas etapas.
  • Generalização Fora de Distribuição (OOD): O modelo treinado com a estratégia de duas etapas manteve alta performance em benchmarks não vistos durante o treinamento (ScreenSpot-Pro, OS-World-G), indicando melhor transferência de conhecimento.

• Análise Qualitativa:

  • A visualização das trilhas de raciocínio (reasoning traces) mostrou que a minimização pura de entropia leva a um colapso imediato em um único caminho de pensamento (frequentemente errado sob ruído).
  • A estratégia de duas etapas manteve a diversidade inicial necessária para explorar soluções corretas e, posteriormente, convergiu para a resposta precisa.

5. Significado e Conclusão

Este trabalho estabelece que a otimização de entropia deve ser agendada dinamicamente para ser eficaz no RLVR com dados ruidosos. Ao separar o treinamento em fases de exploração (diversidade) e exploração (confiança), o método:

1. Mitiga o sobreajuste a rótulos incorretos.
2. Preserva a diversidade de respostas necessária para o mecanismo de vantagem do GRPO.
3. Permite que MLLMs aprendam de forma robusta a partir de dados imperfeitos do mundo real, onde anotações limpas são escassas.

A abordagem proposta oferece uma solução prática e escalável para treinar modelos multimodais avançados em ambientes com ruído, superando as limitações das abordagens atuais que tratam a entropia de forma estática.