Resumo Técnico: Melhorando a Robustez da Generalização de RLVR Multimodal

1. Declaração do Problema

O artigo aborda a lacuna de robustez de prompt em Modelos de Linguagem de Grande Escala Multimodais (MLLMs) ajustados via Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Embora o RLVR melhore significativamente a precisão em benchmarks padrão ao otimizar contra sinais determinísticos (ex: correspondência de regex ou verificação simbólica), esses ganhos são frágeis. Os autores observam que simplesmente parafrasear uma pergunta ou alterar o template do prompt pode causar uma degradação acentuada no desempenho, tornando os modelos não confiáveis para implantações de alto risco (ex: VQA médico ou jurídico).

Os autores identificam duas causas raízes dentro do objetivo padrão de RLVR:

1. Emaranhamento de Recompensa: Verificadores binários padrão (ex: $V = V_f \cdot V_c$) confundem conformidade de formato ($V_f$) com correção semântica ($V_c$). Uma recompensa zero não consegue distinguir entre um modelo que falhou em entender a tarefa e um que meramente falhou em seguir o formato de saída. Isso leva a uma perda de variância informativa da recompensa, particularmente quando a conformidade de formato é alta, fazendo com que o sinal do gradiente se torne enviesado para comportamentos específicos de templates em vez de um raciocínio geral.
2. Dependência de Prompt: O RLVR padrão otimiza sobre uma distribuição de treinamento fixa ($P_{train}$). A análise teórica (Proposição B.5) demonstra que este objetivo é não-identificável: políticas que performam perfeitamente nos templates de treinamento, mas falham em prompts semanticamente equivalentes não vistos, podem alcançar a mesma recompensa de treinamento. Consequentemente, o modelo aprende a explorar templates de prompt específicos em vez de aprender um raciocínio invariante ao prompt.

2. Metodologia: RLVR Invariante ao Prompt (PIRL)

Para abordar esses problemas, os autores propõem o RLVR Invariante ao Prompt (PIRL), que operacionaliza duas condições de design: Decomposição de Recompensa (C1) e Controle de Invariância (C2).

2.1. Recompensa Trinária Dinâmica (DTR)

Para satisfazer a Decomposição de Recompensa, o PIRL substitui o verificador binário padrão por uma Recompensa Trinária Dinâmica:
$$R = R_t + \alpha_{rew} R_s$$

• $R_t$ (Verificador Trinário Consciente de Formato): Atribui $+1$ para uma resposta correta no formato correto, $0$ para uma resposta errada no formato correto, e $-1$ para uma falha de formato. Isso desacopla a conformidade de formato da correção semântica.
• $R_s$ (Pontuação Semântica): Uma pontuação semântica limitada (derivada de um classificador NLI) que fornece variância dentro dos grupos de formato. Mesmo que o formato esteja correto, $R_s$ pode diferenciar graus de correção semântica.
• Normalização de Vantagem Desacoplada (DAN): Para evitar que a escala da pontuação semântica domine o sinal trinário durante a normalização de grupo, os autores propõem o z-score de $R_t$ e $R_s$ separadamente dentro de cada grupo de rollout antes de combiná-los.

2.2. Adversário no Espaço de Embedding e Regularização de Consistência

Para satisfazer o Controle de Invariância, o PIRL introduz um loop de treinamento adversarial:

• Agente Adversário: Um adversário perturba os embeddings de tokens de instrução dentro de uma bola $\ell_2$ limitada ($\|\delta\|_2 \le \epsilon_{emb}$). Isso simula a reescrita de pior caso das instruções sem alterar a entrada visual ou a resposta de verdade fundamental (ground-truth). O adversário visa minimizar a recompensa DTR esperada da política.
• Regularização de Consistência: Para garantir que a política não colapse sob essas perturbações, uma perda de consistência é adicionada. Esta perda minimiza a divergência de Kullback-Leibler (KL) entre as distribuições de tokens da política sob o prompt limpo e o prompt adversarial (perturbado). Isso atua como um substituto tratável para impor invariância de nível de resposta através da classe de equivalência semântica.

2.3. Objetivo de Treinamento

O objetivo geral combina a perda GRPO clipada (usando vantagens normalizadas por DAN do DTR) com a penalidade de consistência:
$$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$$
onde $\bar{q}$ representa as amostras adversárias congeladas geradas via ascensão projetada.

3. Principais Contribuições

1. Identificação da Lacuna de Robustez de Prompt: O artigo revela formalmente que o RLVR padrão leva ao overfitting em formatos de prompt, criando uma lacuna onde os modelos degradam em prompts parafraseados, apesar da alta precisão de treinamento.
2. Formulação Teórica: Os autores formalizam a robustez de prompt como otimização sobre classes de equivalência semântica. Eles provam que recompensas binárias padrão causam um viés de variância de recompensa e que o objetivo de treinamento sofre de não-identificabilidade em relação a políticas invariantes ao prompt.
3. Framework PIRL: Eles propõem um método concreto (PIRL) que instancia a decomposição de recompensa via DTR e o controle de invariância via um adversário no espaço de embedding e regularização de consistência.
4. Validação Empírica: Experimentos extensos em benchmarks de VQA de Exame, Médico e Jurídico demonstram que o PIRL reduz significativamente as quedas de desempenho sob testes de estresse em comparação com o GRPO padrão e baselines de múltiplos templates.

4. Resultados Experimentais

Os autores avaliaram o PIRL no Qwen2.5-VL-7B e Qwen3-VL-8B em três domínios:

• Teste de Estresse de Template (T-Stress): Modelos foram testados em prompts com números variados de templates não vistos ($N=1$ a $15$).
  • O GRPO padrão mostrou degradação significativa (ex: $\Delta T \approx -4,4\%$ no MathVista para o Qwen2.5).
  • O PIRL manteve a estabilidade, frequentemente mostrando quedas positivas ou negligenciáveis (ex: $\Delta T \approx +0,3\%$ no MathVista).
  • O PIRL superou o baseline Multi-Template (GRPO-MT), que mitigou apenas parcialmente o problema.
• Avaliação Dinâmica (D-Test): Usando mutações baseadas em operadores (parafraseamento, mudanças de layout, etc.).
  • O PIRL consistentemente alcançou a menor queda média de desempenho em todos os benchmarks comparado ao GRPO e GRPO-MT.
  • Em domínios de alto risco (Médico e Jurídico), o PIRL preservou a precisão onde o GRPO degradou significativamente (ex: no PathVQA, o GRPO caiu $-6,7\%$ enquanto o PIRL caiu apenas $-0,8\%$).
• Estudos de Ablação: A configuração completa do PIRL (MT + ADV + DTR) rendeu os melhores resultados. Embora a ablação não tenha isolado definitivamente a necessidade individual de DTR ou do adversário além do baseline de múltiplos templates em todas as métricas, a combinação proporcionou o desempenho mais robusto sem custo detectável.

5. Significância e Alegações

O artigo alega que o PIRL restaura a robustez dos modelos ajustados por RLVR para um nível comparável ou superior ao modelo base, fechando efetivamente a lacuna de robustez de prompt.

• Confiabilidade: O método é particularmente significativo para domínios de alto risco (médico, jurídico), onde a incapacidade de um modelo lidar com instruções reescritas o torna não confiável, independentemente de sua precisão bruta.
• Mecanismo: O trabalho demonstra que a fragilidade do RLVR não é uma limitação inerente ao aprendizado por reforço, mas uma consequência do emaranhamento de recompensa e da cobertura de treinamento limitada. Ao desacoplar o formato da semântica e impor a invariância, o modelo aprende a generalizar através da classe de equivalência semântica em vez de memorizar templates.
• Modéstia: Os autores reconhecem que a robustez não garante a correção (um modelo estável ainda pode estar confidentemente errado) e que seu objetivo de invariância é um relaxamento tratável da classe de equivalência semântica total (operando no espaço de embedding em vez de no espaço de tokens discretos). Eles posicionam o PIRL como um método para apoiar, não substituir, o julgamento humano especialista em domínios críticos.