Resumo Técnico: Calibração Consciente de Classificação para Aprendizado por Reforço Multimodal Confiável

1. Declaração do Problema

Embora o pós-treinamento por Aprendizado por Reforço (RL) tenha aprimorado significativamente a precisão do raciocínio em Modelos Visão-Linguagem (VLMs) e Modelos de Linguagem Grandes Multimodais (MLLMs), esses modelos frequentemente sofrem de má calibração. Especificamente, recompensas de correção terminal — comumente usadas em RL baseado em resultados — não penalizam erros confiantes mais do que erros incertos, nem impõem uma relação entre confiança e a qualidade das evidências visuais de suporte.

Essa incompatibilidade estrutural torna-se crítica sob entradas visuais corrompidas ou ambíguas. Nessas situações, os modelos frequentemente geram raciocínios fluentes, mas incorretos, mantendo alta confiança, levando a "raciocínio autoritário equivocado" ou alucinação. Métodos de calibração existentes, como escalonamento de temperatura post-hoc ou elicitação verbalizada de confiança, operam em modelos congelados e não podem alterar o comportamento aprendido pela política em relação à confiança. Além disso, objetivos padrão apenas de texto não levam em conta a degradação das evidências visuais, um desafio único no raciocínio multimodal, onde a confiança deve atenuar-se à medida que a qualidade da evidência diminui.

2. Metodologia: O Framework RAC

Os autores propõem a Calibração Consciente de Classificação (RAC), um framework de tempo de treinamento que integra a calibração como um objetivo nativo dentro do RL multimodal. O RAC aproveita a estrutura existente do RL baseado em grupos (especificamente a Otimização de Política Relativa de Grupo, ou GRPO) para gerar sinais de supervisão sem exigir anotações externas de confiança.

O framework introduz dois sinais de supervisão relativa derivados da amostragem de RL:

A. Perda de Grupo Consciente de Classificação (Dentro do Prompt)

Esta perda aborda a ordenação da confiança entre múltiplas soluções candidatas (desdobramentos) para o mesmo prompt.

• Mecanismo: Para um prompt dado $x$, a política amostra um grupo de $n$ desdobramentos. O método identifica pares onde um desdobramento está correto (maior pontuação do verificador) e outro está incorreto.
• Objetivo: Impõe uma restrição baseada em margem onde o desdobramento correto deve receber uma pontuação de confiança maior do que o incorreto ($c_{melhor} > c_{pior} + m_{rank}$).
• Efeito: Isso força a política a distinguir entre caminhos de raciocínio corretos e incorretos. Ao exigir que o modelo atribua confiança discernivelmente maior a respostas corretas, reforça a qualidade do raciocínio subjacente, melhorando assim a precisão da tarefa além do que as recompensas de correção isoladamente alcançam.

B. Perda Pares Limpo–Corrompido (Entre Evidências)

Esta perda aborda a relação entre confiança e a qualidade da evidência visual.

• Mecanismo: Para cada prompt limpo $x^{(0)}$, uma versão sinteticamente corrompida $x^{(s)}$ é gerada (usando operadores ImageNet-C com severidade variável $s$). A política amostra desdobramentos para ambas as versões.
• Objetivo: Impõe uma restrição direcional onde a confiança na visão corrompida deve ser menor do que na visão limpa, com a lacuna necessária escalando com a severidade da corrupção ($c_{limpo} > c_{corrompido} + m_{corr} + \alpha s$).
• Efeito: Isso ensina o modelo a atenuar a confiança quando a evidência visual se degrada, reduzindo o Erro de Calibração Esperado (ECE) e a pontuação de Brier sob entradas degradadas.

C. Otimização Unificada

Essas duas perdas são convertidas em recompensas de modelagem em nível de sequência e integradas ao objetivo padrão do GRPO. A recompensa final para um desdobramento $i$ é:
$$\tilde{r}_i = r_{tarefa, i} + \lambda_{rank} r_{rank, i} + \lambda_{corr} r_{corr, i} + \lambda_{fmt} r_{fmt, i}$$
onde $r_{tarefa}$ é a recompensa padrão de correção, e os outros termos são derivados das perdas de classificação e corrupção. Esta abordagem não requer alterações no otimizador subjacente ou na arquitetura do modelo.

3. Contribuições Principais

1. Visão de Supervisão Relativa: O artigo identifica que o RL baseado em resultados padrão carece de restrições direcionais sobre a confiança. Demonstra que essas restrições podem ser supervisionadas usando comparações já inerentes à amostragem de RL (grupos de desdobramentos dentro do prompt e pares limpo–corrompido correspondentes), eliminando a necessidade de rótulos externos de confiança.
2. O Framework RAC: Uma formalização desses eixos de supervisão em perdas de classificação e pares baseadas em margens. Estas são distribuídas de volta em recompensas em nível de sequência, criando um objetivo de calibração unificado compatível com qualquer pipeline de pós-treinamento de RL baseado em grupos.
3. Avaliação Empírica sob Corrupção: Avaliação extensa em seis benchmarks de raciocínio multimodal usando os backbones Qwen2.5-VL e InternVL-3.5. O estudo cobre entradas limpas e cinco níveis de corrupção visual progressiva (ImageNet-C).

4. Resultados Experimentais

Os autores avaliaram o RAC em três famílias de modelos (Qwen2.5-VL-3B/7B e InternVL-3.5-8B) em seis benchmarks (M3CoT, ScienceQA, MathVerse, MMMU, We-Math, MathVision).

• Melhorias na Calibração: A perda de corrupção par (+Pair) reduziu substancialmente o ECE e as pontuações de Brier (por exemplo, uma redução de 13,4% no ECE para o InternVL-3.5-8B), deixando a precisão da tarefa largely inalterada. Isso confirma seu papel no ensino da atenuação da confiança sem otimizar diretamente para a correção da resposta.
• Melhorias na Precisão: A perda consciente de classificação (+Rank) melhorou consistentemente a precisão da tarefa (por exemplo, um ganho absoluto de 11,9% para o InternVL-3.5-8B), incentivando a política a atribuir maior confiança a caminhos de raciocínio corretos.
• Desempenho Combinado: A combinação de ambas as perdas (+Pair+Rank) alcançou o melhor desempenho em ambas as dimensões na maioria das configurações. Para o InternVL-3.5-8B, a combinação reduziu o ECE em 13,4% e a pontuação de Brier em 18,1% em relação ao Vanilla-RL, enquanto aumentava simultaneamente a precisão em 24,2%.
• Severidade de Corrupção no Treinamento: O estudo encontrou uma relação não monótona entre a força da corrupção no treinamento e a generalização. Corrupção leve (severidade $T_{0.2}$) forneceu a melhor transferência de calibração, enquanto corrupção excessiva ($T_{0.6}$ e acima) desestabilizou o sinal de supervisão e degradou o desempenho.

5. Significado e Alegações

O artigo alega que o RAC aborda uma lacuna estrutural no RL multimodal onde a confiança não está explicitamente ligada à qualidade do raciocínio ou à qualidade da evidência. Ao tratar a calibração como um objetivo nativo em vez de uma correção post-hoc, o RAC:

• Melhora a Confiabilidade: Reduz o risco de raciocínio autoritário equivocado, garantindo que a confiança diminua quando a evidência visual está degradada.
• Aprimora a Precisão: Demonstra que impor uma ordenação relativa de confiança atua como um sinal de discriminação mais forte do que recompensas de correção isoladamente, levando a um melhor raciocínio.
• Eficiência: Alcança esses ganhos sem anotações externas ou alterações arquiteturais, utilizando apenas a geometria de amostragem inerente ao RL baseado em grupos.

Os autores concluem que, embora o RAC seja atualmente avaliado em benchmarks de múltipla escolha onde a correção binária está disponível, o framework oferece uma direção promissora para melhorar a confiabilidade de sistemas de raciocínio multimodal, particularmente em cenários envolvendo entradas visuais ruidosas ou ambíguas. Sugere-se trabalho futuro para explorar currículos de corrupção adaptativa e aplicação em configurações de geração aberta.