Resumo Técnico: Além da Correção: Avaliando e Alinhando Comportamentos de Resposta em MLLMs de Pensamento Híbrido

1. Declaração do Problema

Os Modelos de Linguagem Multimodais (MLLMs) estão sendo cada vez mais implantados com interfaces de pensamento híbrido, que oferecem dois modos de inferência distintos: um modo de pensamento deliberativo (alocando computação adicional no tempo de teste para raciocínio) e um modo de não-pensamento (retornando respostas diretas sob orçamentos estritos de latência e tokens). Embora esses modos difiram no orçamento de raciocínio, espera-se que satisfaçam os mesmos padrões de qualidade voltados ao usuário.

O artigo identifica uma lacuna crítica: a correção isolada é insuficiente para caracterizar a qualidade da resposta. Um modelo pode produzir uma resposta factualmente correta no modo de não-pensamento enquanto exibe comportamentos de resposta indesejáveis, como vazamento de rastros de raciocínio interno, repetição de conteúdo, contradições lógicas ou engajamento em raciocínio performativo sem ganho de informação. Os autores denominam a discrepância nesses comportamentos visíveis ao usuário entre os dois modos como desalinhamento de padrão de resposta. As estratégias de otimização atuais frequentemente priorizam a correção da resposta ou a eficiência, falhando em restringir a forma da resposta entregue, o que leva a um desalinhamento sistemático onde as interfaces de não-pensamento exibem taxas de falha significativamente mais altas do que suas contrapartes de pensamento.

2. Metodologia

2.1 PatternEval: Um Benchmark de Diagnóstico Enriquecido com Falhas

Para quantificar este desalinhamento, os autores introduzem o PatternEval, um benchmark composto por 2.415 prompts multimodais abrangendo três famílias de tarefas:

1. Percepção Visual e Grounding (VG): Inclui percepção OOD (fora de distribuição), reconhecimento de conteúdo, grounding e factualidade.
2. OCR e Compreensão de Imagens Estruturadas (OS): Inclui OCR e compreensão de gráficos.
3. Raciocínio de Conhecimento Multimodal (KR): Inclui tarefas de STEM, conhecimento e raciocínio geral.

O PatternEval é construído especificamente para testar o estresse de quatro falhas recorrentes de padrão de resposta:

• Vazamento de Cadeia de Pensamento (CoT Leakage): Rastros de processos internos, análise de rascunho ou marcadores de pensamento aparecendo na resposta final visível ao usuário.
• Repetição de Resposta (Rep): Repetição desnecessária de sentenças, conteúdo semântico ou estrutura.
• Contradição Lógica (Con): Alegações mutuamente incompatíveis dentro da mesma resposta.
• Raciocínio Performativo (PR): Envoltórios de raciocínio não suportados ou análises que não geram ganho de informação.

Protocolo de Avaliação:

• Juízes: Um juiz verificador (Qwen3-Max) avalia a correção da tarefa ($c$), enquanto um juiz de padrão (Seed-2.0-Pro com acesso à imagem) atribui rótulos binários para os quatro tipos de falha ($b_{cot}, b_{rep}, b_{con}, b_{pr}$).
• Métricas: O benchmark reporta Acurácia ($Acc$) e Taxa de Gatilho ($Trigger$), definida como a proporção de respostas que exibem pelo menos um padrão de falha. A lacuna entre os modos é medida como $\Delta_{pat} = Trigger_{NT} - Trigger_{T}$.

2.2 PatternRM e PatternRL: Alinhamento via Aprendizado por Reforço

Para abordar o desalinhamento identificado, os autores propõem um framework de pós-treinamento:

• PatternRM (Modelo de Recompensa): Um modelo de recompensa especializado treinado via Ajuste Fino Supervisionado (SFT) em 57.578 instâncias anotadas. Ele prevê os quatro rótulos de falha com base no texto gerado (entrada apenas de texto para eficiência). É treinado para aproximar-se do juiz de padrão alinhado ao humano.
• PatternRL (Aprendizado por Reforço): Um método de otimização de política que incorpora penalidades específicas de padrão na função de recompensa.
  • Design de Recompensa: A recompensa final $r$ combina uma recompensa de verificador para correção ($s_{ver}$) e uma recompensa de padrão auxiliar ($s_{pat}$).
  • $s_{pat} = -z \cdot \min(0.1, \sum w_p \hat{b}^p_{RM})$, onde $w$ são pesos para cada tipo de falha (maiores para CoT e Rep, menores para Con e PR).
  • Este design garante que respostas incorretas recebam recompensa zero, enquanto respostas corretas são penalizadas se exibirem padrões indesejáveis, sem sobrepor o objetivo primário de correção.

3. Resultados Principais

3.1 Descobertas do Benchmark (PatternEval)

A avaliação em 25 configurações de modelos (incluindo famílias Qwen, Kimi, Seed, Claude, Mimo e GPT) revela:

• Desalinhamento Sistemático: A inferência de não-pensamento exibe consistentemente taxas de falha mais altas do que a inferência de pensamento. A lacuna ($\Delta_{pat}$) é positiva para todos os modelos, com alguns modelos de fronteira mostrando lacunas de até 48,64 pontos percentuais (ex: Kimi-K2.6).
• Modos de Falha Dominantes: Vazamento de CoT e repetição de resposta são as falhas mais prevalentes, particularmente no modo de não-pensamento.
• Capacidade vs. Alinhamento: O aumento da escala do modelo (ex: de 4B para 397B na série Qwen3.5) melhora a acurácia da tarefa, mas não reduz uniformemente a lacuna de Gatilho entre os modos. A lacuna permanece substancial (21–26 pontos percentuais) mesmo em modelos maiores.
• Correlação com o Comprimento: Existe uma forte correlação positiva entre o comprimento da resposta e as taxas de Gatilho ($r=0,84$ no modo de pensamento, $r=0,64$ no modo de não-pensamento). Respostas incorretas são geralmente mais longas e mais propensas a falhas do que as corretas.

3.2 Resultados de Pós-Treinamento (PatternRL)

Experimentos no Qwen3-VL-4B e Qwen3-VL-8B demonstram:

• Redução de Falhas: O PatternRL reduz significativamente a taxa de Gatilho de não-pensamento em comparação com uma linha de base de apenas correção (BaseRL).
  • Qwen3-VL-4B: Gatilho reduzido em 13,08 pontos percentuais.
  • Qwen3-VL-8B: Gatilho reduzido em 14,35 pontos percentuais.
• Compromisso de Acurácia (Trade-off): Embora o PatternRL preserve a acurácia agregada em relação à linha de base no modelo 8B, ele incorre em um compromisso marginal no desempenho da tarefa, particularmente no modelo 4B, onde a acurácia declina ligeiramente em tarefas de matemática e lógica.
• Generalização: O método mitiga efetivamente as falhas de padrão de resposta em diversas famílias de tarefas (VG, OS, KR) sem exigir modelos separados para diferentes modos.

4. Contribuições

1. Formulação do Alinhamento de Padrão de Resposta: O artigo define o alinhamento de padrão de resposta como um requisito complementar à correção da resposta, destacando que o comportamento visível ao usuário deve permanecer consistente entre os modos de inferência.
2. Benchmark PatternEval: Introdução de um conjunto de diagnóstico enriquecido com falhas que testa o estresse de quatro falhas específicas visíveis ao usuário sob interfaces de pensamento híbrido, revelando uma lacuna de desalinhamento consistente em modelos de última geração.
3. Framework PatternRM e PatternRL: Desenvolvimento de um modelo de recompensa ao nível de resposta e uma estratégia de aprendizado por reforço que penaliza explicitamente as falhas de padrão de resposta. Esta abordagem mitiga com sucesso o desalinhamento enquanto preserva amplamente o desempenho da tarefa.

5. Significância e Alegações

O artigo argumenta que o esforço de raciocínio controlável não deve vir ao custo de um comportamento de resposta instável. Ele demonstra que um forte desempenho na tarefa não garante padrões de resposta estáveis através de diferentes interfaces de inferência. Ao introduzir o PatternEval e o PatternRL, os autores fornecem um framework prático para avaliar e treinar MLLMs de pensamento híbrido para garantir que os modos de não-pensamento entreguem respostas que sejam não apenas corretas, mas também coerentes, concisas e livres de narrações de processo indesejadas.

Os autores observam modestamente que, embora o PatternRL reduza as falhas, ele não as elimina totalmente, sugerindo que melhorias fundamentais podem exigir dados de supervisão de maior qualidade e restrições aplicadas durante estágios de treinamento anteriores (como SFT) em vez de apenas durante o RL. Adicionalmente, eles observam um compromisso dependente da capacidade, onde modelos menores podem sofrer mais com as restrições impostas pela otimização consciente de padrões.