Resumo Técnico: PTD-PO – Destilação de Tutoria Privilegiada para Otimização de Política Multimodal

1. Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem e Visão (LVLMs) melhoraram o desempenho em tarefas complexas de raciocínio multimodal. O Aprendizado por Reforço com Recompensas Verificáveis (RLVR), particularmente a Otimização de Política Relativa ao Grupo (GRPO), emergiu como um paradigma de pós-treinamento promissor para extrair essas habilidades, substituindo a anotação de preferência humana por feedback de nível de resultado. No entanto, o RLVR enfrenta duas limitações críticas em cenários de raciocínio complexo:

1. Sinais de Recompensa Esparsos: Recompensas verificáveis são tipicamente atribuídas apenas à resposta final. Quando um rollout falha, o modelo não recebe supervisão ao nível de token sobre quais etapas intermediárias de fundamentação visual ou de raciocínio estavam incorretas. Isso leva a uma exploração ineficiente e dificuldade na atribuição de crédito dentro de grandes espaços de raciocínio.
2. Limitações da Destilação Existente: Embora a destilação de política possa fornecer orientação densa ao nível de token, as abordagens atuais possuem desvantagens significativas:
   • Métodos de Professor Externo: Exigem inferência online de um modelo externo maior, incorrendo em um overhead computacional substancial e potenciais incompatibilidades de vocabulário.
   • Autodestilação com Revelação de Resposta: Métodos que condicionam o professor à resposta de verdade fundamental (ground-truth) ou a traços de solução completos induzem comportamentos de geração do tipo "atalho". Isso faz com que o modelo ignore o processo de raciocínio, levando a trajetórias excessivamente determinísticas, distribuições de tokens aguçadas, colapso acelerado de entropia e redução da exploração de caminhos de raciocínio alternativos.

O desafio central é projetar um mecanismo de supervisão densa que seja computacionalmente eficiente (evitando professores externos) e não revelador (preservando a exploração) para corrigir trajetórias de raciocínio falhas sem expor a resposta final.

2. Metodologia: PTD-PO

Os autores propõem a Otimização de Política de Tutoria Privilegiada (PTD-PO), um framework que integra RLVR com um mecanismo de autodestilação usando dicas "privilegiadas".

2.1 Conceito Central

O PTD-PO desacopla a informação usada para gerar supervisão da informação disponível para a política do estudante, aderindo ao paradigma de "aprendizado com informação privilegiada".

• Política do Estudante: Opera sob o contexto original livre de respostas (apenas a pergunta), mantendo a natureza exploratória do RLVR.
• Modelo de Referência (Professor): Um modelo de referência congelado condicionado a dicas privilegiadas derivadas da pergunta e da resposta de verdade fundamental. Crucialmente, as dicas são construídas para serem não reveladoras; elas guiam a direção do raciocínio sem expor a resposta final ou resultados numéricos intermediários.

2.2 Construção Estruturada de Dicas Privilegiadas

Para cada exemplo de treinamento, um modelo externo forte gera dicas estruturadas a partir do par (pergunta, resposta) offline. Essas dicas são restringidas por três regras:

1. Consistência: Deve alinhar-se com uma direção de solução válida.
2. Zero-Spoiler (Não Revelador): Não deve conter a resposta final, números intermediários exatos ou nomes de objetos identificadores da resposta.
3. Filtragem: Deve filtrar explicitamente distratores visuais e armadilhas comuns de raciocínio.

As dicas resultantes consistem em:

• Orientação Espacial: Destacando regiões relevantes, objetos, relações ou distratores para ignorar.
• Orientação de Raciocínio Textual: Fornecendo direções de raciocínio intermediário de alto nível.

2.3 Destilação de Roteamento de Falha

O PTD-PO não aplica a destilação uniformemente. Ele roteia o sinal de tutoria privilegiada especificamente para trajetórias falhas (onde a recompensa verificável é 0).

• Se um grupo de respostas amostradas possui uma acurácia empírica baixa (abaixo de um limiar $\tau_{ptd}$), as respostas incorretas são selecionadas para destilação.
• O modelo professor, condicionado ao contexto aumentado por dicas ($x_h = [x; h]$), gera uma distribuição de tokens ($q^h$).
• O modelo estudante, condicionado ao contexto original ($x$), gera uma distribuição de tokens ($p$).
• O objetivo é alinhar $p$ com $q^h$ apenas nas posições de tokens dos rollouts falhos, efetivamente ensinando o estudante como corrigir seu caminho de raciocínio sem ver a resposta.

2.4 JSD Top-K Assimétrico com Compensação de Cauda

Alinhar distribuições condicionadas a diferentes contextos (com dicas vs. sem dicas) pode ser instável. Para abordar isso e reduzir custos de memória:

• Suporte Top-K: Em vez de calcular a divergência de Jensen-Shannon (JSD) de todo o vocabulário, o método calcula a JSD sobre a união dos tokens Top-K das distribuições do professor e do estudante ($K=100$).
• Compensação de Cauda: A massa de probabilidade fora do suporte Top-K é agregada em um único "balde de cauda" para preservar a massa de probabilidade total e evitar perda de informação por truncamento severo.
• Objetivo: Isso reduz a complexidade de memória de $O(BTV)$ para $O(BTK)$, enquanto estabiliza a destilação assimétrica.

O objetivo final de treinamento combina a perda GRPO padrão com o regularizador PTD:
$$\mathcal{L}_{PTD-PO} = -\mathcal{J}_{GRPO}(\theta) + \lambda_{PTD} \mathcal{L}_{PTD}$$

3. Principais Contribuições

1. Tutoria Privilegiada para RLVR: O artigo identifica que recompensas esparsas e a autodestilação que revela a solução limitam a exploração no RLVR multimodal. Introduz um framework de tutoria privilegiada livre de respostas que fornece orientação densa sem expor informações de nível de solução.
2. Framework PTD-PO: Um novo método de destilação que roteia supervisão densa para trajetórias falhas ao condicionar um modelo de referência congelado em dicas espaciais e textuais, mantendo a política do estudante no contexto original livre de respostas. Inclui um objetivo JSD Top-K com compensação de cauda para destilação assimétrica estável e eficiente em termos de memória.
3. Eficácia Empírica e Generalidade: Experimentos demonstram que o PTD-PO melhora consistentemente os LVLMs (de 2B a 8B parâmetros) em benchmarks de raciocínio multimodal geral e dependente de visão. O módulo mostra ser compatível com diferentes otimizadores de RLVR (ex: DAPO, GSPO).

4. Resultados Experimentais

Os autores avaliaram o PTD-PO em LVLMs variando de 2B a 8B parâmetros usando a suíte de benchmarks PAPO, que cobre raciocínio matemático, geometria, lógica e questionamento visual.

• Desempenho: O PTD-PO superou consistentemente o GRPO padrão, a Destilação de Política Online (OPD) e outras linhas de base de autodestilação (como HDPO e PAPO) em todas as escalas de modelo e categorias de raciocínio.
  • Para o modelo de 4B, o PTD-PO alcançou uma pontuação média geral de 71.23, comparado a 68.06 para o GRPO e 69.20 para o PAPO.
  • Para o modelo de 8B, o PTD-PO atingiu 71.86, superando o GRPO (68.78) e o PAPO (69.05).
• Entropia e Exploração: Análises mostraram que o PTD-PO mantém uma entropia de política mais alta em comparação com métodos que revelam a resposta, mitigando o colapso de entropia e preservando a capacidade do modelo de explorar caminhos de raciocínio alternativos.
• Estudos de Ablação:
  • Qualidade das Dicas: Remover o design de dicas estruturadas (ex: restrições de fundamentação visual) reduziu significamente os ganhos de desempenho, confirmando que a orientação estruturada e não reveladora é essencial.
  • Limiar de Ativação: Aplicar PTD apenas a trajetórias falhas ($\tau_{ptd}=1.0$) produziu os melhores resultados. Aplicá-lo a todas as trajetórias ou apenas a grupos severamente falhos foi menos eficaz.
  • Comparação com GT-Answer: Embora condicionar na resposta de verdade fundamental (GT) tenha gerado um pass@n alto, isso induziu comportamentos de atalho e reduziu a recuperação em casos difíceis. As dicas privilegiadas forneceram um melhor equilíbrio entre orientação e exploração.

5. Significância e Alegações

O artigo afirma que o PTD-PO oferece uma solução robusta para o problema de "recompensa esparsa" no RLVR multimodal sem o custo computacional de professores externos ou a degradação comportamental da destilação que revela a resposta.

• Orientação Densa sem Atalhos: Ao usar dicas privilegiadas, o método fornece supervisão densa ao nível de token para rollouts falhos, corrigindo etapas intermediárias de raciocínio sem forçar o modelo a memorizar ou criar atalhos para a resposta final.
• Estabilidade e Eficiência: O JSD Top-K com compensação de cauda permite o treinamento estável sob incompatibilidade de contexto, enquanto reduz significativamente o overhead de memória associado à destilação ao nível de token.
• Aplicabilidade Geral: O framework foi projetado como um módulo auxiliar compatível com vários otimizadores de RLVR, sugerindo que pode ser amplamente adotado para aumentar as capacidades de raciocínio de LVLMs em tarefas complexas e verificáveis.

Os autores concluem que a autodestilação com informação privilegiada é uma estratégia eficaz para complementar a otimização de recompensa verificável, permitindo que os modelos aprendam estratégias de raciocínio complexas enquanto mantêm os benefícios exploratórios do RLVR.