Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

Resumo Técnico: Pontuação de Probabilidade para Continuações de Texto Matemático

Declaração do Problema
A avaliação de modelos de linguagem em raciocínio técnico é desafiadora porque as continuações técnicas (por exemplo, derivações, provas, equações) frequentemente possuem múltiplas formas válidas aproximadamente equivalentes, tornando o julgamento item a item ruidoso. Por outro lado, a previsão padrão do próximo token em texto bruto recompensa a modelagem superficial (sintaxe, notação) em vez do raciocínio profundo. Há uma necessidade de uma avaliação gerada automaticamente que se situe entre esses polos: abundante o suficiente para ser renovável, porém sensível o suficiente para detectar capacidades de raciocínio sem depender de rótulos humanos ou respostas verificáveis frágeis (como matemática de competições). Além disso, há uma preocupação de que os sinais de recompensa usados no Aprendizado por Reforço com Recompensas Verificáveis (RLVR) possam ser "hackeados" por modelos explorando atalhos (por exemplo, preenchimento de contexto) em vez de gerar previsões genuínas.

Metodologia
O artigo apresenta uma avaliação estática baseada na previsão de sufixo de equação.

1. Configuração da Tarefa: Um modelo preditor recebe o contexto visível $X$ (texto do artigo precedente) e um prefixo de uma equação exibida. Ele deve gerar uma string auxiliar $Z$ (uma previsão) para completar a equação.
2. Mecanismo de Pontuação: Um modelo de linguagem autoregressivo separado e fixo (o "avaliador", $J$) atribui uma probabilidade do próximo token à verdadeira continuação oculta $Y$. A métrica central é o aumento de probabilidade ($\Delta_J$), definido como o aumento no log-likelihood médio de $Y$ quando o avaliador condiciona em $Z$ versus quando condiciona apenas em $X$ (ou uma string de controle).
   • Fórmula: $\Delta_J(X, Z, Y) = \frac{1}{T} \log p_J(Y | X, Z) - \frac{1}{T} \log p_J(Y | X)$.
3. Métrica Suavizada: Para evitar que discrepâncias raras e catastróficas de tokens (comuns em LaTeX/TeX) dominem a pontuação, os autores utilizam o clipLL2. Isso limita os log-likelihoods por token de baixo em $-2$ antes da média, garantindo que uma previsão permaneça útil mesmo se cometer alguns erros locais, desde que ajude o avaliador a recuperar-se posteriormente.
4. Controles e Testes de Estresse:
   • Controle de Contexto com Mesmo Orçamento ($C_B$): Substitui a previsão $Z$ por texto-fonte bruto imediatamente anterior à equação, usando o mesmo orçamento de caracteres. Isso testa se o sinal provém da previsão ou meramente do fornecimento de mais contexto.
   • Controle SFT Apenas de Contexto: O avaliador é ajustado finamente (via LoRA) em uma rota "apenas de contexto" (sem previsões) e depois avaliado em artigos retidos. Isso testa se um preditor pode explorar os pesos do avaliador via priming de andaime em vez de transmitir informações sobre $Y$.
   • Limite Superior de Sufixo Verdadeiro: Um teto teórico onde $Z$ contém literalmente o sufixo oculto $Y$.

Principais Contribuições

1. Avaliação Automatizada: Um conjunto de dados de 1.363 cortes de sufixo de equação de 138 artigos recentes do arXiv (quant-ph, hep-th, math-ph), gerados automaticamente sem seleção humana de equações "favoráveis".
2. Avaliação Cruzada entre Modelos: Demonstra que a avaliação pode distinguir entre famílias de modelos (GPT-5.5, Opus 4.7, GPT-5.4 nano) e configurações de esforço de raciocínio (alto, médio, baixo, nenhum) usando avaliadores fixos (Qwen3-8B e Kimi K2.6) sem rótulos humanos.
3. Auditoria de Vulnerabilidade a Atalhos: Fornece um quadro rigoroso para testar se recompensas baseadas em probabilidade são suscetíveis a estratégias não preditivas. O artigo mostra que, enquanto modelos fortes (GPT-5.5) sobrevivem a um controle ajustado finamente apenas de contexto, modelos mais fracos (GPT-5.4 nano) não o fazem, sugerindo que o sinal é genuíno para o primeiro, mas potencialmente explorável ou inexistente para o último.
4. Análise de Métrica: Valida o uso de regras de pontuação suavizadas (clipLL2) sobre o log-likelihood bruto, mostrando que as métricas brutas são dominadas por erros catastróficos de tokens que obscurecem a utilidade de um raciocínio de outra forma correto.

Resultados

• Diferenciação de Modelos: Na avaliação de sufixo de equação, previsões do GPT-5.5 (alto raciocínio) consistentemente alcançam o maior aumento de probabilidade, seguido pelo Opus 4.7 e, em seguida, pelo GPT-5.4 nano. Esta ordem se mantém em ambos os avaliadores Qwen e Kimi.
• Esforço de Raciocínio: Dentro das famílias de modelos, configurações de esforço de raciocínio mais altas (por exemplo, GPT-5.5 alto > médio > baixo > nenhum) geralmente produzem maior aumento, demonstrando um gradiente monotônico. No entanto, contrastes adjacentes (por exemplo, alto vs. médio) às vezes são ruidosos e nem sempre estatisticamente significativos em uma base por item, reforçando a necessidade de agregação estatística sobre muitos exemplos.
• Desempenho dos Controles:
  • Todas as configurações de preditor superam o controle de contexto com mesmo orçamento.
  • As previsões do GPT-5.5 mantêm um aumento positivo sobre o controle SFT apenas de contexto (o controle estático mais forte), indicando que transmitem informações genuínas sobre o sufixo oculto.
  • As previsões do GPT-5.4 nano não conseguem superar o controle SFT apenas de contexto, sugerindo que seu sinal pode ser indistinguível de atalhos de preenchimento de contexto sob este teste de estresse.
• Continuações Mais Longas: Em um regime mais difícil envolvendo continuações mistas mais longas de prosa/TeX, o aumento permanece positivo, mas é mais ruidoso e mais sensível ao design do avaliador e ao comprimento do alvo. O gradiente de esforço de raciocínio é menos robusto aqui do que em sufixos de equação.

Significado e Alegações
O artigo posiciona este trabalho como uma avaliação estática e uma ferramenta de diagnóstico, não uma demonstração de treinamento bem-sucedido de RL. Seu significado primário reside em:

1. Viabilidade de Recompensas de Probabilidade: Apoia a hipótese de que o aumento de probabilidade em continuações técnicas pode servir como um sinal de recompensa denso e fundamentado em referência que correlaciona com a capacidade do modelo e o esforço de raciocínio.
2. Segurança e Robustez: Destaca a necessidade de auditar sinais de recompensa contra controles estáticos fortes (como atalhos de contexto baseados em SFT) antes de implantá-los em loops de RLVR. O fato de o GPT-5.5 sobreviver a esses controles enquanto o GPT-5.4 nano não o faz sugere que nem todo "aumento de probabilidade" é igual; alguns podem ser artefatos de peculiaridades ou atalhos específicos do modelo.
3. Meio Termo Metodológico: Oferece um meio termo entre rubricas frágeis de "LLM como juiz" (propensas a viés de estilo) e similaridade simples de strings (muito rígida para texto técnico), aproveitando a natureza probabilística de modelos autoregressivos para avaliar a utilidade de uma previsão em vez de sua correção literal.

Os autores afirmam explicitamente que não realizam aprendizado por reforço aqui; o objetivo é validar as propriedades do sinal e identificar vulnerabilidades potenciais (exploração de atalhos) que precisariam ser abordadas antes que tal sinal pudesse ser usado para otimização pós-treinamento.