Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

Resumen Técnico: Puntuación de Probabilidad para Continuations de Texto Matemático

Enunciado del Problema
Evaluar modelos de lenguaje en razonamiento técnico es desafiante porque las continuaciones técnicas (por ejemplo, derivaciones, pruebas, ecuaciones) a menudo tienen múltiples formas válidas aproximadamente equivalentes, lo que hace que el juicio ítem por ítem sea ruidoso. Por el contrario, la predicción estándar del siguiente token en texto crudo recompensa el modelado superficial (sintaxis, notación) en lugar del razonamiento profundo. Existe la necesidad de una referencia generada automáticamente que se sitúe entre estos polos: lo suficientemente abundante para ser renovable, y a la vez lo suficientemente sensible para detectar capacidades de razonamiento sin depender de etiquetas humanas ni de respuestas verificables frágiles (como las matemáticas de competición). Además, existe la preocupación de que las señales de recompensa utilizadas en el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) puedan ser "hackeadas" por modelos que explotan atajos (por ejemplo, relleno de contexto) en lugar de generar pronósticos genuinos.

Metodología
El artículo introduce una referencia estática basada en la predicción de sufijos de ecuaciones.

1. Configuración de la Tarea: Un modelo predictor recibe un contexto visible $X$ (texto previo del artículo) y un prefijo de una ecuación mostrada. Debe generar una cadena auxiliar $Z$ (un pronóstico) para completar la ecuación.
2. Mecanismo de Puntuación: Un modelo de lenguaje autoregresivo fijo separado (el "puntuador", $J$) asigna una probabilidad de siguiente token a la verdadera continuación oculta $Y$. La métrica central es el aumento de probabilidad ($\Delta_J$), definido como el incremento en el logaritmo de la probabilidad promedio de $Y$ cuando el puntuador se condiciona en $Z$ versus cuando se condiciona solo en $X$ (o una cadena de control).
   • Fórmula: $\Delta_J(X, Z, Y) = \frac{1}{T} \log p_J(Y | X, Z) - \frac{1}{T} \log p_J(Y | X)$.
3. Métrica Suavizada: Para evitar que las discrepancias catastróficas raras de tokens (comunes en LaTeX/TeX) dominen la puntuación, los autores utilizan clipLL2. Esto recorta los logaritmos de probabilidad por token desde abajo en $-2$ antes de promediar, asegurando que un pronóstico siga siendo útil incluso si comete algunos errores locales, siempre que ayude al puntuador a recuperarse más adelante.
4. Controles y Pruebas de Estrés:
   • Control de Contexto con Mismo Presupuesto ($C_B$): Reemplaza el pronóstico $Z$ con texto fuente crudo inmediatamente anterior a la ecuación, utilizando el mismo presupuesto de caracteres. Esto prueba si la señal proviene de la predicción o meramente de proporcionar más contexto.
   • Control de SFT Solo de Contexto: El puntuador se ajusta finamente (mediante LoRA) en una ruta "solo de contexto" (sin pronósticos) y luego se evalúa en artículos retenidos. Esto prueba si un predictor puede explotar los pesos del puntuador mediante la primación de andamios en lugar de transmitir información sobre $Y$.
   • Límite Superior de Sufijo Verdadero: Un techo teórico donde $Z$ contiene literalmente el sufijo oculto $Y$.

Contribuciones Clave

1. Referencia Automatizada: Un conjunto de datos de 1.363 cortes de sufijos de ecuaciones de 138 artículos recientes de arXiv (quant-ph, hep-th, math-ph), generados automáticamente sin selección humana de ecuaciones "favorables".
2. Evaluación Cruzada entre Modelos: Demuestra que la referencia puede distinguir entre familias de modelos (GPT-5.5, Opus 4.7, GPT-5.4 nano) y configuraciones de esfuerzo de razonamiento (alto, medio, bajo, ninguno) utilizando puntuadores fijos (Qwen3-8B y Kimi K2.6) sin etiquetas humanas.
3. Auditoría de Vulnerabilidad a Atajos: Proporciona un marco riguroso para probar si las recompensas basadas en probabilidad son susceptibles a estrategias no de pronóstico. El artículo muestra que, si bien modelos fuertes (GPT-5.5) sobreviven a un control ajustado finamente solo de contexto, modelos más débiles (GPT-5.4 nano) no lo hacen, lo que sugiere que la señal es genuina para el primero pero potencialmente explotable o inexistente para el segundo.
4. Análisis de Métricas: Valida el uso de reglas de puntuación suavizadas (clipLL2) sobre el logaritmo de probabilidad crudo, mostrando que las métricas crudas están dominadas por errores catastróficos de tokens que oscurecen la utilidad de un razonamiento de lo demás correcto.

Resultados

• Diferenciación de Modelos: En la referencia de sufijos de ecuaciones, los pronósticos de GPT-5.5 (razonamiento alto) logran consistentemente el mayor aumento de probabilidad, seguidos por Opus 4.7 y luego GPT-5.4 nano. Este orden se mantiene tanto en los puntuadores Qwen como en Kimi.
• Esfuerzo de Razonamiento: Dentro de las familias de modelos, las configuraciones de mayor esfuerzo de razonamiento (por ejemplo, GPT-5.5 alto > medio > bajo > ninguno) generalmente producen un mayor aumento, demostrando un gradiente monótono. Sin embargo, los contrastes adyacentes (por ejemplo, alto vs. medio) a veces son ruidosos y no siempre estadísticamente significativos en una base por ítem, lo que refuerza la necesidad de agregación estadística sobre muchos ejemplos.
• Rendimiento de los Controles:
  • Todas las configuraciones de predictor superan el control de contexto con el mismo presupuesto.
  • Los pronósticos de GPT-5.5 mantienen un aumento positivo sobre el control de SFT solo de contexto (el control estático más fuerte), lo que indica que transmiten información genuina sobre el sufijo oculto.
  • Los pronósticos de GPT-5.4 nano no logran superar el control de SFT solo de contexto, lo que sugiere que su señal puede ser indistinguible de los atajos de relleno de contexto bajo esta prueba de estrés.
• Continuaciones Más Largas: En un régimen más difícil que involucra continuaciones más largas de prosa mixta/TeX, el aumento permanece positivo pero es más ruidoso y más sensible al diseño del puntuador y a la longitud del objetivo. El gradiente de esfuerzo de razonamiento es menos robusto aquí que en los sufijos de ecuaciones.

Significado y Afirmaciones
El artículo posiciona este trabajo como una referencia estática y una herramienta de diagnóstico, no como una demostración de entrenamiento exitoso de RL. Su significado principal radica en:

1. Viabilidad de las Recompensas de Probabilidad: Apoya la hipótesis de que el aumento de probabilidad en continuaciones técnicas puede servir como una señal de recompensa densa y fundamentada en referencias que se correlaciona con la capacidad del modelo y el esfuerzo de razonamiento.
2. Seguridad y Robustez: Destaca la necesidad de auditar las señales de recompensa contra controles estáticos fuertes (como atajos de contexto basados en SFT) antes de desplegarlas en bucles de RLVR. El hecho de que GPT-5.5 sobreviva a estos controles mientras que GPT-5.4 nano no lo hace sugiere que no todo "aumento de probabilidad" es igual; algunos pueden ser artefactos de peculiaridades o atajos específicos del modelo.
3. Punto Medio Metodológico: Ofrece un punto medio entre las rúbricas frágiles de "LLM como juez" (propensas a sesgos de estilo) y la similitud de cadenas simple (demasiado rígida para texto técnico), aprovechando la naturaleza probabilística de los modelos autoregresivos para evaluar la utilidad de un pronóstico en lugar de su corrección literal.

Los autores declaran explícitamente que no realizan aprendizaje por refuerzo aquí; el objetivo es validar las propiedades de la señal e identificar vulnerabilidades potenciales (explotación de atajos) que deberían abordarse antes de que dicha señal pueda utilizarse para la optimización post-entrenamiento.