Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

기술적 요약: 수학 텍스트의 연속에 대한 가능성 점수화

문제 제기
기술적 추론에 대한 언어 모델 평가는 기술적 연속 (예: 유도, 증명, 방정식) 이 종종 여러 개의 대략적으로 동등한 유효한 형태를 가지므로 항목별 판단이 노이즈가 많기 때문에 어렵습니다. 반면, 원시 텍스트에 대한 표준 다음 토큰 예측은 표면적 모델링 (구문, 표기법) 을 깊은 추론 대신 보상합니다. 인간 라벨이나 경직된 검증 가능한 답변 (경쟁 수학 등) 에 의존하지 않으면서도 추론 능력을 감지할 수 있을 정도로 민감하면서도 재생산 가능할 정도로 풍부한 자동 생성 벤치마크가 필요합니다. 또한, 검증 가능한 보상을 통한 강화 학습 (RLVR) 에 사용되는 보상 신호가 모델이 진정한 예측을 생성하는 대신 단축키 (예: 컨텍스트 채우기) 를 악용하여 "해킹"될 수 있다는 우려가 있습니다.

방법론
본 논문은 방정식 접미사 예측을 기반으로 한 정적 벤치마크를 소개합니다.

1. 작업 설정: 예측 모델은 가시적 컨텍스트 $X$(이전 논문 텍스트) 와 표시된 방정식의 접두사를 받습니다. 모델은 방정식을 완성하기 위한 보조 문자열 $Z$(예측) 를 생성해야 합니다.
2. 점수화 메커니즘: 별도의 고정 자기회귀 언어 모델 (점수화기, $J$) 은 진짜 숨겨진 연속 $Y$에 대한 다음 토큰 가능성을 할당합니다. 핵심 지표는 가능성 상승분($\Delta_J$) 으로, 점수화기가 $Z$를 조건으로 할 때와 $X$(또는 제어 문자열) 만을 조건으로 할 때 $Y$의 평균 로그 가능성 증가로 정의됩니다.
   • 공식: $\Delta_J(X, Z, Y) = \frac{1}{T} \log p_J(Y | X, Z) - \frac{1}{T} \log p_J(Y | X)$.
3. 연화된 지표: 희귀하고 치명적인 토큰 불일치 (LaTeX/TeX 에서 흔함) 가 점수를 지배하는 것을 방지하기 위해, 저자들은 clipLL2를 사용합니다. 이는 평균을 내기 전에 토큰별 로그 가능성을 $-2$에서 아래로 클립하여, 몇 가지 지역적 오류를 범하더라도 점수화기가 나중에 복구하는 데 도움이 된다면 예측이 유용하게 유지되도록 합니다.
4. 통제 및 스트레스 테스트:
   • 동일 예산 컨텍스트 제어 ($C_B$): 예측 $Z$를 방정식 직전의 원시 소스 텍스트로 대체하며 동일한 문자 예산을 사용합니다. 이는 신호가 예측에서 비롯된 것인지 아니면 단순히 더 많은 컨텍스트를 제공하는 것에서 비롯된 것인지 테스트합니다.
   • 컨텍스트 전용 SFT 제어: 점수화기를 "컨텍스트 전용" 경로 (예측 없음) 로 미세 조정 (LoRA 를 통해) 한 후 홀드아웃 논문에서 평가합니다. 이는 예측기가 $Y$에 대한 정보를 전달하는 대신 점수화기의 가중치를 구조적 프라밍을 통해 악용할 수 있는지 테스트합니다.
   • 진짜 접미사 상한선: $Z$가 문자 그대로 숨겨진 접미사 $Y$를 포함하는 이론적 상한선입니다.

주요 기여

1. 자동화된 벤치마크: 138 개의 최근 arXiv 논문 (quant-ph, hep-th, math-ph) 에서 생성된 1,363 개의 방정식 접미사 절단 데이터셋으로, "유리한" 방정식에 대한 인간의 선택 없이 자동으로 생성되었습니다.
2. 크로스 모델 평가: 고정된 점수화기 (Qwen3-8B 및 Kimi K2.6) 를 사용하여 인간 라벨 없이 모델 계열 (GPT-5.5, Opus 4.7, GPT-5.4 nano) 과 추론 노력 설정 (높음, 중간, 낮음, 없음) 을 구별할 수 있음을 입증합니다.
3. 단축키 취약성 감사: 가능성 기반 보상이 비예측 전략에 취약한지 테스트하는 엄격한 프레임워크를 제공합니다. 논문은 강력한 모델 (GPT-5.5) 은 미세 조정된 컨텍스트 전용 제어를 견디지만, 약한 모델 (GPT-5.4 nano) 은 견디지 못한다고 보여줍니다. 이는 전자의 경우 신호가 genuine(진짜) 이지만 후자의 경우 악용 가능하거나 존재하지 않을 수 있음을 시사합니다.
4. 지표 분석: 원시 로그 가능성보다 연화된 점수화 규칙 (clipLL2) 의 사용을 검증하여, 원시 지표가 본질적으로 올바른 추론의 유용성을 가리는 치명적인 토큰 오류에 의해 지배됨을 보여줍니다.

결과

• 모델 차별화: 방정식 접미사 벤치마크에서 GPT-5.5(높은 추론) 의 예측은 일관되게 가장 높은 가능성 상승분을 달성하며, 그 다음 Opus 4.7, 그리고 GPT-5.4 nano 순입니다. 이 순서는 Qwen 과 Kimi 점수화기 모두에서 유지됩니다.
• 추론 노력: 모델 계열 내에서 더 높은 추론 노력 설정 (예: GPT-5.5 높음 > 중간 > 낮음 > 없음) 은 일반적으로 더 높은 상승분을 산출하여 단조로운 기울기를 보여줍니다. 그러나 인접한 대비 (예: 높음 대 중간) 는 때로 노이즈가 많고 항목별로 통계적으로 유의미하지 않을 수 있어, 많은 예제에 대한 통계적 집계 필요성을 재확인합니다.
• 제어 성능:
  • 모든 예측 설정이 동일 예산 컨텍스트 제어를 능가합니다.
  • GPT-5.5 예측은 컨텍스트 전용 SFT 제어(가장 강력한 정적 제어) 보다 양의 상승분을 유지하여 숨겨진 접미사에 대한 진정한 정보를 전달함을 나타냅니다.
  • GPT-5.4 nano 예측은 컨텍스트 전용 SFT 제어를 이기지 못하여, 이 스트레스 테스트 하에서 그들의 신호가 컨텍스트 채우기 단축키와 구별되지 않을 수 있음을 시사합니다.
• 더 긴 연속: 더 긴 혼합 산문/TeX 연속을 포함하는 더 어려운 영역에서 상승분은 여전히 양수이지만 더 노이즈가 많고 점수화기 설계 및 대상 길이에 더 민감합니다. 추론 노력 기울기는 방정식 접미사보다 여기서 덜 강건합니다.

의의 및 주장
본 논문은 이 작업을 성공적인 RL 훈련의 시도가 아닌 정적 벤치마크 및 진단 도구로 위치시킵니다. 그 주요 의의는 다음과 같습니다:

1. 가능성 보상의 실현 가능성: 기술적 연속에 대한 가능성 상승분이 모델 능력 및 추론 노력과 상관관계가 있는 밀집된 참조 기반 보상 신호로 작용할 수 있다는 가설을 지지합니다.
2. 안전성 및 견고성: RLVR 루프에 배포하기 전에 강력한 정적 제어 (SFT 기반 컨텍스트 단축키 등) 에 대해 보상 신호를 감사할 필요성을 강조합니다. GPT-5.5 는 이러한 제어를 견디지만 GPT-5.4 nano 는 견디지 못한다는 사실은 모든 "가능성 상승분"이 동등하지 않음을 시사합니다. 일부는 모델 고유의 특이점이나 단축키의 인공물일 수 있습니다.
3. 방법론적 중간 지점: 스타일 편향에 취약한 취약한 "LLM-as-a-judge" 규칙과 기술 텍스트에는 너무 경직된 단순 문자열 유사성 사이의 중간 지점을 제공하며, 자기회귀 모델의 확률적 특성을 활용하여 예측의 문자적 정확성보다 유용성을 평가합니다.

저자들은 여기서 강화 학습을 수행하지 않는다고 명시적으로 밝히고 있습니다. 목표는 신호의 속성을 검증하고 사후 훈련 최적화에 사용되기 전에 해결해야 할 잠재적 취약점 (단축키 악용) 을 식별하는 것입니다.