기술 요약: Physics-R1: 시각적 물리 추론을 위한 감사된 올림피아드 코퍼스 및 레시피

문제 제기

다중 모달 물리 추론 분야는 모델 능력을 평가하기 위해 시각-언어 벤치마크에 크게 의존하고 있습니다. 그러나 이러한 벤치마크의 구축은 거의 감사되지 않아, 모델 간 비교를 왜곡하고 최전선 순위계를 과장하는 세 가지 치명적인 방법론적 격차를 초래합니다:

1. 학습 - 평가 오염: 공개 학습 풀 (예: SciInstruct, UGPhysics-Train) 은 종종 평가 세트와 관련하여 재구성되거나 거의 중복된 문제를 포함합니다. 기존의 단일 단계 $n$-그램 감사는 이러한 "재구성 다크 매터" 사례를 탐지하지 못합니다.
2. 번역 편차: 다국어 벤치마크는 종종 다른 언어로 원래 작성된 문제의 영어 번역에 의존합니다. 이러한 번역은 정보 내용 (어휘, 문법적 격, 범위) 을 저하시켜, 원본에 비해 번역된 버전에서 모델 능력을 체계적으로 과소평가하게 만듭니다.
3. 형식 및 신규성 포화: 현재 벤치마크는 종종 객관식 문제 (MCQ) 로 포화되어 있거나 신규성이 부족하여, 진정한 추론이 아닌 형식과 작업 친숙도가 점수를 주도하는 "닫힌 최전선 천장"에서 성능이 정체됩니다.

방법론

이 논문은 평가 파이프라인에 대한 엔드 - 투 - 엔드 감사를 제안하고, 이러한 격차를 해결하기 위한 대응 훈련 레시피와 코퍼스를 도입합니다.

1. 3 단계 감사 파이프라인

표준 $n$-그램 검사를 회피하는 오염을 탐지하기 위해, 저자들은 학습 풀과 평가 세트 간에 쌍으로 적용되는 3 단계 감사 프로토콜을 구현합니다:

• 1 단계 (N-gram): 5-그램 자카드 유사도 ($J \ge 0.4$) 를 계산하여 그대로 또는 거의 그대로인 중복을 포착합니다.
• 2 단계 (임베딩): mxbai-embed-large 를 사용하여 코사인 유사도 ($\cos \ge 0.85$) 를 계산하여 1 단계가 놓친 재구성된 중복을 포착합니다.
• 3 단계 (LLM-Judge): Haiku-4.5 LLM 판정자가 2 단계 후보를 근접 중복 (동일 문제의 재구성/수치적 변형) 또는 동일 주제 이웃 (관련 물리이지만 다른 설정) 으로 분류합니다. 근접 중복만 제거됩니다.

2. 데이터 구축

• PHYSCORP-A: 14,294 건의 사전 감사 풀에 3 단계 감사를 적용하여 구축된 6,432 건의 다중 모달 코퍼스입니다. 에스토니아 물리 올림피아드 (원래 난이도 레이블 포함), Kevin Zhou 의 핸드아웃, 그리고 7 개 국제 올림피아드와 같은 소스를 포함합니다.
• PHYSR1CORP: PHYSCORP-A 에서 파생된 2,268 건의 폐쇄형 RL 훈련 풀 (객관식 및 수치 문제만) 로, 6 개 공개 물리 평가에 대해 엄격하게 감사되었습니다.
• PHYSOLYM-A: 500 문제의 홀드아웃 올림피아드 평가 세트입니다. 99.8% 가 신규 소스 (OlympiadBench-Physics 와의 1 건 중복은 삭제되지 않고 공개됨) 이며, 교차 언어 분석을 위한 영어/에스토니아어 이중 언어 하위 집합을 포함합니다.

3. Physics-R1 레시피

Physics-R1 은 GSPO(Group Sequence Policy Optimization) 와 DAPO(Decoupled Clipping and Dynamic Sampling) 를 사용하는 참조 강화 학습 (RL) 레시피로, Qwen3-VL-8B-Thinking에서 콜드 스타트됩니다.

• 보상 함수: 저자들은 추출된 박스 처리된 답변을 골드 솔루션과 일치시키는 기반의 이진 정확도 보상 ($r \in \{0, 1\}$) 을 권장합니다. 이는 그룹 정규화 이점 하에서 GSPO 에 분산 최적이며, 모델이 물리 정확도 대신 포맷팅 프록시 (예: LaTeX 구조) 를 최적화하는 "구르트" 채널에 대해 강건하다고 주장합니다. 단위, 보존 법칙, 기호 형식을 포함한 5 구성 요소 밀집 보상은 제거 실험 (ablation) 으로 보고됩니다.
• 커리큘럼: MM-Eureka 스타일의 난이도 커리큘럼을 사용하며, 기본 모델이 0/N 또는 N/N 롤아웃을 달성하는 프롬프트는 제외합니다.

주요 발견

감사와 실험은 세 가지 주요 발견을 밝혔습니다:

1. 숨겨진 오염: 공개 학습 풀은 단일 단계 $n$-그램 감사 (0 건 히트) 를 통과하지만, 3 단계 감사는 상당한 오염을 드러냅니다. 예를 들어, SciInstruct 에서 감사는 4,846 개의 재구성 후보를 표면화했으며, 이 중 134 개는 LLM 판정자에 의해 확인된 근접 중복이었습니다.
2. 번역 델타: 59 개의 쌍을 이룬 에스토니아어/영어 올림피아드 문제에서 Claude Sonnet 4.5는 원래 에스토니아어 텍스트에서 **30.5%**의 엄격한 정확도를 달성했지만, 영어 번역에서는 **13.6%**에 그쳤습니다. 이 17 포인트 델타는 영어 번역이 강력한 교차 언어 전이를 가진 모델의 능력을 체계적으로 과소평가함을 시사합니다.
3. 형식 및 신규성 기울기: 동일한 Sonnet 4.5 가중치에서, 벤치마크 간 성능은 46 포인트 하락합니다: PhyX(객관식) 의 79.7% $\to$ OlympiadBench-Physics(개방형) 의 50.4% $\to$ 감사된 PHYSOLYM-A(개방형, 신규 소스) 의 33.4%. 이 기울기는 현재 벤치마크가 추론 깊이보다는 형식과 친숙도에 의해 포화되었음을 보여줍니다.

결과

이진 보상으로 감사된 PHYSR1CORP 에서 훈련된 Physics-R1 은 정제된 코퍼스의 훈련 가능성을 보여줍니다:

• PHYSOLYM-A: 8B 기본 모델을 **8.0%**에서 26.3% (3 시드 평균) 로 끌어올려 +18.3 포인트 개선을 달성했습니다. Sonnet 4.5 보다 7.1 포인트 뒤처지지만, 모든 오픈소스 베이스라인 (Qwen3-VL-32B 포함) 과 비-Sonnet 폐쇄형 API 를 능가합니다.
• PhysReason: 23.9% 에서 39.6% 로 개선되어 Qwen3-VL-32B 와 Gemini 2.5 Pro 를 능가합니다.
• OlympiadBench-Physics: 46.2% 에서 46.2% 로 개선되었습니다 (참고: 초록은 +6.9 pp 개선을 언급하여 특정 분할에서 약 39.3% 에서 46.2% 로 이동했음을 시사하지만, 표는 3 시드 평균에 대해 46.2±1.5 를 보여줍니다).
• PhyX(객관식): 77.8% 에서 77.8% 로 개선되었습니다 (안정적, 객관식은 종종 포화 상태이므로).

이 논문은 이진 보상이 개방형 작업에서 밀집 보상보다 우월함을 지적합니다 (PhysReason 에서 +8.9 pp, PHYSOLYM-A 에서 +6.4 pp) 하지만 포화된 객관식에서는 동등하게 수행된다고 명시합니다.

중요성 및 주장

이 논문은 순수한 알고리즘적 돌파구가 아닌 방법론적 개입으로 자신을 위치시킵니다. 주요 기여는 다음과 같습니다:

• 훈련 가능성 증거: 엄격하게 감사된 코퍼스에서 훈련된 모델이 홀드아웃 오염 없는 평가 (PHYSOLYM-A) 에서 크게 개선됨을 보여줌으로써, 저자들은 이전 물리 추론 벤치마크의 정체는 모델 한계뿐만 아니라 데이터 오염과 포화 때문이었음을 검증합니다.
• 측정 프로토콜: 이 논문은 방어 가능한 물리-VL 측정이 세 가지 속성을 필요로 한다고 주장합니다: 3 단계 감사, 원어 골드 표준, 개방형 신규 소스 평가.
• 아티팩트 공개: PHYSCORP-A, PHYSR1CORP, PHYSOLYM-A, 그리고 Physics-R1 레시피의 공개는 커뮤니티에 이러한 발견을 재현하고 깨끗한 데이터로 미래 모델을 구축할 수 있는 도구를 제공합니다.

저자들은 겸손하게 Physics-R1 을 "참조 레시피"로, 이진 보상을 "배포 가능한 기본값"으로 주장하면서, 밀집 보상과 특정 시드 민감성은 추가 제거 실험이 필요함을 인정합니다. 이 작업은 모든 물리 추론 과제 (예: 대학원 수준의 섭동 이론은 여전히 어렵습니다) 를 해결한다고 주장하지는 않지만, 진전을 측정하기 위한 더 깨끗한 기준선을 확립합니다.