기술 요약: SEEPHYS PRO

문제 정의

다중 모달 AI 시스템은 모달리티 일관성(equivalent information 이 다른 형태 (예: 텍스트 대 다이어그램) 로 제시될 때 동일한 추론 행위를 유지하는 능력) 에서 치명적인 도전에 직면해 있습니다. 기존 벤치마크는 종종 단일 입력 형식으로 모델을 평가하여, 최종 답변 정확도의 향상이 진정한 표현 불변 추론에서 비롯된 것인지, 아니면 특정 모달리티에 국한된 단축 경로에서 비롯된 것인지 모호하게 만듭니다. 이 격차는 특히 물리학에서 두드러지는데, 여기서 다이어그램은 단순히 텍스트를 시각화하는 것이 아니라 물리 시스템의 구조와 변수 바인딩을 정의하기 때문입니다. 기존 평가는 다이어그램 인식, 변수 읽기, 물리 추상화, 그리고 하위 심볼 추론의 실패를 구분하는 데 어려움을 겪습니다.

방법론

1. SEEPHYS PRO 벤치마크

저자들은 "동일한 물리, 다른 표현"이라는 원칙에 기반한 세밀한 모달리티 전환 벤치마크인 SEEPHYS PRO를 소개합니다.

• 설계: 각 시드 물리 문제는 언어에서 비주얼로 작업 핵심 정보를 점진적으로 전환하는 네 가지 의미론적으로 정렬된 변형으로 변환됩니다:
  • 레벨 1 (L1): 텍스트 전용 (모든 구조, 변수, 양이 언어로 표현됨).
  • 레벨 2 (L2): 이미지 내 구조 (물리 토폴로지/관계가 이미지에 포함됨; 변수는 텍스트에 남음).
  • 레벨 3 (L3): 이미지 내 구조 + 변수 (다이어그램에 레이블과 수치 값이 포함됨).
  • 레벨 4 (L4): 완전히 렌더링된 이미지 (문제 진술, 공식, 다이어그램이 손글씨 텍스트를 포함하여 단일 시각 입력으로 변환됨).
• 데이터 구축: 공개 데이터셋, 교과서, 올림피아드, 시험의 5,000 페이지 이상의 PDF 에서 파생되었습니다. 데이터셋은 6 가지 물리 분야 (역학, 전자기학, 광학, 열역학, 파동, 현대 물리) 를 다루는 1,000 개의 시드 질문 (총 4,000 개 변형) 을 포함합니다.
• 지표: 벤치마크는 성능을 분해하기 위한 특정 지표를 정의합니다:
  • 전환 격차: $\Delta S$(L1→L2 구조 전환), $\Delta V$(L2→L3 변수 그라운딩), $\Delta R$(L3→L4 렌더링), 그리고 $\Delta T$(총 격차).
  • 일관성: 네 가지 레벨 모두에서 동시에 올바르게 해결된 문제의 비율.

2. 학습 시간 진단 (블라인드 학습)

검증 가능한 보상을 통한 강화 학습 (RLVR) 이 시각적 그라운딩을 진정으로 개선하는지, 아니면 단순히 통계적 단축 경로를 이용하는지 조사하기 위해, 저자들은 두 개의 대규모 물리 RL 코퍼스 (PhysRL-40K 및 PhysRL-8K) 를 개발했습니다.

• 블라인드 학습 통제: 모든 학습 이미지가 마스킹되어 (검은색 이미지로 대체됨) 학습 인스턴스를 시각적으로 해결 불가능하게 만드는 부정적 통제 설정입니다.
• 비교: 모델은 표준 RL(이미지 포함) 과 블라인드 RL(이미지 없음) 을 통해 학습된 후, 마스킹되지 않은 검증 세트에서 평가됩니다.
• 메커니즘 분석: 저자들은 텍스트 삭제, 표적 텍스트 삭제, 이미지 마스킹 비율 제거 실험, 형식 포화 통제를 사용하여 블라인드 학습에서의 성능 향상 원인을 격리합니다.

주요 결과

추론 시간의 취약성

15 개의 폐쇄형 및 오픈 가중치 다중 모달 대규모 언어 모델 (MLLM) 에 대한 평가는 모달리티 전환 하에서 상당한 취약성을 드러냅니다:

• 성능 저하: 평균 정확도가 **49.2%(L1)**에서 **35.8%(L4)**로 하락하여 평균 총 전환 격차 13.4% 포인트를 초래합니다.
• 변수 그라운딩 병목: 가장 큰 성능 하락은 모델이 이미지에서 변수와 레이블을 그라운드해야 하는 레벨 2→레벨 3($\Delta V = 7.4$) 에서 발생합니다. 이는 다이어그램 구조를 인식하는 것이 특정 수치 양을 물리 개체에 읽고 바인딩하는 것보다 덜 문제적임을 나타냅니다.
• 불일치: 최첨단 모델들 (예: GPT-5.4, Claude-4.7-Opus) 조차 낮은 4 방향 일관성 (예: GPT-5.4 의 경우 32.6%) 을 보입니다. 즉, 텍스트 기반 문제를 해결하는 모델은 동일한 문제가 시각적으로 제시될 때 종종 실패합니다.
• 인간 기준선: 고등학생 (L1 기준 54.0%) 은 더 큰 견고성을 보이며, 텍스트에서 구조로 이동할 때 (L1→L2) 성능이 오히려 약간 향상되는 반면, 모델들은 저하됩니다.

학습 시간 진단

• 블라인드 학습 향상: 놀랍게도 블라인드 RL(마스킹된 이미지로 학습) 은 마스킹되지 않은 검증 세트에서 정확도를 향상시킵니다. Qwen3-VL-4B 의 경우, 블라인드 RL 은 레벨 1 정확도를 9.9% 에서 20.9% 로, 레벨 4 정확도를 6.4% 에서 13.0% 로 증가시켰습니다.
• 격차 해소 부재: 정확도 향상에도 불구하고, 블라인드 RL 은 모달리티 전환 격차를 해소하지 못합니다. 총 격차 ($\Delta T$) 와 변수 그라운딩 격차 ($\Delta V$) 는 학습 후에도 여전히 크거나 오히려 확대됩니다.
• 향상 메커니즘: 메커니즘 분석은 블라인드 향상이 유효한 시각적 증거가 아닌 잔여 텍스트 단서(예: 문제 템플릿, 답변 옵션, 수치 범위) 와 데이터셋 수준의 통계적 규칙성에 의해 주도됨을 드러냅니다.
  • 학습 데이터에서 텍스트를 삭제하면 블라인드 향상이 사라집니다.
  • 형식 보상이 포화 상태여도 블라인드 향상이 지속되어, 단순 형식 준수가 유일한 원인이 아님을 배제합니다.
• 크로스 벤치마크 검증: 이러한 발견은 외부 수학 및 물리 벤치마크 (예: MathVerse, PhyX) 로도 확장되어, 결과만 기반한 RL 이 진정한 시각적 그라운딩을 장려하기보다 비시각적 단축 경로를 증폭시키는 경향이 있음을 시사합니다.

중요성과 주장

이 논문은 최종 답변 정확도에만 의존하는 다중 모달 추론의 현재 평가는 불충분하다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 표현 불변성 부재: 최첨단 MLLM 은 아직 표현 불변 추론자가 아닙니다. 그들은 정보가 어떻게 인코딩되는지에 매우 민감하며, 변수 그라운딩이 주요 실패 모드입니다.
2. RLVR 의 한계: 결과만 기반 보상을 통한 강화 학습은 모델의 시각적 증거 활용 능력을 실제로 향상시키지 않으면서 벤치마크 성능을 향상시킬 수 있습니다. 표준 RL 에서 관찰된 "향상"은 대부분 모델이 이미지에서 추론을 그라운드하는 법을 배우기보다 텍스트 및 분포적 단축 경로를 이용하는 법을 배우는 데서 비롯될 수 있습니다.
3. 진단 필요성: 향후 연구는 진정한 시각 학습과 단축 경로 기반 성능 향상을 구분하기 위해 모달리티 전환 견고성과 학습 시간 그라운딩 진단(블라인드 학습 통제와 같은) 을 통해 다중 모달 추론을 평가해야 합니다.

이 연구는 모델이 비시각적 경로를 통해 올바른 답변에 도달할 수 있는지 여부뿐만 아니라, 개선이 작업 핵심 시각적 증거에 의존하는지 명시적으로 테스트하는 벤치마크와 학습 프로토콜의 필요성을 강조합니다.