기술 요약: 미세-입자 시각적 흔적의 공개: 다중 모달 STEM 작업에서의 다중 모달 인터리브 추론 체인 평가

문제 제기

다중 모달 대규모 언어 모델 (MLLM) 은 유망한 추론 능력을 입증해 왔으나, STEM(과학, 기술, 공학, 수학) 과 같은 전문 분야에서의 성능은 엄격하게 평가하기 어렵습니다. 현재 벤치마크는 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

1. 모달리티 중복 및 단축키: 많은 기존 데이터셋은 모델이 시각적 증거를 우회하고 텍스트 설명에만 의존하도록 허용하여, 시각적 기반이 약한 "모달리티 붕괴"를 초래합니다.
2. 구조화된 시각적 추론의 부재: 과학적 도표, 다이어그램 및 플롯이 훈련 데이터에서 과소 대표되어 있으며, 모델은 정밀한 기호와 논리적 제약을 갖춘 구조화된 시각물을 생성하는 데 어려움을 겪습니다.
3. 결과 지향적 평가: 기존 프로토콜은 거의 전적으로 최종 답변의 정확성에 초점을 맞춥니다. 이는 중간 추론 단계의 품질, 충실도 및 일관성을 간과하여 진정한 교차 모달 추론과 피상적인 단축키를 구분하기 어렵게 만듭니다.

방법론

저자들은 엄격한 텍스트 - 비전 상호 보완성을 강제하고 단계 수준에서 추론을 평가하도록 설계된 벤치마크 및 평가 프레임워크인 STEPSTEM을 소개합니다.

1. 데이터 큐레이션 (STEPSTEM 벤치마크)

• 범위: 이 데이터셋은 공학, 물리학, 화학, 수학, 생물학 및 기타 분야의 대학원 수준의 문제 283 개로 구성됩니다.
• 상호 보완성 강제: 문제는 텍스트만 또는 비전만으로는 해결책을 도출할 수 없도록 큐레이션됩니다. 여기에는 (기하학적/공간적 추론이 필요한) "강하게 의존하는" 문제와 (시각물이 의미적 모호성을 줄이는) "추론 단순화" 문제가 포함됩니다.
• 다중 해결 궤적: 각 문제는 하나 이상의 정답 해결 궤적으로 주석 처리됩니다. 이러한 궤적은 텍스트 추론과 시각적 증거 (이미지/도표) 가 인터리브된 시퀀스입니다.
• 시각적 주석: 시각적 추론 단계의 경우, 전문가들은 이미지 정렬을 위한 미세-입자 감독을 가능하게 하기 위해 경계 상자 (BBoxes) 를 사용하여 관련 지역 증거를 주석 처리합니다.
• 작업 다양성: 벤치마크에는 최종 출력이 이미지인 14 개의 그리기 작업이 포함되어, 평가를 "이미지 - 텍스트에서 텍스트"로 확장하여 "이미지 - 텍스트에서 이미지"로 확장합니다.

2. 평가 프레임워크

저자들은 최종 답변 정확성을 넘어선 단계 수준 평가 프로토콜을 제안합니다:

• 로컬 정렬 점수:
  • 텍스트 단계: Qwen3.5-9B 를 통한 어텐션 롤아웃 기반 의미 유사성을 사용한 후, 단조 동적 프로그래밍을 적용하여 예측된 단계를 참조 단계와 정렬합니다. 이는 중요하지 않은 단계를 건너뛰는 것을 허용하지만 시간적 순서는 유지합니다.
  • 시각 단계: BBox 기반 참조 특징과 예측된 이미지에서 슬라이딩 윈도우 특징을 비교합니다. 단일 일반화된 이미지가 여러 개의 서로 다른 시각적 단계를 만족하는 것을 방지하기 위해 다양성 패널티가 적용됩니다.
• 글로벌 논리 커버리지: LLM 기반 심판은 전체 예측 궤적이 참조 해결책이 요구하는 모든 중요한 텍스트 명제와 시각적 증거를 포함하는지 평가하며, 단어 대 단어 매칭보다 의미적 함의를 보상합니다.
• 지표 융합: 로컬 및 글로벌 점수는 가중치 루트 평균 제곱 (RMS) 을 사용하여 융합됩니다. 여러 개의 참조 해결책이 존재할 때, 유효한 대체 추론 경로를 불이익하지 않도록 프레임워크는 최대 융합 점수를 보고합니다.
• 최종 답변 평가: 텍스트 및 시각적 최종 답변은 정확성에 대해 별도로 평가됩니다.

주요 기여

1. STEPSTEM 벤치마크: 단일 모달 단축키를 제거하기 위해 엄격한 텍스트 - 비전 상호 보완성을 강제하는 283 개의 대학원 수준 STEM 문제의 신중하게 큐레이션된 데이터셋입니다. 인터리브된 텍스트 및 시각 단계를 포함한 다중 해결 궤적을 포함합니다.
2. 미세-입자 평가 프레임워크: 최종 결과뿐만 아니라 중간 다중 모달 추론 단계 (로컬 정렬 및 글로벌 커버리지) 를 평가하는 새로운 단계 수준 평가 프로토콜입니다. 인터리브된 이미지 - 텍스트 추론을 처리하기 위해 동적 프로그래밍 및 다양성 패널티를 활용합니다.
3. 포괄적인 실증 분석: 통합형, 인터리브 생성형, 그리고 이해 전용 모델을 포함한 대표적인 MLLM 에 대한 평가를 통해 현재 능력에 상당한 격차가 있음을 드러냅니다. 이 연구는 단계 수준 점수가 최종 답변 정확성과 강하게 상관관계가 있음을 보여주지만, 모델 행동에 대한 더 진단적인 관점을 제공함을 입증합니다.

실험 결과

다양한 모델 범주에 걸쳐 269 개의 텍스트 답변 문제와 14 개의 이미지 답변 문제에 대해 실험이 수행되었습니다:

• 전체적 난이도: 현재 MLLM 은 대학원 수준의 다중 모달 STEM 추론에 크게 어려움을 겪습니다. 가장 성능이 좋은 이해 전용 모델 (Gemini 3.1 Pro, Claude Opus 4.6) 은 텍스트 답변 문제에서 **38.29%**의 정확도만 달성했습니다. 가장 우수한 통합 모델 (Gemini 2.5 Flash Image) 은 이미지 답변 문제에서 **50.80%**를 달성했습니다.
• 모달리티 한계:
  • 이해 전용 모델(예: Claude Opus 4.6) 은 텍스트 관련 과정 지표 (Local-T, Global-T) 에서 높은 점수를 얻었지만, 모든 이미지 관련 지표 (Img. Acc., Local-I, Global-I) 에서 **0%**를 기록하여 시각적 중간 단계를 생성할 수 없음을 확인했습니다.
  • 통합 모델(예: GPT-5.4 + GPT-Image) 은 가장 높은 융합 과정 점수 (71.52) 와 강력한 이미지 생성 능력을 달성했으나, 여전히 제한된 최종 답변 정확도 (텍스트 답변의 경우 33.21%) 를 보였으며, 이는 그럴듯한 시각적 구조를 생성할 수 있지만 복잡한 문제를 해결하기 위해 이를 효과적으로 통합하는 데 어려움을 겪음을 시사합니다.
  • 인터리브 생성 모델(예: Janus-Pro, OmniGen2) 은 중간 시각 콘텐츠를 생성하는 비자명한 능력을 보였으나, 이미지 기반 최종 답변을 올바르게 생성하지는 못했습니다 (정확도 0%).
• 과정 vs 결과: 단계 수준 점수는 최종 답변의 정확성과 강하게 연관되었습니다. 올바른 답변으로 이어지는 궤적은 일관되게 더 높은 융합 과정 점수를 받았습니다. 그러나 단계 수준 평가는 일부 모델이 추론 궤적이 poor함에도 불구하고 올바른 답변에 도달할 수 있음을, 반면 다른 모델은 일관된 경로를 따랐으나 마지막 단계에서 실패했음을 드러냈습니다.
• 다중 참조 유용성: 여러 개의 정답 해결책을 사용하는 것이 필수임이 입증되었습니다. 단일 참조 평가는 유효하지만 구조적으로 다른 추론 경로를 불공정하게 불이익할 수 있습니다. 다중 참조 접근 방식은 평가의 안정성과 공정성을 향상시켰습니다.

중요성 및 주장

이 논문은 STEPSTEM 이 다중 모달 추론의 미세-입자 평가를 위한 벤치마크로 자리 잡았다고 주장합니다. 그 중요성은 다음과 같습니다:

• 모달리티 격차 노출: 최첨단 모델조차도 텍스트 추론에 크게 의존하며 진정한 교차 모달 STEM 추론 능력을 결여하고 있음을 강조합니다.
• 평가 패러다임 전환: 복잡한 다중 모달 작업에는 최종 답변 정확성만으로는 부족하다고 주장합니다. 제안된 단계 수준 프레임워크는 때때로 우연히 올바르게 추측하는 모델과 그럴듯하고 기반을 둔 추론 과정을 따르는 모델을 구분하는 더 정보적인 진단 신호를 제공합니다.
• 미래 연구 방향: 저자들은 STEPSTEM 이 다중 모달 과정 감독, 추론 지향적 데이터 구축, 그리고 더 충실한 교차 모달 추론 시스템 개발에 대한 미래 연구를 지원할 것이라고 가정합니다.

이 논문은 현재 모델들이 유망한 모습을 보이고 있지만, 진정한 교차 모달 STEM 추론에는 "상당한 개선 여지"가 있으며, 추론 과정 자체를 평가하는 것이 이 분야를 발전시키는 데 중요하다고 결론 내립니다.