기술 요약: Sci-ρ: STEM 문제를 위한 다국어 시각적 접지 기반 심볼릭 벤치마크

문제 정의

STEM 도메인에서 대규모 시각-언어 모델(VLM)을 평가하기 위한 현재의 벤치마크들은 세 가지 주요 한계점을 가지고 있습니다:

1. 강건성 평가의 부재: 기존의 벤치마크 대부분은 정적이고 단발적인 이미지에 의존합니다. 이들은 모델이 시각적 콘텐츠를 진정으로 추론하는 것인지, 아니면 훈련 과정에서 본 표면적 특징을 매칭하여 성공하는 것인지를 구분하지 못합니다. 문제의 시각적 제시 방식(예: 특정 좌표나 색상)은 근본적인 논리와는 무관할 수 있지만, 현재의 평가는 모델이 서로 다른 시각적 파라미터를 가진 논리적으로 동등한 변형들을 해결할 수 있는지 테스트하지 않습니다.
2. 좁은 도메인 범위: 기존의 노력들은 수학과 물리에 과도하게 집중되어 있어, 생물학, 화학, 컴퓨터 과학이 가진 고유한 시각적 요구사항(예: 분자 구조, 생물학적 도해)에 대한 시각적 접지 기반 추론 연구는 거의 이루어지지 않았습니다.
3. 단일 언어 편향: 평가는 거의 독점적으로 영어로 수행되며, 이는 대부분의 학습자와 실무자들이 실제로 STEM 콘텐츠를 접하는 다국어 환경에서 VLM의 능력이 전이될 수 있는지 여부를 불분명하게 만듭니다.

방법론: Sci-ρ 벤치마크

이러한 격차를 해소하기 위해, 저자들은 시각적 접지 기반 STEM 문제를 위한 동적, 심볼릭, 다국어 벤치마크인 **Sci-ρ (Science Rhobustness)**를 소개합니다.

데이터셋 구축

데이터셋은 과학 올림피아드 메달리스트와 상급 학부생을 포함한 도메인 전문가들이 참여한 두 단계 과정을 통해 구축되었습니다:

1. 템플릿 생성: Cambridge IGCSE 및 A-Level 커리큘럼을 기반으로 5개 과목(수학, 물리, 화학, 생물학, 컴퓨터 과학)에 걸쳐 606개의 고품질 문제 템플릿이 생성되었습니다. 각 문제는 실행 가능한 Python 클래스로 구현되었습니다. 이 클래스들은 다음 요소들을 변화시킴으로써 문제 인스턴스를 동적으로 생성합니다:
   • 수치 값: 텍스트나 이미지 내의 숫자 변경.
   • 시각적 패턴: 배치 변경 (예: 객체의 위치).
   • 기하학적 형상: 치수 또는 형태 수정.
   • 색상 체계: 솔루션 색상 또는 객체의 색조 변경.
   • 함수 유형: 선형, 이차 함수 등의 전환.
     각 템플릿은 최소 10개의 서로 다른 변형을 보장합니다.
2. 번역: 문제 설명은 기계 번역 후 원어민의 엄격한 검증을 거쳐 6개의 추가 언어(인도네시아어, 중국어, 아랍어, 힌디어, 카자흐어, 스와힐리어)로 번역되었습니다. 품질 관리를 위해 번역의 정확성을 확인하기 위한 "허니팟(honey-pot)" 오류가 포함되었습니다.

최종 데이터셋은 42,420개의 고유한 문제 인스턴스 (606개 템플릿 × 10개 변형 × 7개 언어)로 구성되며, 각 인스턴스는 정답(ground-truth) 솔루션 및 LaTeX 형식의 단계별 추론 과정과 쌍을 이룹니다.

평가 프레임워크

저자들은 6가지 지표를 사용하여 17개의 최첨단 VLM(GPT-5.4, Gemini 2.5, Qwen3.5, Llama 4, InternVL 등을 포함)을 평가했습니다:

• 평균 사례 정확도 ($A_{avg}$): 생성된 모든 변형에 대한 평균 정확도.
• 최악의 경우 정확도 ($A_{wst}$): 모델이 모든 변형에 대해 정답을 맞힌 문제 템플릿의 비율. 이는 일관성을 측정합니다.
• 단계별 지표: LLM 판사(GPT-5.4)를 사용하여 모델 출력을 정답과 비교하여 계산된 추론 단계의 재현율(Recall, $R$), 정밀도(Precision, $P$), F1 점수($F$).
• 최악의 경우 단계 F1 ($F_{wst}$): 주어진 템플릿에 대한 모든 변형 중 최소 F1 점수.
• 이미지 어텐션 비율 (IAR): 생성 과정 중 VLM이 텍스트 토큰 대비 이미지 토큰에 할당하는 상대적 어텐션을 측정하는 기계적 분석.

주요 결과

1. 강건성 격차 (The Robustness Gap)

모든 모델에서 평균 사례 정확도와 최악의 경우 정확도 사이에 상당한 성능 격차가 존재합니다.

• 프런티어 모델: GPT-5.4 및 Gemini 2.5와 같은 최상위 모델조차 평균 정확도 대비 최악의 경우 정확도가 10~28% 하락합니다. 예를 들어, GPT-5.4의 생물학 정확도는 72.2%(평균)에서 47.8%(최악의 경우)로 떨어집니다.
• 소형 모델: 더 작은 오픈 웨이트 모델들은 심각한 성능 저하를 겪습니다. 생물학에서 InternVL3.5-4B 및 Molmo2-4B와 같은 모델들은 특정 변형에 대해 정확도가 0%에 가깝게 떨어지며 최악의 조건에서 사실상 붕괴됩니다.
• 아키텍처 민감도: MoE 아키텍처인 Qwen3.5-122B-A10B 모델은 27B 밀집(dense) 모델에 비해 현저히 낮은 최악의 경우 정확도를 보여, 파라미터 수 자체가 강건성을 보장하지 않음을 시사합니다.

2. 다국어 성능

• 독점/대규모 모델: 대규모 독점 모델(GPT-5.4, Gemini 2.5) 및 대규모 오픈 웨이트 모델은 언어 간 성능 저하가 거의 없으며, 비영어 환경에서도 강건성을 유지합니다.
• 소형 모델: 소형 오픈 웨이트 모델은 비영어 언어, 특히 스와힐리어와 같은 저자원 언어에서 눈에 띄는 성능 저하를 보입니다. 이는 사전 훈련 코퍼스의 표현력이 다국어 강건성에 큰 영향을 미침을 시사합니다.

3. 추론 단계 분석

단계별 평가는 추론의 취약성이 소형 모델에 국한되지 않는 일반적인 현상임을 보여줍니다.

• 일관성: 평균 F1 점수와 최악의 경우 F1 점수 사이에는 일관된 격차가 존재합니다. GPT-5.4조차 최악의 조건에서는 F1 점수가 13~20포인트 하락합니다.
• 과목 난이도: 생물학이 모든 모델에서 가장 어려운 과목으로 나타났으며, 수학과 컴퓨터 과학이 단계별 일관성 저하가 가장 크게 나타난 뒤를 이었습니다.

4. 기계적 통찰 (Attention Heads)

Qwen3-VL-8B-Instruct 모델의 어텐션 헤드 분석 결과, **이미지 어텐션 비율 (IAR)**에서 상당한 교차 언어적 변이가 발견되었습니다:

• 언어 의존성: 모델은 중국어로 프롬프트가 주어졌을 때(가장 낮은 IAR) 시각적 문맥에 덜 의존하며, 카자흐어와 힌디어로 프롬프트가 주어졌을 때(가장 높은 IAR) 훨씬 더 많이 의존합니다.
• 가설: 저자들은 언어 친숙도가 높을수록 모델이 텍스트 입력에 더 의존하고, 친숙도가 낮을수록 시각적 입력을 통한 보완적 의존도가 높아진다고 가설을 세웠습니다.

5. 실패 모드

GPT-5.4의 실패 사례에 대한 수동 검사 결과 세 가지 주요 오류 유형이 식별되었습니다:

1. 도해 판독 오류 (63.5%): 정확한 수치를 추출하지 못하거나 객체의 수를 잘못 세는 경우.
2. 지식 오류 (28.8%): 결함이 있는 논리적 추론, 존재하지 않는 정보의 환각, 또는 잘못된 정리 적용.
3. 계산 오류 (7.7%): 올바른 논리에도 불구하고 발생하는 산술적 실수.

의의 및 주장

본 논문은 Sci-ρ가 시각적 접지 기반 STEM 추론을 위한 최초의 심볼릭, 다국어 강건성 벤치마크라고 주장합니다. 이 연구의 주요 의의는 평가 패러다임을 정적인 단일 인스턴스 테스트에서 동적인 변형 기반 평가로 전환했다는 데 있습니다.

저자들은 다음과 같이 주장합니다:

• 정적 벤치마크는 불충분하다: 정적 벤치마크는 진정한 추론과 표면적인 패턴 매칭을 구분하지 못합니다. 평균과 최악의 경우 정확도 사이의 큰 격차는 현재 VLM의 취약성을 드러냅니다.
• 강건성은 핵심적인 지표이다: STEM 분야에서의 진정한 능력은 시각적 및 수치적 섭동(perturbation)에 걸쳐 일관된 성능을 보이는 것을 의미하며, 현재 프런티어 모델들조차 이러한 능력이 부족합니다.
• 다국어 강건성은 모델 의존적이다: 대규모 모델은 언어 간에 잘 일반화되지만, 소형 모델은 어려움을 겪으며, 이는 더 나은 다국어 사전 훈련 또는 아키텍처 조정의 필요성을 강조합니다.
• 시각적 접지는 일관적이지 않다: 언어에 따른 어텐션 할당의 변화는 VLM이 시각 정보와 텍스트 정보를 균일하게 통합하지 않으며, 익숙할 때는 텍스트에, 익숙하지 않을 때는 이미지에 의존할 수 있음을 시사합니다.

결론적으로, VLM의 진정한 품질과 엄격한 STEM 애플리케이션에 대한 준비도를 측정하기 위해서는 정적 벤치마크를 넘어선 평가가 필수적입니다.