Benchmarking Cross-Scale Perception Ability of Large Multimodal Models in Material Science

이 논문은 재료 과학의 다중 규모 (원자부터 거시적 수준까지) 구조 - 특성 관계를 해석하는 능력을 평가하기 위해 1,041 개의 고품질 도표를 포함한 새로운 벤치마크인 CSMBench 를 제안하고, 이를 통해 현재 대형 멀티모달 모델들의 한계와 향후 발전 방향을 규명합니다.

핵심

🧱 핵심 아이디어: "재료 과학은 레고와 같습니다"

재료 과학을 이해하려면 **크기 (Scale)**를 바꿔가며 봐야 합니다.

• 원자 (Atomic): 레고 블록 하나하나의 모양과 결합.
• 미세 (Micro): 레고 블록 몇 개가 모여 만든 작은 구조.
• 중간 (Meso): 작은 구조들이 모여 만든 벽돌.
• 거시 (Macro): 벽돌들이 쌓여 만든 완성된 집.

지금까지의 AI 는 "레고 블록"을 보는 능력은 좋았지만, "작은 블록이 어떻게 모여 큰 집을 만드는지" 그 연결고리를 이해하는 데는 약점이 있었습니다. 이 논문은 바로 그 **'크기별 연결 능력'**을 테스트하는 새로운 시험지인 **'CSMBench'**를 만들었습니다.

---

📝 이 논문이 한 일 (3 가지 주요 기여)

1. 최신 시험지 만들기 (CSMBench)

연구팀은 2025 년 9 월까지 발표된 최신 과학 논문들에서 1,041 개의 그림을 모았습니다.

• 비유: 마치 최신 수학 문제집을 만들어, 학생들이 배운 내용을 그대로 외운 게 아니라 진짜로 이해했는지 보는 것과 같습니다.
• 이 그림들은 원자 크기부터 거시적인 구조까지 4 가지 크기로 분류되었습니다.

2. 두 가지 방식으로 시험 보기

AI 에게 그림을 보여주고 두 가지 질문을 던졌습니다.

• 질문 1 (설명하기): "이 그림을 보고 과학적으로 무엇을 알 수 있는지 100~300 단어로 설명해줘." (주관식)
• 질문 2 (고르기): "이 그림에 맞는 설명은 A, B, C, D 중哪一个일까?" (객관식)
  • 주의: 객관식 오답들은 매우 미묘하게 틀리게 만들어 AI 가 헷갈리게 했습니다. (예: "SEM"을 "TEM"으로 바꾸거나, 온도를 100 도만 다르게 함)

3. AI 들의 실력 점검

최고급 AI 10 개 (GPT-5.1, Gemini, Qwen 등) 를 시험에 붙였습니다.

---

🔍 놀라운 결과들 (AI 의 실력 분석)

1. "비밀스러운 AI"가 더 잘한다 (상용 vs 오픈소스)

• 비유: **상용 AI (GPT-5.1 등)**는 "명품 학원"을 다닌 학생처럼, 복잡한 과학 원리도 잘 설명하고 정확한 답을 냅니다. 반면 오픈소스 AI는 "열심히 공부한 일반 학생"처럼, 큰 그림은 이해하지만 미세한 부분에서 실수를 하거나 설명이 부족합니다.
• 결과: 상용 AI 가 과학적 논리력과 정확도에서 압도적으로 앞섰습니다.

2. "크기"에 따라 실력이 들쑥날쑥하다

• 비유: AI 는 **중간 크기 (미세/중간 스케일)**의 그림을 볼 때는 아주 잘합니다. 마치 "현미경으로 본 세포"나 "현미경으로 본 금속 결"처럼 규칙적인 패턴은 잘 읽습니다.
• 하지만 너무 작거나 (원자) 너무 큰 (건물 전체) 그림은 어려워합니다.
  • 원자: 너무 복잡하고 추상적인 도표가 많아서 헷갈립니다.
  • 거시: 너무 다양한 상황 (유체 흐름, 열 전달 등) 이 섞여 있어 맥락을 파악하기 어렵습니다.

3. "크기"가 커진다고 무조건 똑똑해지지는 않는다

• 비유: "머리 (파라미터) 가 큰 AI"가 항상 더 똑똑한 건 아닙니다.
• 어떤 320 억 개의 파라미터를 가진 AI 는, 700 억 개를 가진 AI 보다 점수가 낮기도 했습니다.
• 핵심: 단순히 데이터 양을 늘리는 것보다, **"생각하는 과정 (추론 능력)"**을 어떻게 설계하느냐가 더 중요합니다. 최신 모델 (Qwen3-VL 등) 은 사고 과정을 거치며 그림을 분석해서 더 좋은 성적을 냈습니다.

4. "정답 고르기" vs "정답 설명하기"의 괴리

• 비유: 어떤 AI 는 객관식 시험에서는 95% 이상 맞히지만, 주관식 시험에서는 "왜 그런지" 설명을 못 합니다.
• 원인: AI 가 그림의 특징을 보고 "아, 이거 저거네!"라고 **직관 (히어리즘)**으로 정답을 맞히는 건 잘하지만, 그 뒤에 숨은 물리 법칙을 설명하는 깊은 이해력은 부족합니다.

5. "그림 + 그래프"가 섞이면 더 잘한다

• 비유: 재료 과학 그림은 보통 실물 사진과 데이터 그래프가 함께 있는 경우가 많습니다.
• AI 는 이 두 가지가 섞여 있을 때 더 잘합니다. 그래프가 사진의 의미를 보충해주기 때문입니다.

---

💡 결론: 왜 이 연구가 중요한가요?

이 논문은 **"AI 가 과학을 할 때, 단순히 그림을 보는 것을 넘어 '왜' 그런 현상이 일어나는지 이해해야 한다"**는 메시지를 줍니다.

지금까지의 AI 는 "그림을 잘 묘사하는 화가" 수준이었습니다. 하지만 이 연구를 통해 우리는 AI 가 **"과학자처럼 사고하는 연구원"**이 되기 위해 어떤 부분이 더 훈련되어야 하는지 (특히 원자부터 거시까지의 연결고리를 이해하는 능력) 를 명확히 알게 되었습니다.

한 줄 요약:

"AI 가 재료 과학을 잘하려면, 레고 블록 하나하나 (원자) 에서부터 완성된 성 (거시) 까지 모든 크기의 관계를 이해하고 설명할 수 있어야 합니다. 지금 AI 는 중간 크기는 잘 보지만, 너무 작거나 큰 부분에서는 여전히 '생각'이 부족합니다."

기술 요약

1. 문제 정의 (Problem)

재료 과학의 핵심 과제는 원자 수준에서 거시적 수준까지의 계층적 구조 - 특성 관계를 규명하는 것입니다. 이는 미시적 관찰과 거시적 결과를 연결하는 교차 스케일 (Cross-scale) 추론 능력을 요구합니다.

• 현황: 대규모 멀티모달 모델 (LMM) 이 과학적 워크플로우에 통합되고 있지만, 기존 과학 벤치마크 (ScienceQA 등) 는 일반적인 차트 해석이나 상식적 추론에 치중하고 있습니다.
• 한계: 기존 벤치마크는 재료 과학의 고유한 특성인 물리적 차원 (Angstrom 에서 cm 단위까지) 을 가로지르는 다중 스케일 (Multi-scale) 이해 능력을 평가하지 못합니다. 따라서 현재 모델이 재료 연구의 복잡한 물리적 법칙과 시각적 특징을 얼마나 심층적으로 이해하는지 측정할 수 있는 표준이 부재했습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 CSMBench를 제안했습니다. 이는 LMM 의 계층적 이해 능력을 평가하기 위해 설계된 데이터셋 및 평가 프레임워크입니다.

• 데이터 수집 및 구성:

  • 2025 년 9 월까지의 최상위 재료 과학 저널 (Nature, Science Advances, Advanced Materials 등 8 개) 에서 432 편의 논문과 1,041 개의 고품질 그림을 수집했습니다.
  • 데이터는 재료 과학의 정의에 따라 4 가지 물리적 스케일로 엄격하게 분류되었습니다:
    1. 원자 스케일 (Atomic): 격자 배열, 원자 결함 등 (Å 단위).
    2. 미세 스케일 (Micro): 침전물, 전위 등 나노~마이크로 단위.
    3. 메조 스케일 (Meso): 결정립 경계, 조직 등 마이크로~밀리미터 단위.
    4. 거시 스케일 (Macro): 벌크 재료, 부품 형상 등 센티미터~미터 단위.
  • 데이터는 자동화 도구 (MinerU) 를 통한 전처리와 전문가의 수동 필터링 (일반적인 흐름도 배제, 실제 재료 형태/상/조성 분석 가능 이미지 선별) 을 거쳐 오염되지 않은 최신 데이터로 구성되었습니다.

• 평가 태스크 (Task Design):

  1. 개방형 그림 설명 (Open-ended Figure Description): 모델이 그림과 캡션을 입력받아 100~300 단어의 상세한 과학적 설명을 생성하도록 요구합니다. 생성된 내용은 원문과 비교하여 BERTScore, STS, LLM-as-a-Judge 점수로 평가합니다.
  2. 다지선다형 캡션 매칭 (Multiple-choice Caption Matching): 주어진 그림에 대한 올바른 캡션을 4 개의 옵션 중 선택하는 태스크입니다.
     • 난이도 조절: 특징적 방법 (예: TEM vs SEM), 재료 조성 (예: ZrB2 vs TiB2), 수치 값 (예: 온도, 시간) 을 교묘하게 변형한 **정교한 오답 (Distractors)**을 생성하여 모델의 정밀한 인식 능력을 테스트합니다.

• 평가 모델: GPT-5.1, Gemini-2.5-Pro, Doubao-1.6-vision 등 상용 모델과 Qwen2.5/3-VL, InternVL3 시리즈 등 오픈소스 모델 총 10 개를 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 최신 및 오염 없는 데이터셋: 2025 년 최신 논문 기반의 1,041 개 그림으로 구성된 CSMBench 공개.
2. 4 단계 물리적 스케일 분류 및 이중 태스크: 원자부터 거시적 스케일까지를 구분하고, 인식 정밀도 (다지선다) 와 추론 깊이 (개방형 설명) 를 동시에 측정하는 체계 마련.
3. 포괄적인 벤치마킹 결과: 10 개 최첨단 LMM 에 대한 평가 수행 및 스케일별 성능 편차, 모델 크기 vs 성능의 비선형적 관계 등을 규명.

4. 주요 결과 (Results)

• 상용 모델의 우세: GPT-5.1, Doubao-1.6-vision 등 상용 모델이 오픈소스 모델보다 과학적 추론과 판별 정확도에서 일관되게 우월한 성능을 보였습니다. (예: GPT-5.1 의 개방형 설명 점수는 오픈소스 최상위 모델보다 약 1.8 점 높음).
• 스케일 의존적 성능 편차:
  • 모델들은 미세 (Micro) 및 메조 (Meso) 스케일에서 가장 높은 성능을 보였습니다 (표준화된 SEM, CT 등 실험 이미지 특성).
  • 원자 (Atomic) 및 거시 (Macro) 스케일에서는 성능이 저하되었습니다. 이는 원자 스케일의 복잡한 격자 도해와 거시 스케일의 이질적인 시각적 표현이 모델 해석을 어렵게 만들기 때문입니다.
• 스케일링 법칙의 한계: 모델 파라미터 수 증가 (예: 7B → 72B) 가 항상 성능 향상으로 이어지지 않았습니다. 오히려 아키텍처 진화 (Qwen3-VL-8B) 가 더 큰 모델 (Qwen2.5-VL-72B) 을 능가하는 경우가 있었습니다. 이는 단순한 크기 확대보다 내부 사고 과정 (Thinking Process) 과 계층적 특징 분석 능력이 중요함을 시사합니다.
• 인식 vs 추론의 괴리: 다지선다 태스크에서 높은 정확도를 보인 모델 (예: Doubao-1.6-vision) 이 개방형 설명 태스크에서는 과학적 내러티브를 생성하는 데 실패하는 경우가 많았습니다. 이는 모델이 시각적 휴리스틱에 의존하여 정답을 고를 수는 있지만, 물리적 원리를 도출하는 심층 추론 능력은 부족함을 의미합니다.
• 이질적 시각 패턴의 효과: 순수 형태학적 이미지보다 통계 차트가 포함된 혼합 (Hybrid) 이미지에서 모델의 성능이 향상되었습니다. 이는 보조 통계 데이터가 복잡한 재료 구조 해석을 위한 문맥적 단서로 작용하기 때문입니다.

5. 의의 및 결론 (Significance)

• 과학적 인지 능력 평가의 새로운 표준: CSMBench 는 재료 과학의 계층적 특성을 반영한 최초의 벤치마크로, 모델이 단순한 이미지 인식을 넘어 물리적 스케일을 가로지르는 추론이 가능한지 평가할 수 있는 기준을 제시합니다.
• 향후 연구 방향 제시: 현재 일반 목적 LMM 은 재료 과학의 심층적 물리 법칙 이해에 한계가 있음을 드러냈습니다. 특히 시각적 패턴을 추상적인 물리 원리로 변환하는 능력과 다중 스케일 간의 연결 고리를 강화하는 것이 향후 모델 개발의 핵심 과제임을 강조합니다.
• 오픈소스 생태계 발전: CSMBench 는 오픈소스 모델의 발전 방향을 제시하며, 과학적 발견을 위한 신뢰할 수 있는 AI 도구 개발을 촉진할 것입니다.

이 논문은 재료 과학 분야에서 AI 모델의 한계를 명확히 하고, 차세대 과학적 발견을 위한 AI 의 발전 방향을 제시한다는 점에서 중요한 의의를 가집니다.