MaterialFigBENCH: benchmark dataset with figures for evaluating college-level materials science problem-solving abilities of multimodal large language models

이 논문은 대학 수준의 재료과학 문제 해결 능력을 평가하기 위해 상변화도, 응력 - 변형률 곡선 등 필수적인 도표 해석을 요구하는 137 개의 자유 응답 문제로 구성된 멀티모달 벤치마크 'MaterialFigBench'를 제안하고, 현재 선진 모델들이 시각적 이해와 정량적 해석보다는 암기된 지식에 의존하는 한계를 드러냈음을 보고합니다.

핵심

1. 이 연구는 왜 필요했을까요? (시험의 목적)

지금까지 AI(대규모 언어 모델) 들은 주로 **글자 (텍스트)**만 보고 문제를 풀었습니다. 마치 "책만 보고 시험을 보는 학생"과 같죠. 하지만 재료과학 같은 전문 분야에서는 **그림 (상평형도, 응력 - 변형률 곡선 등)**을 보고 숫자를 읽어내고 계산해야 정답을 맞출 수 있는 경우가 많습니다.

연구진들은 **"AI 가 진짜 그림을 보고 이해하는지, 아니면 그냥 암기한 지식으로 뚝딱 정답을 맞추는지"**를 확인하고 싶어 했습니다. 그래서 기존 교과서 문제를 가져와서, 그림만 보고 풀어야 하는 문제 137 개로 구성된 새로운 시험지 (MaterialFigBENCH) 를 만들었습니다.

2. 시험지를 어떻게 만들었나요? (교묘한 트릭)

AI 가 암기된 지식으로 답을 뚝딱 맞추지 못하게 하기 위해 연구진들은 몇 가지 '함정'을 넣었습니다.

• 이름 바꾸기: 교과서에 나오는 실제 금속 이름 (예: 구리 - 은 합금) 을 **가상의 이름 (예: 금속 MA - MB)**으로 바꿨습니다. AI 가 "아, 구리 - 은 합금이구나, 암기된 데이터로 답할게!"라고 생각하지 못하게 하려는 전략입니다.
• 그림 살짝 변형: 그래프의 기울기나 숫자를 미세하게 조정했습니다. AI 가 "그림을 안 봐도 정답을 알지"라고 착각하지 않도록, 반드시 그림을 보고 숫자를 읽어야만 정답이 나오게 만들었습니다.

3. AI 들은 시험을 잘 봤나요? (결과)

결과는 현실적이고 조금은 실망스러웠습니다.

• 암기 천재 vs 그림 해석 실패: 최신 AI 모델들 (ChatGPT-5 등) 은 전체적으로 점수가 조금씩 오르기 시작했습니다. 하지만 정답을 맞춘 경우를 자세히 보니, 그림을 제대로 읽지 않고도 정답을 맞춘 경우가 많았습니다.
  • 예시: "철 - 탄소 합금" 문제가 나왔을 때, AI 는 그림을 보지 않고도 "아, 이건 철 - 탄소 합금이니까 탄소 함량이 0.76% 지!"라고 암기한 지식으로 정답을 맞췄습니다. 연구진이 그림을 아예 보여주지 않아도 AI 가 정답을 맞춘 경우가 많았죠.
• 진짜 그림 읽기는 여전히 어려워: 하지만 그림에서 정확한 숫자를 읽어내거나, "이 두 점 사이의 거리를 재서 계산해라" 같은 문제는 여전히 매우 힘들어했습니다.
  • 비유: AI 는 "이건 사과야"라고 말은 잘 하지만, "이 사과 무게가 150.3 그램이야"라고 숫자를 정확히 읽어내는 건 아직 서툴다는 뜻입니다.

4. AI 들이 특히 힘들어한 점들

1. 숫자 읽기 실수: 그래프에서 눈금을 읽을 때, "15.7"을 "16"으로 대충 읽거나, 반대로 너무 정밀하게 "15.7000"이라고 답하는 등 **숫자의 의미 (유효 숫자)**를 이해하지 못했습니다.
2. 그림 없는 상황: 그림 파일이 없어도 AI 는 "그림을 못 봤어요"라고 말하기보다, 가상 시나리오를 만들어서 "아마도 이런 값일 거예요"라고 대충 맞춰버리는 경우가 많았습니다.
3. 모델별 차이: 최신 모델일수록 점수가 조금 더 좋았지만, 여전히 그림을 보고 논리적으로 추론하는 능력은 인간 전문가에 비해 훨씬 부족했습니다.

5. 이 연구가 우리에게 주는 교훈

이 논문은 우리에게 중요한 메시지를 줍니다.

"AI 가 정답을 맞춘다고 해서, 그 AI 가 그림을 진짜로 '이해'한 것은 아닙니다."

지금의 AI 는 마치 기출문제와 정답을 달달 외운 학생과 같습니다. 새로운 문제 (변형된 그림) 가 나오면, 외운 지식으로 우겨서 답을 맞추려 하지만, 진짜로 그림을 분석하고 계산하는 능력은 아직 부족합니다.

결론

이 연구는 **"MaterialFigBENCH"**라는 새로운 시험지를 통해, AI 가 과학적 그림을 제대로 해석할 수 있도록 발전시켜야 한다고 경고합니다. 앞으로의 AI 는 단순히 지식을 외우는 것을 넘어, 그림을 보고 숫자를 읽어내고 논리적으로 추론하는 '진짜 시각적 이해' 능력을 갖춰야만 재료과학 같은 전문 분야에서 신뢰할 수 있는 도구가 될 수 있을 것입니다.

한 줄 요약:

"AI 가 시험을 잘 봤다고 해서 그림을 잘 본 건 아니야! 아직은 암기 천재일 뿐, 그림 해석은 서툴러."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 생성형 대규모 언어 모델 (LLM) 의 발전으로 재료과학 분야에서의 활용이 증가하고 있으나, 기존 벤치마크는 주로 텍스트 기반 데이터에 의존하고 있습니다.
• 문제: 재료과학의 정보는 본질적으로 다중 모달 (텍스트, 분자 구조, 결정 구조, 스펙트럼, 현미경 이미지, 상도 등) 입니다. 특히 대학 수준의 재료과학 문제 해결에는 상도 (Phase diagrams), 응력 - 변형률 곡선, 아레니우스 플롯, 미세구조 도식과 같은 시각적 자료가 필수적입니다.
• 한계: 기존 모델들은 텍스트 기반 지식만으로는 이러한 시각적 정보를 정확히 해석하거나 수치적 값을 읽어내는 데 어려움을 겪고 있으며, 기존 벤치마크는 이러한 '시각적 추론' 능력을 평가하기에 부족합니다.

2. 방법론 (Methodology)

가. MaterialFigBENCH 데이터셋 구축

• 데이터 소스: 표준 대학 교재 (Callister 등) 에서 발췌한 137 개의 주관식 문제와 정답 (또는 정답 범위) 을 기반으로 구성되었습니다.
• 문제 선정 기준:
  • 정답을 도출하기 위해 반드시 그림을 해석해야 하는 문제만 선정 (텍스트만으로 해결 가능한 문제는 배제).
  • 주제는 결정 구조, 기계적 특성, 확산, 상도, 상변태, 반도체 전기 전도도 등 재료과학의 핵심 영역을 포괄.
• 데이터 변형 (Copyright 및 Memorization 방지):
  • 그림 재작성: 저작권 문제 해결 및 모델이 암기된 지식을 사용하지 못하도록 그림을 재작성했습니다. (예: 실제 원소명 'Cu-Ag'를 가상의 기호 'MA-MB'로 변경, 축의 기울기나 값 미세 조정).
  • 문제 텍스트 수정: 그림 파일명을 명확히 하고, 여러 하위 질문을 분리하거나 통합하여 모델이 그림을 참조하도록 지시문을 명확화했습니다.
• 정답 범위 설정 (Answer Range):
  • 이미지에서 수치 값을 직접 읽어야 하는 경우, 인간의 눈으로 읽을 때 발생할 수 있는 오차를 고려하여 전문가가 정의한 정답 범위를 설정했습니다. (예: 상도에서 상의 조성 비율을 읽을 때 15~17 wt% 와 같이 허용 오차 적용).

나. 평가 프로토콜

• 평가 대상 모델: OpenAI API 를 통해 접근 가능한 최신 멀티모달 LLM 들 (ChatGPT-4o, o1, o3-mini, o3-mini-high, GPT-5, ChatGPT-5 variants 등) 을 평가했습니다.
• 정답 판정 기준:
  • 텍스트 답변: 정확한 일치 필요.
  • 수치 답변:
    • 명시된 값 계산 시: 유효 숫자 (Significant digits) 처리가 적절해야 함.
    • 이미지에서 직접 읽는 값: 설정된 정답 범위 내에 포함되면 정답으로 간주.
    • 모델이 범위를 제시한 경우: 정답 범위와 겹치는 부분이 있으면 정답, 경계만 맞닿으면 오답.
• 실험 설계: 그림을 첨부하지 않은 상태에서 모델이 어떻게 반응하는지 (기억된 지식 의존 여부) 를 확인하는 추가 실험을 수행했습니다.

3. 주요 결과 (Key Results)

가. 전반적인 성능

• 모델 업데이트에 따라 전체 정확도는 향상되었으나, 현재 모델들은 **진짜 시각적 이해 (Genuine visual understanding)**와 정량적 해석에 여전히 심각한 어려움을 겪고 있습니다.
• 정확도: 최신 모델 (ChatGPT-5-thinking, API GPT-5) 의 정확도가 가장 높았으나 (약 55~58%), 여전히 100% 에는 미치지 못했습니다.

나. 암기 지식 의존성 (Memorization vs. Visual Reasoning)

• Fe-C 상도 문제: 모델이 첨부된 그림을 보지 않고도 정답을 맞춘 경우가 많았습니다. 이는 모델이 암기된 철 - 탄소 (Fe-C) 상도 지식을 활용하여 가상의 원소 X 를 탄소로 추론하고, 교재의 표준 값 (예: 0.022, 0.76) 을 사용했기 때문입니다.
• 그림 없는 응답: 그림을 첨부하지 않아도 많은 모델이 정답을 생성하거나, "그림을 볼 수 없다"고 말하면서도 암기된 값을 사용하여 추론했습니다. 이는 벤치마크가 시각적 추론 능력을 과대평가할 위험이 있음을 시사합니다.

다. 카테고리별 성능 차이

• 높은 성능: Fe-C 상도 관련 문제 (기억된 지식 의존), 아레니우스 플롯 (Arrhenius plots) 분석.
• 낮은 성능:
  • 결정 지수 및 방향 (Crystal orientation): 기하학적 해석이 필요한 영역에서 성능이 매우 낮았습니다.
  • 응력 - 변형률 곡선 및 경도: 수치 읽기 및 계산 오류가 빈번했습니다.
  • 상도 내 거리 측정 및 조성 계산: Cu-Ag 등 특정 시스템은 학습되었으나, 일반적인 상도 해석 능력은 부족했습니다.

라. 유효 숫자 (Significant Digits) 처리 문제

• 고사양 모델일수록 오히려 유효 숫자를 줄여서 답변하는 경향이 있었습니다. (예: 3 자리 정밀도 값을 2 자리로 반올림). 이는 수치적 엄밀성 (Numerical rigor) 보다 의미적 정합성을 우선시하는 모델의 성향을 보여줍니다.

마. 모델 간 비교

• API vs. ChatGPT: API 기반 모델 (GPT-5) 이 ChatGPT-5 변형들보다 상대적으로 높은 정확도를 보였습니다.
• 오류 패턴: 모델이 특정 문제에서는 완벽하게 성공하거나 (모든 모델 정답), 완전히 실패하는 (모든 모델 오답) 경향이 뚜렷하여, 성능 향상이 무작위적이지 않고 문제의 특성에 의존함을 알 수 있었습니다.

4. 주요 기여 (Key Contributions)

1. MaterialFigBENCH 데이터셋 공개: 재료과학 분야의 대학 수준 문제 중 시각적 자료가 필수적인 137 개 문제로 구성된 최초의 전문 벤치마크를 구축하고 HuggingFace 에 공개했습니다.
2. 시각적 추론의 한계 규명: 최신 멀티모달 LLM 들이 시각적 정보를 직접 읽기보다 사전 학습된 텍스트 지식 (Memorized knowledge) 에 의존하여 정답을 유도하는 '단축 경로 (Shortcut)' 행동을 보임을 실증했습니다.
3. 정량적 평가 기준 제시: 이미지에서 값을 읽을 때 발생할 수 있는 오차를 고려한 전문가 정의 정답 범위와 유효 숫자 처리를 평가 기준에 포함시켜 과학적 엄밀성을 높였습니다.
4. 향후 연구 방향 제시: 모델의 성능 향상이 모든 유형의 과학 도표에서 균일하게 일어나지 않으며, 특정 도표 (예: 아레니우스 플롯) 에서는 개선되었으나 기하학적 해석 (결정 지수 등) 에서는 여전히 취약함을 지적했습니다.

5. 의의 및 시사점 (Significance)

• 과학적 신뢰성 확보: 재료과학과 같은 정량적 과학 분야에서 LLM 의 활용을 위해서는 단순한 텍스트 생성 능력이 아닌, 그림을 기반으로 한 엄밀한 추론 능력이 필수적임을 강조합니다.
• 벤치마크 설계의 중요성: 일반적인 멀티모달 벤치마크는 재료과학의 특수성 (정밀한 수치 읽기, 복잡한 도표 해석) 을 반영하지 못하므로, 도메인 특화 벤치마크의 필요성을 입증했습니다.
• 모델 개발 방향성: 모델 크기 확장 (Scaling) 만으로는 해결되지 않으며, 과학적 시각 추상화 (상 경계, 로그 기울기 등) 에 대한 타겟 학습과 시각 입력에 대한 명시적 근거 (Grounding) 유도가 향후 모델 개발의 핵심 과제임을 시사합니다.

이 연구는 현재 멀티모달 LLM 이 과학적 도표에 기반한 추론에서 여전히 취약점을 가지고 있음을 명확히 보여주며, MaterialFigBENCH 를 통해 이러한 한계를 체계적으로 진단하고 향후 모델의 발전 방향을 제시한다는 점에서 의의가 큽니다.