HSSBench: Benchmarking Humanities and Social Sciences Ability for Multimodal Large Language Models

이 논문은 STEM 중심의 기존 벤치마크의 한계를 극복하고 인문사회과학 (HSS) 분야의 다국어 평가와 교차 학문적 추론 능력을 측정하기 위해 전문가와 자동 에이전트의 협업을 통해 13,000 개 이상의 샘플로 구성된 'HSSBench'를 제안하고, 이를 통해 최신 다중모달 대규모 언어 모델들이 여전히 큰 도전에 직면해 있음을 입증합니다.

핵심

🌍 HSSBench: 인공지능에게 "인문사회학" 시험을 치르게 하다

이 논문은 **"HSSBench"**라는 새로운 시험지를 소개합니다. 이 시험지는 인공지능 (AI) 이 수학이나 과학 같은 딱딱한 지식뿐만 아니라, 인문학과 사회과학 (역사, 경제, 예술, 문화 등) 분야에서도 얼마나 똑똑한지 측정하기 위해 만들어졌습니다.

이 내용을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 왜 이런 시험이 필요할까요? (현재의 문제점)

지금까지 AI 를 평가하던 시험지는 주로 수학이나 과학 (STEM) 위주였습니다. 마치 "인공지능에게 미분방정식을 풀게 하거나, 코딩을 시키는 것"과 비슷하죠.

하지만 **인문사회학 (HSS)**은 다릅니다.

• 수학 문제: 정답이 하나이고, 논리만 따라가면 됩니다. (예: 2+2=? → 4)
• 인문 문제: 정답이 여러 개일 수 있고, 역사적 배경, 문화적 맥락, 예술적 해석이 섞여 있습니다. (예: "이 그림에서 화가가 왜 붉은색을 썼을까?")

비유하자면:
지금까지 AI 는 수학 천재로만 평가받았습니다. 하지만 진짜 똑똑한 사람이 되려면 수학뿐만 아니라 역사도 알고, 예술을 감상할 줄도 알며, 다른 사람의 감정을 이해하는 사회과학 지식도 있어야 합니다.
현재 AI 는 수학은 잘 풀지만, 그림을 보고 "이게 어떤 역사적 사건을 상징하는지"를 모르면 실수를 합니다. 마치 "수학은 100 점인데, 역사와 예술은 0 점인 학생"과 같습니다.

---

2. HSSBench 는 어떤 시험인가요? (시험의 특징)

이 연구팀이 만든 HSSBench는 AI 의 인문사회학적 능력을 측정하는 거대한 문제집입니다.

• 문제 양: 총 13,000 개 이상의 문제.
• 범위: 지리, 경제, 문화, 사회과학, 역사, 예술 등 6 가지 큰 분야와 45 가지 세부 주제를 다룹니다.
• 언어: 유엔의 6 개 공용어 (영어, 중국어, 프랑스어, 러시아어, 스페인어, 아랍어) 로 되어 있어 전 세계 문화를 다룹니다.
• 문제 형태: 단순히 글만 읽는 게 아니라, 사진, 지도, 그림, 그래프를 보고 문제를 풀어야 합니다.

창의적인 비유:
이 시험지는 **"AI 를 위한 '전인교육' 입학시험"**입니다.

• 지리 문제: 지도를 보고 "이 지형이 왜 이렇게 생겼는지" 설명하기.
• 경제 문제: 그래프를 보고 "기업이 왜 손해를 보는지" 추론하기.
• 예술 문제: 고대 유물을 보고 "이것이 어떤 의식에서 쓰였는지" 유추하기.

이 문제는 AI 가 **이미지 (시각)**와 **지식 (텍스트)**을 연결해서 생각할 수 있는지 테스트합니다.

---

3. 시험 결과: AI 는 잘했을까요? (결과 분석)

결론부터 말하면, AI 는 아직 이 시험에서 고전하고 있습니다.

• 성적: 최신 AI 모델들도 평균 60% 미만의 점수를 받았습니다. (전문가는 90% 이상 맞췄습니다.)
• 가장 어려운 과목: 경제학이 가장 어려웠습니다. 복잡한 이론과 맥락을 동시에 이해해야 하기 때문입니다.
• 가장 쉬운 과목: 지리학이 상대적으로 잘 풀었습니다. 사실 (Fact) 위주의 정보가 많아 AI 가 기억하기 좋았기 때문입니다.

비유하자면:
AI 는 **"암기왕"**은 될 수 있지만, **"해석왕"**은 아직 못 됩니다.

• AI 는 "이 지도에 산이 있다"는 건 알 수 있지만, "왜 이 산이 중요한 역사적 의미가 있는지"를 연결하는 데는 실패합니다.
• 특히 **정답을 고르는 문제 (객관식)**에서는 조금 잘하지만, **스스로 답을 만들어내는 문제 (주관식)**에서는 점수가 급격히 떨어집니다. AI 가 스스로 생각할 때 헷갈려서 엉뚱한 답을 내놓는 경우가 많기 때문입니다.

---

4. 이 연구가 우리에게 주는 메시지

이 논문은 AI 개발자들에게 중요한 신호를 보냅니다.

"AI 를 더 똑똑하게 만들려면, 수학 문제만 더 많이 풀게 하는 게 아니라, 인문학과 사회과학의 깊이 있는 이해를 시켜야 한다."

마무리 비유:
지금까지 AI 는 **공부 잘하는 '수학 천재'**로만 키웠습니다. 하지만 앞으로는 **인간처럼 다양한 지식을 연결하고, 문화를 이해하며, 복잡한 상황을 해석할 수 있는 '만능 지성'**으로 키워야 합니다.

HSSBench는 바로 그 '만능 지성'으로 가는 길목에서 AI 가 어디에 약한지 알려주는 나침반 역할을 할 것입니다. 이 시험지를 통해 AI 가 더 인간적이고, 깊이 있는 사고를 할 수 있도록 발전하기를 기대합니다.

기술 요약

1. 문제 제기 (Problem)

현재 멀티모달 대규모 언어 모델 (MLLM) 을 평가하는 벤치마크는 주로 STEM(과학, 기술, 공학, 수학) 분야에 집중되어 있습니다. 이러한 벤치마크들은 논리적 추론, 실험적 분석, 단일 정답 도출과 같은 '수직적 추론 (Vertical Reasoning)' 능력을 평가하는 데 중점을 둡니다.

반면, 인문학과 사회과학 (HSS, Humanities and Social Sciences) 분야는 다음과 같은 고유한 특성을 가지며, 기존 벤치마크로는 이를 적절히 평가할 수 없습니다.

• 수평적 추론 (Horizontal Reasoning): 다양한 맥락 간의 연결, 다학제적 사고, 그리고 여러 가지 유효한 해석을 생성하는 능력을 요구합니다.
• 상호 모달 지식 전이 (Cross-modal Knowledge Transfer) 의 부재: HSS 영역에서는 추상적인 개념과 시각적 표현 (이미지, 도표, 유물 등) 을 깊이 있게 통합해야 합니다. 예를 들어, 이미지 속 글꼴의 스타일을 보고 '비즈니스 펜십 (Business Penmanship)'이라는 개념을 유추하거나, 역사적 유물의 의상과 소품을 통해 문화적 상징성을 파악하는 작업이 필요합니다.
• 현재 모델의 한계: 기존 MLLM 은 추상 개념 자체는 인식할 수 있으나, 이를 해당 시각적 콘텐츠와 연결하여 추론하는 데 심각한 어려움을 겪고 있으며, 이는 할루시네이션 (Hallucination) 과 오답으로 이어집니다.

2. 방법론 (Methodology)

저자들은 HSS 영역의 능력을 평가하기 위해 HSSBench라는 새로운 대규모 벤치마크를 제안했습니다.

A. 데이터셋 구성 (Dataset Construction)

• 규모 및 범위: 총 13,152 개의 샘플로 구성되며, UN 의 6 개 공식 언어 (영어, 중국어, 프랑스어, 러시아어, 스페인어, 아랍어) 로 제공됩니다.
• 카테고리: 지리학, 예술, 문화, 사회과학, 역사, 경제 등 6 가지 주요 분야와 45 가지 세부 유형을 포함합니다.
• 데이터 생성 파이프라인 (VGP, Visual Question Generation Pipeline):
  1. 준비 단계 (Stage I): 전문가와 네트워크 기반 에이전트가 협력하여 텍스트 및 이미지 원자료를 수집합니다.
  2. 구축 단계 (Stage II):
     • 전문가 구축: 도메인 전문가가 기존 문제를 수정하거나 새로운 문제를 생성합니다.
     • 멀티 에이전트 구축: 요약기 (Summarizer), 추출기 (Extractor), 질문 생성기 (Question Generator), 이미지 매처 (Image Matcher) 로 구성된 멀티 에이전트 프레임워크를 활용하여 고품질 데이터를 대량 생성합니다.
  3. 검증 단계 (Stage III):
     • 에이전트 검증: 질문과 이미지의 의존성을 확인합니다. 텍스트만으로도 답이 나오거나 이미지만으로도 답이 나오는 경우를 제거하여 진정한 멀티모달 추론을 보장합니다.
     • 전문가 검증: 민감성 문제, 모호성, 정확성을 최종 확인합니다.

B. 실험 설정

• 평가 모델: 오픈소스 모델 (Qwen2.5-VL, InternVL, LLaVA 등) 과 상용 모델 (GPT-4o, GPT-4.1 시리즈 등) 총 20 개 이상의 MLLM 을 평가했습니다.
• 프롬프트 전략:
  • 직접 응답 (Direct Response) vs. 사고의 사슬 (Chain-of-Thought, CoT): 모델이 중간 추론 과정을 거치는지 여부를 비교했습니다.
  • 질문 형식: 객관식 (Multiple-choice) 과 주관식 (Open-ended) 을 모두 평가했습니다.
  • 언어: 6 개 언어로 번역된 동일한 질문에 대한 성능을 비교했습니다.

3. 주요 기여 (Key Contributions)

1. HSSBench 도입: 인문사회과학 분야에 특화된 최초의 대규모 멀티모달 벤치마크를 제안했습니다. 이는 6 개 카테고리, 45 개 하위 유형, 13,000 개 이상의 샘플을 포함하며 다국어 평가를 지원합니다.
2. 실용적인 데이터 구축 방법론: 도메인 전문가와 멀티 에이전트가 협력하는 하이브리드 파이프라인을 통해 고품질의 HSS 데이터를 대량으로 생성하고 검증하는 방법을 제시했습니다.
3. 포괄적인 벤치마킹 및 통찰: 20 개 이상의 최신 MLLM 에 대한 상세한 평가를 수행하여, HSS 작업이 현재 최첨단 모델들에게도 여전히 큰 도전 과제임을 입증했습니다.

4. 실험 결과 (Results)

• 전반적 성능: 모든 모델의 평균 정확도는 60% 미만으로, HSSBench 가 모델들에게 상당한 난이도를 제공함을 보여줍니다. 인간 전문가의 평균 정확도는 약 93.8% 로 매우 높았습니다.
• 모델별 차이:
  • 상용 모델: GPT-4.1 시리즈가 대부분의 작업에서 최상위 성능을 보였으며, 특히 주관식 질문에서 39.97% 의 정확도를 기록했습니다.
  • 오픈소스 모델: Qwen2.5-VL-72B 등 대형 오픈소스 모델이 일부 카테고리 (문화, 사회과학) 에서 상용 모델을 능가하거나 경쟁력 있는 성능을 보였습니다. 이는 중국어 데이터 학습의 이점이나 특정 도메인 데이터의 풍부함 때문으로 분석됩니다.
• 카테고리별 난이도:
  • 경제 (Economy): 모든 모델에게 가장 어려운 분야로, 복잡한 이론과 추론이 필요하여 평균 점수가 가장 낮았습니다.
  • 지리학 (Geography): 상대적으로 가장 쉬운 분야로, 사실 기반의 지식이 많아 모델들이 더 잘 수행했습니다.
• 프롬프트 및 형식의 영향:
  • CoT 의 한계: CoT 프롬프트가 항상 도움이 되는 것은 아니며, 오히려 일부 모델에서는 할루시네이션을 유발하거나 추론을 왜곡시켜 성능을 저하시켰습니다.
  • 객관식 vs 주관식: 객관식 문제에서 성능이 좋았으나, 보기 (Options) 가 없는 주관식 문제에서는 모델의 정확도가 급격히 하락했습니다 (대부분 15% 미만). 이는 모델이 시각적 심볼이나 문화적 맥락에 대한 깊은 이해가 부족하고, 보기의 힌트에 의존하고 있음을 시사합니다.
• RAG (검색 증강 생성) 의 효과: 일반적인 지식 베이스 (Wikipedia 등) 를 활용한 RAG 는 HSSBench 성능을 일관되게 향상시키지 못했습니다. 이는 HSS 의 뉘앙스 있는 지식이 일반 검색어와 잘 맞지 않으며, 모델이 검색된 정보를 효과적으로 통합하지 못하기 때문입니다.

5. 의의 및 결론 (Significance)

• 연구 방향의 전환: 기존 MLLM 연구가 STEM 중심의 논리적 추론에 치중해 왔다면, HSSBench 는 다학제적 사고, 문화적 이해, 추상 개념과 시각적 정보의 통합이라는 새로운 평가 기준을 제시합니다.
• 모델의 한계 노출: 현재 모델들이 역사적 맥락, 윤리적 원칙, 문화적 상징성을 해석하는 데 있어 여전히 취약함을 명확히 보여주었습니다.
• 미래 연구의 기초: HSSBench 는 향후 MLLM 이 인간과 유사한 수준의 종합적 지능을 갖추기 위해 필요한 '수평적 추론' 능력 향상을 위한 중요한 벤치마크로 자리 잡을 것입니다. 특히, 다국어 및 다문화적 맥락에서의 모델 능력을 평가하는 데 필수적인 도구입니다.

이 논문은 인문사회과학 분야의 복잡성을 이해하고 평가할 수 있는 체계적인 프레임워크를 제공함으로써, AI 의 발전이 단순한 계산 능력을 넘어 인간 사회의 다양한 맥락을 이해하는 방향으로 나아가야 함을 강조합니다.