기술 요약: EduArt – 대규모 언어 모델의 미술사 지식 평가를 위한 교육 수준 벤치마크

문제 정의

대규모 언어 모델(LLM)이 MMLU와 같은 범용 벤치마크에서 천장 성능(ceiling performance)에 도달했음에도 불구하고, 이러한 종합적인 척도는 특정 학문 분야 내에서의 모델 행동을 드러내는 데 실패한다. 기존의 미술 중심 평가들은 두 가지 주요 한계를 가진다: (1) 인간이 저술한 교육 자료가 아닌 합성적으로 생성된 질문에 과도하게 의존하며, (2) 아이템 수준의 심리측정적 특성을 거의 보고하지 않아, 진정한 지식의 공백인지, 과업 형식에 대한 민감성인지, 혹은 부실하게 설계된 문항인지를 구분하는 것을 불가능하게 만든다. 또한, 현재의 벤치마크들은 종종 시각적 인식과 시각적 추론을 혼동하며, 단일 형식 평가(특히 객관식)는 콘텐츠 생산 및 조작을 요구하는 과업을 수행하는 모델의 능력을 체계적으로 과대평가할 수 있다. 이는 미술사 연구의 핵심인 콘텐츠 생산 및 조작 능력과 직결된다.

방법론

저자들은 다양한 질문 형식과 언어에 걸쳐 미술사적 지식과 시각적 추론을 평가하기 위해 설계된 멀티모달 벤치마크인 EduArt를 소개한다.

데이터셋 구축

데이터셋은 교육적으로 근거를 둔 두 가지 뚜렷한 출처로부터 추출된 871개의 인간 저술 질문로 구성된다:

1. MyZanichelli (이탈리아어): 이탈리아 중등 교육에서 사용되는 디지털 연습 플랫폼에서 추출한 668개의 질문으로, Pittura rinascimentale(르네상스 회화)를 다룬다.
2. AP Art History (영어): College Board의 AP 시험(2013–2024)에서 추출한 203개의 질문.

질문은 7가지의 뚜렷한 형식을 포괄한다:

• multiple_choice_radio (단일 정답 선택형)
• multiple_choice_check (다중 정답 선택형)
• true_false (참/거짓)
• completion_closed (제한된 단어 은행을 이용한 빈칸 채우기)
• completion_open (제한 없는 빈칸 채우기)
• positioning (텍스트 내에 올바른 단어를 드래그 앤 드롭)
• select_errors (텍스트 내의 틀린 단어 식별)

데이터셋에는 436개의 질문과 연관된 261개의 고유 이미지가 포함되어 있다. 모든 항목은 저작권 보호를 받으므로, 공개 리포지토리는 원시 데이터 대신 추출 및 평가 파이프라인 코드를 제공한다.

평가 프레임워크

6개 제공자 제품군(OpenAI, Google, Anthropic, Qwen, Mistral, Meta)의 12개 모델을 평가하였다. 평가는 두 가지 조건 하에 수행되었다:

1. 기본(답안 전용, Default): 모델이 엄격한 JSON 스키마에 따라 답안만을 반환한다.
2. 동기 부여(Motivation): 모델이 미술사적 지식이나 시각적 증거에 근거하여 2~4문장의 서술형 근거를 제공해야 한다.

성능은 형식별 메트릭(예: 단일 선택형 MCQ에 대한 정확히 일치 여부, 다중 선택 및 오류 식별에 대한 F1 점수, 위치 지정에 대한 요소 정확도)을 사용하여 측정되었다.

심리측정 분석

본 연구는 벤치마크의 특성을 규명하기 위해 **고전 검사 이론(Classical Test Theory, CAT)**을 적용한다. 주요 메트릭은 다음과 같다:

• 난이도 ($p$): 모델이 항목을 맞춘 비율.
• 변별도 ($r_{pb}$): 항목 성적과 총점 간의 점 이분 상관계수(point-biserial correlation)로, 해당 항목이 강한 모델과 약한 모델을 얼마나 잘 구별하는지를 나타낸다.

또한, 질문 형식, 언어, 이미지 존재 여부, 모델 정체성의 독립적인 효과를 격리하기 위해 로지스틱 회귀 분석을 사용하였다.

주요 결과

1. 심리측정적 특성

EduArt는 강력한 심리측정적 특성을 보여준다. 추정이 가능한 831개 항목의 평균 변별도는 0.514이며, **82.3%**의 항목이 "좋은 변별력"($r_{pb} \geq 0.30$)을 가진 것으로 분류되었다. 항목 난이도는 매우 쉬움에서 매우 어려움까지 잘 분포되어 있어, 이 벤치마크가 지나치게 쉽거나 체계적으로 불가능하지 않음을 확인시켜 준다.

2. 형식 포화 및 발산

• 객관식 포화: 6개의 모델이 multiple_choice_radio 질문에서 94% 이상의 정확도를 초과하였다. 이는 신뢰 구간이 겹친다는 점에서, 인식 형식만으로는 최첨단(frontier) 모델들을 구별하기에 불충분함을 나타낸다. 즉, 이들은 해당 과업 유형에서 포화 상태에 도달했다.
• 형식 민감도: 모델의 성능은 형식에 따라 극적으로 달라진다. MCQ에서 94% 이상의 점수를 기록한 모델이 completion_open에서는 **23.9%**로 떨어지며(예: Claude Opus 4.6), select_errors에서는 **6.2%**까지 낮아질 수 있다(예: Claude Sonnet 4.6).
• 순위 불안정성: 7가지 형식 전체에서 일관된 순위를 유지하는 모델은 없다. 12개 모델 중 10개 모델에서 최선 성적과 최악 성적 사이의 차이가 50 퍼센트 포인트 이상 발생했다.

3. 정확도의 독립적 예측 인자

로지스istic 회귀 분석 결과는 다음과 같다:

• 질문 형식: 비-MCQ 형식은 multiple_choice_radio에 비해 일반적으로 정답 확률이 유의미하게 낮았다. Select_errors가 가장 어려운 형식(OR = 0.045)이었으며, completion_closed(OR = 0.256)가 그 뒤를 이었다.
• 이미지 존재 여부: 직관과는 반대로, 다른 변수들을 통제했을 때 이미지의 존재는 정답 확률을 낮추는 것과 관련이 있었다(OR = 0.765). 이는 이러한 모델들에게 있어 언어 기반 지식이 시각적 처리보다 성능을 주도하며, 시각적 정보를 추가하는 것이 오히려 복잡성을 유발하여 정확도를 저하시킨다는 것을 시사한다.
• 언어: 이탈리아어 질문은 영어 질문보다 유의미하게 어려웠다(OR = 0.459). 이는 질문 유형과 소스 자료의 특정 분포 때문인 것으로 보인다.

4. 동기 부여 조건

서술형 근거를 요구하는 것은 모델 제품군에 따라 의존적인 방식으로 정확도에 영향을 미친다:

• Claude 모델들은 답변을 정당화하도록 요청했을 때 일반적으로 성능이 향상되거나 유지되었다.
• Gemini 및 GPT 모델들은 주로 정확도가 감소하는 경 현상을 보였다(예: Gemini 3.1 Flash Lite Preview는 12.8 퍼센트 포인트 하락).
• 이러한 해리(dissociation)는 추론을 명료하게 표현하는 능력과 정답을 선택하는 능력이 별개임을 시사하며, 구조화된 출력을 강제하는 것이 특정 모델 아키텍처에서는 정답 선택을 방해할 수 있음을 보여준다.

의의 및 주장

본 논문은 EduArt가 특수 도메인에서 멀티모달 LLM을 평가하기 위한 유효하고 비사소한(non-trivial) 도구임을 주장한다. 주요 기여는 다음과 같다:

1. 합성 데이터를 넘어: 인간이 저술한 교육 자료를 사용함으로써, 본 벤치마크는 합성 생성의 함정을 피하고 검증 가능한 정답(ground truth)을 제공한다.
2. 역량의 해리(Dissociation)를 밝힘: 본 연구는 미술사적 지식(사실을 인식하는 능력)과 그 지식을 활용하는 능력(콘텐츠를 생성, 배치 또는 수정하는 능력)이 서로 다른 능력임을 입증한다. 객관식 인식에서의 높은 성능이 오픈 엔드(open-ended) 또는 오류 수정 과업의 성능을 예측하지는 않는다.
3. 단일 형식 벤치마크에 대한 비판: 저자들은 단일 형식 벤치마크(특히 MCQ)가 모델이 안정적으로 수행할 수 있는 과업의 범위를 체계적으로 과대평가한다고 주장한다. 미술사처럼 고정된 옵션 중에서 선택하는 것이 아니라 콘텐츠를 생산하고 조작하는 과업이 필요한 분야에서, MCQ 기반 평가는 오해의 소지가 있는 낙관적인 그림을 제공한다.
4. 책임 있는 도입을 위한 전제 조건: 저자들은 미세한 역량 프로파일을 매핑하는 것이 멀티모달 LLM을 미술사 연구에 책임감 있게 사용하기 위한 전제 조건이라고 결론짓는다. 카탈로그 작성, 속성 판별, 또는 교육을 위해 이러한 도구를 배포하기 전에, 모델이 어떤 과업을 신뢰성 있게 처리하는지 정확히 아는 것이 필수적이다. 학술적 작업은 단순히 고정된 집합에서 답을 선택하는 형태로 이루어지지 않기 때문이다.