GenExam: 다학제적 텍스트 - 이미지 시험을 위한 벤치마크

1. 문제 정의 (Problem)

기존의 텍스트 - 이미지 (Text-to-Image, T2I) 생성 모델 평가 벤치마크는 주로 다음과 같은 한계를 가지고 있습니다:

• 이해 및 추론 중심: 대부분의 벤치마크가 이미지 이해 (VQA) 나 단순한 추론 작업에 집중하고 있어, 생성 능력 자체를 평가하는 데는 부족합니다.
• 지식 표현의 단순화: 기존 생성 벤치마크는 세계 지식이나 시각적 개념의 '시각화 (Illustration)'에 초점을 맞추어, 엄격한 제약 조건이 없는 단순한 그림 그리기 수준에 그칩니다.
• 전문성 부족: 실제 학문적 시험 (예: AP, A-level, IB 등) 에서 요구하는 복잡한 도형, 그래프, 화학 반응식, 지도 등을 정확히 그리고 세부 사항을 준수하는 능력을 평가할 수 있는 체계가 부재합니다.
• 평가의 모호성: 생성된 이미지의 '시각적 사실성 (Photorealism)'이나 '미적 가치'는 중요하지만, 학문적 정확성 (Semantic Correctness) 을 평가하는 데는 한계가 있으며, 기존 MLLM(다중 모달 언어 모델) 을 심사자로 사용할 때 모든 세부 요구사항을 포괄적으로 평가하기 어렵습니다.

따라서, 이해 (Understanding), 추론 (Reasoning), 생성 (Generation) 을 통합적으로 요구하는 진정한 전문가 수준의 지능을 평가할 수 있는 새로운 벤치마크가 필요합니다.

2. 방법론 (Methodology)

2.1. GenExam 벤치마크 구성

• 데이터 규모: 10 개 학문 분야 (수학, 물리, 화학, 생물, 컴퓨터 과학, 경제, 공학, 지리, 음악, 역사) 에 걸쳐 총 1,000 개의 샘플로 구성되었습니다.
• 프롬프트 (Prompt): 실제 대학 수준의 시험 문제 스타일로 작성되었으며, GPT-5 와 인간의 협업을 통해 생성되었습니다. 각 프롬프트는 복잡한 제약 조건과 정확한 지식을 요구합니다.
• 계층적 분류 (Taxonomy): ISCED-F(UNESCO) 표준에 기반한 4 단계 계층 분류 체계를 도입하여 학문적 엄밀성을 확보했습니다 (예: 수학/평면기하/원/접선).
• Ground Truth: 각 문제마다 정답 이미지 (Ground Truth) 와 함께 세부적인 **채점 기준 (Scoring Points)**이 제공됩니다.

2.2. 평가 프로토콜 (Evaluation Protocol)
기존의 단일 지시문 평가 방식의 한계를 극복하기 위해 세부 채점 포인트 (Scoring Points) 기반의 평가 시스템을 설계했습니다.

• 의미적 정확성 (Semantic Correctness):
  • 각 프롬프트에 대해 생성된 이미지가 정답인지 판단하기 위한 일련의 질문 (예: "분자에 탄소 원자가 정확히 8 개 있는가?", "화살표 방향이 올바른가?") 을 정의합니다.
  • MLLM (GPT-5) 을 심사자로 사용하여 Ground Truth 이미지를 참조하며 각 질문에 'Yes/No'로 답변하게 하고, 이를 점수화하여 0~1 범위의 점수를 산출합니다.
• 시각적 타당성 (Visual Plausibility):
  • 철자 (Spelling): 이미지 내 텍스트, 수식, 기호의 맞춤법 정확도.
  • 논리적 일관성 (Logical Consistency): 좌표, 라벨, 기호 간의 논리적 모순 유무.
  • 가독성 (Readability): 요소들의 배치, 중첩, 가림 현상 없이 명확히 식별 가능한지 여부.
  • 각 항목은 0~2 점으로 평가됩니다.
• 최종 점수:
  • Strict Score (엄격한 점수): 의미적 정확성이 1.0 이고 시각적 타당성 3 항목이 모두 2 점일 때만 1 점으로 간주 (완벽한 정답).
  • Relaxed Score (완화된 점수): 의미적 정확성과 시각적 타당성 항목들을 가중치 (0.7, 0.1, 0.1, 0.1) 를 두고 평균한 점수.

3. 주요 기여 (Key Contributions)

1. GenExam 벤치마크 출시: 다학제적 텍스트 - 이미지 시험을 위한 최초의 벤치마크로, 복잡한 프롬프트, 정답 이미지, 그리고 미세한 채점 기준을 제공합니다.
2. 맞춤형 평가 프레임워크: 자연 이미지 평가와 달리 학문적 정확성을 중시하는 새로운 평가 프로토콜을 제안했습니다. 각 샘플별 고유한 채점 포인트를 통해 MLLM 기반 평가의 정확도와 안정성을 높였습니다.
3. 포괄적인 실험 및 분석: 17 개의 최신 T2I 모델과 통합 MLLM 을 평가하여 벤치마크의 난이도를 입증하고, 오픈소스 모델과 폐쇄형 모델 간의 격차를 명확히 보여주었습니다.

4. 실험 결과 (Results)

• 모델 성능 격차:
  • 폐쇄형 모델 (Closed-source): Google 의 'Nano Banana Pro'가 엄격한 점수 (Strict Score) 에서 72.7% 를 기록하여 가장 우수한 성능을 보였으며, OpenAI 의 'GPT-Image-1.5'는 43.2% 를 기록했습니다.
  • 오픈소스 모델 (Open-source): FLUX.2 dev, Qwen-Image-2512 등 최신 오픈소스 모델들은 엄격한 점수에서 대부분 15% 미만 (심지어 3% 미만) 을 기록하여 폐쇄형 모델과 큰 격차를 보였습니다.
  • 통합 MLLM: BAGEL, Show-o2 등 통합 아키텍처를 가진 모델들은 전용 T2I 모델보다도 성능이 낮아, 지식과 추론을 시각적 생성으로 전환하는 데 어려움을 겪고 있음이 드러났습니다.
• 세부 분석:
  • 대부분의 모델이 철자 오류, 논리적 불일치 (예: 좌표와 라벨 불일치), 가독성 문제 (중첩, 흐릿한 텍스트) 에서 큰 실수를 범했습니다.
  • 오픈소스 모델의 실패 원인은 지식 부족보다는 지식을 시각적으로 정확하게 구현 (Visual Reasoning & Execution) 하는 능력의 부재에 기인함이 확인되었습니다.
• 평가자 검증: GPT-5 를 평가자로 사용했을 때 인간 전문가의 평가와 높은 상관관계 (Kendall's τ, Spearman's ρ 등) 를 보여 평가 프로토콜의 신뢰성을 입증했습니다.

5. 의의 및 결론 (Significance)

• AGI 의 새로운 척도: GenExam 은 단순한 이미지 생성이 아닌, 복잡한 학문적 지식을 이해하고 추론하여 시각적으로 구현하는 능력을 평가함으로써, 일반 인공지능 (AGI) 의 발전 단계를 측정하는 중요한 도구로 작용합니다.
• 모델 발전 방향 제시: 현재 모델들이 '시각적 사실성'은 어느 정도 달성했으나, '학문적 정확성'과 '논리적 일관성'에서는 여전히 취약함을 보여줍니다. 이는 향후 모델 개발이 단순한 생성 품질 향상을 넘어, 지식 기반의 시각적 추론 및 정밀한 실행 능력을 강화해야 함을 시사합니다.
• 오픈소스 생태계 격차 해소 필요: 폐쇄형 모델과의 큰 성능 차이는 오픈소스 모델이 고품질의 전문적 데이터와 고급 평가 메커니즘을 통해 발전해야 할 필요성을 강조합니다.

이 논문은 텍스트 - 이미지 생성 모델이 진정한 '전문가 수준의 지능'을 갖추기 위해 해결해야 할 과제를 명확히 제시하며, 향후 연구 방향을 제시하는 중요한 이정표가 됩니다.