기술 요약: AGC-Bench: 인공 일반 창의성(Artificial General Creativity) 측정

문제 정의

창의성 연구는 창의적 능력이 (지능의 스피어먼 $g$ 요인과 유사한) 일반적인 역량인지, 아니면 도메인 특화된 기술들의 집합인지에 대해 오랫동안 논쟁해 왔습니다. 대규모 언어 모델(LLM)이 점점 더 창의적인 출력을 요구받고 있음에도 불구하고, 모델의 창의성이 여러 도메인에 걸쳐 일반화되는지 아니면 특정 영역에 고립되어 있는지를 평가할 수 있는 통합된 인프라가 부족한 실정입니다. 기존의 평가 방식은 수백 개의 이질적인 벤치마크와 호환되지 않는 채점 프로토콜로 파편화되어 있어, 창의적 글쓰기에 뛰어난 모델이 과학적 아이디어 구상, 유머 또는 문제 해결 능력도 갖추고 있는지 경험적으로 판단하는 것을 불가능하게 만듭니다. 또한, "LLM-as-a-judge(판사로서의 LLM)"에 대한 의존은 관대함이나 엄격함의 체계적 편향을 유발하여 실제 성능 차이를 가립니다.

방법론

1. AGC-Bench 구축

저자들은 PRISMA 지침을 준수하는 체계적 문헌 검토를 통해 구축된 메타 벤치마크인 AGC-Bench를 소개합니다.

• 문헌 검토: 3,101개의 후보 논문(2018–2025)으로부터 팀은 497개의 고유한 벤치마크를 식별했습니다.
• 온보딩 파이프라인: 에이전트 워크플로우를 통해 이들 중 78개의 벤치마크를 표준화되고 실행 가능한 HELM 스타일의 시나리오로 변환했습니다. 여기에는 67개의 텍스트 전용 데이터셋과 11개의 멀티모달 시나리오가 포함되었습니다.
• 분류 체계: 텍스트 전용 데이터셋은 인간의 창의성 연구에 근거하여 6개 도메인(브레인스토밍, 문제 해결, STEM, 이야기/서사, 비유적 언어, 유머)으로 구성되었습니다.
• 평가 규모: 83개의 프런티어 LLM(독점 모델 및 오픈 웨이트 모델)을 이 데이터셋들을 통해 평가했습니다. 각 (모델, 데이터셋) 쌍은 $n=50$개의 항목에 대해 점수가 매겨졌으며, 부트스트랩을 통해 순위 안정성을 확인했습니다.

2. 채점 및 보정 (Judge Response Theory)

자동 채점의 편향을 해결하기 위해 저자들은 **판사 반응 이론(Judge Response Theory, JRT)**을 적용했습니다.

• 3인 판사 패널: 계획된 결측(planned-missing) "2-of-3" 설계를 사용했습니다. 즉, 각 항목은 세 명의 프런티어 LLM 판사(Gemini-3-Flash, Grok-4.1-Fast, GPT-4.1-mini) 중 두 명에 의해 평가되었습니다.
• 베이지안 보정: 베이지안 등급 반응 모델(GRM)을 적합시켜 판사별 엄격함 및 변별력 파라미터를 복구함으로써, 체계적인 관대함이나 엄격함을 교정했습니다.
• AGC-Judge: 48,299개의 JRT 교정된 평점에 대해 미세 조정된 Qwen3-30B-A3B-Instruct 모델을 사용하여 AGC-Judge를 제작했습니다. 이 모델은 세 명의 판사 앙상블을 높은 정확도($\rho \ge 0.97$)로 재현하며, 보지 못한 벤치마크에 대해서도 높은 충실도($\rho = 0.83$)로 평점을 예측합니다.

3. 정신계측 분석

연구는 모델의 일반 창의성 요인을 테스트하기 위해 83개 모델 $\times$ 6개 도메인 행렬에 대한 요인 분석을 수행했습니다.

• 외부 타당도: 벤치마크의 구성 타당도는 순수 유동 추론($G_f$) 프로브(Lewis-Mitchell의 반사실적 철자 문자 유추), 인간 평가 기반 창의성 배터리(MuCE), 그리고 모델 내 개입(모델에게 "창의적이 되라"고 요청하는 것 vs "효과적이 되라"고 요청하는 것, 그리고 추론 모드 토글링)을 통해 고정되었습니다.
• 인간 비교: 5개의 과제 하위 집합(AGC-Human)을 통해 224명의 인간 참가자와 125개의 LLM 평가 간의 직접적인 비교를 허용했습니다.

주요 결과

1. 일반 창의성 요인($c$)의 존재

83개 모델에 대한 요인 분석 결과, 6개 도메인 전반에 걸쳐 81.5%의 분산을 설명하는 단일 지배적 창의성 요인인 $c$가 발견되었습니다(Cronmouth's $\alpha = 0.96$).

• 분리 가능성: $c$는 유동 추론($\rho = 0.55$) 및 일반 지식($\rho = 0.62$)과 상관관계가 있지만, 이들과 통계적으로 분리됩니다. 또한 모델 규모와도 분리되지만, 총 파라미터 수와는 중간 정도의 상관관계($\rho = 0.69$)를 보입니다.
• 강건성: 이 요인은 유동 추론을 부분적으로 제거한 후에도, 서로 다른 채점 방식(공식 기반 vs LLM-judge)에서도, 그리고 모델 서브샘플링 하에서도 지속됩니다.

2. 도메인별 성능 변이

일반 요인이 존재하지만, 성능이 균일하지는 않습니다.

• 리더보드: 독점 프런티어 모델(예: Claude Opus 4.7, GPT-5.4/5.5)이 전체 종합 점수를 선도하며, 오픈 웨이트 모델(예: GLM-5.1)이 그 뒤를 바짝 쫓고 있습니다.
• 해리 현상: 특정 모델들은 뚜렷한 강점을 보입니다. 예를 들어, kimi-k2.5는 문제 해결 분야에서 1위를 차지하지만 다른 도메인에서는 상위 5위 안에 들지 못하는 반면, claude-opus-4.6-fast는 비유적 언어 분야에서 압도적인 선두를 달립니다.

3. 창의성 특화 프롬프트에 대한 민감도

개입 실험은 이 벤치마크가 일반적인 추론이 아닌 창의성을 추적한다는 것을 입증했습니다.

• "창의적이 되라"고 프롬프트를 주는 것은 큰 성능 향상($d_z = +1.40$)을 가져온 반면, 추론 능력을 활성화하는 것은 훨씬 작은 변화($d_z = +0.34$)만을 만들어냈습니다.

4. 인간 vs LLM 창의성

쌍을 이룬 인간 하위 집합에 대해:

• 도메인 일반성: 창의성은 인간($\alpha = 0.42$)보다 LLM($\alpha = 0.64$)에서 훨씬 더 도메인 일반적입니다.
• 성능 천장: 최상위 인간 수행자는 여전히 최상위 LLM보다 0.12 표준 편차만큼 앞서 있지만, 프런티어 모델들은 아이디어 구상 및 창의적 글쓰기 과제에서 인간 수준의 성능에 근접하고 있습니다.

핵심 기여

1. AGC-Bench: 단일 평가 하네스 아래 통합된 78개의 데이터셋(텍스트 전용 67개, 멀티모달 11개)으로 구성된 대규모 메타 벤치마크로, 이전 연구보다 규모 면에서 10배 이상의 확장을 보여줍니다.
2. AGC-Judge: 비용은 훨씬 적게 들면서 세 명의 프런티어 판사 패널의 합의를 재현하는, 미세 조정된 오픈 웨이트 스코어링 모델입니다. 이를 통해 확장 가능하고 재현 가능한 창의성 평가를 가능하게 합니다.
3. 정신계측 인프라: 에이전트 기반 온보딩과 JRT 보정을 결합한 재현 가능한 파이프라인을 통해, "인공 일반 창의성" 가설에 대한 공식적인 테스트를 확립하며 PRISMA 체계적 검토를 결합했습니다.
4. 경험적 증거: LLM의 창의성이 주로 단일 차원(일반 $c$ 요인)이며, 일반 지능 및 추론과는 구별된다는 것을 보여주는 최초의 대규모 실증 사례입니다.

의의

본 논문은 LLM의 창의적 능력이 일반적인 역량인지 아니면 도메인 특화된 기술들의 집합인지를 검증하는 첫 번째 경험적 테스트를 제공합니다. 강력한 일반 창의성 요인($c$)을 도출함으로써, 저자들은 AI의 창의성이 단순한 특정 작업의 창발적 속성이 아니라, 지능과 마찬가지로 모델 크기와 학습에 따라 확장되는 전이 가능한 능력일 수 있음을 시사합니다. AGC-Bench, 온보딩 하네스, 그리고 AGC-Judge의 공개는 커뮤니티가 파편화된 단일 도메인 평가를 넘어, AI 창의성에 대한 총체적 이해로 나아갈 수 있는 표준화된 인프라를 제공합니다. 저자들은 현재 모델들이 인간의 성능에 근접하고 있지만 최상위 인간은 여전히 앞서 있으며, 본 벤치마크는 현재의 프런티어를 기준으로 하는 상대적 척도로서 이론적 천장이 결여되어 있다고 언급했습니다.