기술 요약: EKPHRASIS – 텍스트 전용 LLM의 시각적 창의적 아이디어 구상 측정

문제 정의

현재의 대규모 언어 모델(LLM) 평가는 이미지 생성 단계가 이루어지기 전, 텍스트 전용 모델이 진정으로 시각적 개념을 독창적으로 생성할 수 있는지 여부를 분리하여 평가하는 데 실패하고 있다. 유창하고 생생한 시각적 산문이 실제적인 시각적 발명 능력의 결여를 가릴 수 있는 중대한 "측정 함정(measurement trap)"이 존재한다. 모델들은 창의적으로 보이는 출력을 생성할 수 있지만, 이는 익숙한 시각적 클리셰, 안전한 모티프, 또는 반복되는 인구 통계적 패턴(즉, "새로움의 환상")에 의존하는 경우가 많다. 기존 벤치마크는 최종 렌더링된 이미지, 언어적 창의성, 또는 지시 이행 능력을 평가하지만, 픽셀이 존재하기 전에 반드시 시각적 실체, 구체성, 그리고 새로움을 갖추어야 하는 전(前)-이미지 시각적 계획(pre-image visual plan)—즉, 텍스트 형태의 청사진—을 평가하지는 않는다.

본 연구가 다루는 핵심 질문은 다음과 같다: 언어 모델은 시각적으로 상상할 수 있는가, 아니면 단지 상상할 수 있는 것처럼 글을 쓰는 것뿐인가?

방법론: EKPHRASIS 벤치마크

저자들은 **시각적 창의적 아이디어 구상(Visual Creative Ideation, VCI)**을 측정하기 위해 설계된 400개 과업 규모의 벤치마크인 EKPHRASIS를 소개한다. VCI는 다음을 충족하는 텍스트 기반 시각적 계획을 생성하는 능력으로 정의된다:

1. 유용성(Useful): 특정 시각적 브리프(brief)를 만족시키는가.
2. 표현력(Expressive): 구체적이고 안정적인 정신적 이미지를 지원할 수 있을 만큼 충분한 세부 정보를 제공하는가.
3. 새로움(Novel): LLM 인구 집단에서 흔히 나타나는 과업별 시각적 클리셰에서 벗어나는가.

과업 설계

본 벤치마크는 시각적 계획의 서로 다른 측면을 테스트하는 네 가지 통제된 과업군으로 구성된다:

• 추상화(Abstraction): 추상적 개념을 구체적인 시각적 매개체로 매핑함 (예: "모래시계"라는 단어를 사용하지 않고 "시간적 압박"을 표현하기).
• 결합(Combination): 두 개의 별개 개념을 단순한 병치가 아닌, 하나의 일관된 시각적 실체로 융합함.
• 변형(Transformation): 인식 가능성을 유지하면서 특정 제약 조건 하에 대상의 형태, 재질 또는 맥락을 재작성함.
• 적응(Adaptation): 특정 관객 및 매체 제약이 있는 실제 세계의 맥락(예: 광고, 교육)을 위한 시각적 솔루션을 설계함.

평가 프로토콜

EKPHRASIS는 유창성이나 길이에 따른 편향을 피하기 위해 엄격한 다단계 평가 파이프라인을 채택한다:

1. 이중 필드 응답 형식: 모델은 반드시 핵심 아이디어(매개체, 은유, 메커즘)와 시각적 묘사(대상, 레이아웃, 재질, 빛)를 출력해야 한다. 이는 유창한 산문이 구체적인 시각적 계획을 대체하는 것을 방지한다.
2. 체크리스트 기반 쌍체 비교: 인간 및 LLM 판정사가 유용성, 표현력, 새로움에 대한 차원별 체크리스트를 사용하여 익명화된 모델 쌍을 비교한다.
3. 새로움 측정을 위한 유형화된 아이디어 그래프(Typed Idea Graphs, TIG): 새로움을 객관적으로 측정하기 위해, 시스템은 "인구 기반(population-anchored)" 참조 모델을 구축한다. 각 과업에 대해, 비교 대상인 두 모델을 제외한 나머지 모든 모델의 응답으로부터 "유형화된 아이디어 원자(typed idea atoms)"(개념, 모티프, 메커즘)의 그래프를 생성한다(Leave-Two-Models-Out 방식). 이 그래프에서 높은 점수를 받는 클러스터는 "인구 집단적 클리셰"를 나타낸다. 새로움 점수는 응답이 이러한 특정 클리셰를 회피하는지, 변형하는지, 혹은 반복하는지에 따라 산출된다.
4. Bradley-Terry 집계: 쌍체 선호도는 Bradley-Terry 모델을 사용하여 각 차원에 대한 잠재적 기술 점수($\theta$)로 집계되며, 비교 예산을 최적화하기 위해 능동적 샘플링(active sampling)이 사용된다.

교차 모달 검증

텍-레벨의 점수가 단순히 언어적 품질이 아닌 실제 시각적 내용을 반영하는지 확인하기 위해, 저자들은 교차 모달 접지(cross-modal grounding) 연구를 수행했다:

• 텍스트 계획들을 고정된 텍스트-투-이미지(text-to-image) 시스템을 사용하여 이미지로 렌더링했다.
• "충실도 게이트(faithfulness gate)"를 통해 원본 아이디어를 보존하지 못한 렌더링 결과물을 필터링했다.
• 인간 주석가들은 원본 텍스트나 모델의 정체를 알지 못하는 상태에서 렌더링된 이미지를 비교했다.
• 결과적으로 도출된 이미지 수준의 선호도를 원래의 텍스트 수준 VCI 순위와 비교하여 수렴 타당성을 검증했다.

주요 기여

1. 구성 개념 정의: 본 논문은 브리프 충족, 시각적 구체성, 그리고 인구 집단적 새로움을 일반적인 유창성이나 언어적 창의성과 구분되는 별개의 구성 개념으로서 **시각적 창의적 아이디어 구상(VCI)**을 구조화한다.
2. EKPHRASIS 벤치마크: 추상화, 결합, 변형, 적응을 포괄하는 400개의 사례 세트를 제공하며, 모델 인구 집단의 반복되는 패턴에 대비하여 새로움을 고정하는 새로운 평가 엔진인 Typed Idea Graphs를 특징으로 한다.
3. 실증적 증거: 14개의 최첨단 텍스트 전용 LLM을 평가하여 VCI가 다차원적임을 입증했다. 우수한 모델들은 서로 다른 프로파일을 통해 높은 종합 점수를 달성한다 (예: 어떤 모델은 유용성에는 뛰어나지만 새로움이 부족한 반면, 어떤 모델은 매우 참신하지만 유용성이 떨어질 수 있음).
4. 검증: 텍스트 수준의 VCI 순위가 충실한 렌더링과 블라인드 이미지 수준 선호 판단에서도 대부분 유지됨을 보여줌으로써, 이 지표가 산문의 질을 넘어 시각적 아이디어 구상을 측정하는 척도임을 입증했다.

결과

• 모델 성능: 최상위 모델들(Gemini 3.1 Pro, GPT-5.4, Claude 4.7, DeepSeek V4, Kimi K2.6)은 다양한 군집을 형성한다. 예를 들어, GPT-5.4는 유용성(+1.53)에서 앞섰고, Claude 4.7과 Gemini 3.1 Pro는 표현력에서, Kimi K2.6은 새로움(+1.66)에서 앞섰다.
• 차원의 분리: 본 연구는 높은 유용성이 시각적 새로움을 보장하지 않는다는 점을 확인했다. Grok 4.3과 같은 모델은 높은 유용성(+1.10)을 보였으나 새로움은 평균 이하(-0.17)를 기록했는데, 이는 이들이 브리프를 충족할 수는 있으나 익숙한 시각적 매개체에 의존할 수 있음을 나타낸다.
• 과업 난이도: 결합(Combination) 과업이 가장 까다로운 것으로 식별되었는데, 이는 단순한 나열이 아닌 공유된 시각적 구조를 요구하기 때문이다.
• 새로움 절제 실험(Novelty Ablation): 과업별 TIG 앵커를 일반적인 새로움 참조로 대체했을 때 인간의 다수결 일치도가 20.9 퍼센트 포인트 감소하였으며, 이는 과업 특화된 인구 기반 앵커링이 정확한 새로움 측정에 필수적임을 입증한다.
• 교차 모달 일치도: 충실한 하위 집합에서, 결정적인 이미지 수준의 선호도의 96.6%가 텍스트 수준의 모델 순위와 일치하였으며, 이는 텍스트 계획이 복구 가능한 시각적 정보를 담고 있었음을 검증한다.

의의 및 주장

본 논문은 텍스트 전용 모델이 시각적으로 상상할 수 있는지에 대한 질문에 대해 "조건부 긍정(qualified operational yes)"을 주장한다. 본 연구는 다음을 입증한다:

• 전(前)-이미지 계획은 텍스트-투-이미지 모달리티 전환 과정에서도 과업 관련 시각적 정보를 전달할 수 있다.
• VCI는 단일한 개념이 아니다. 유사한 종합 점수가 서로 다른 기저 역량(예: 브리프 준수 vs 진정한 시각적 발명)을 은폐할 수 있다.
• 노출된 핵심 경계는 **"안전한 그럴싸함(safe plausibility)"**이다. 많은 출력물이 브리프를 만족시키고 읽기 좋게 작성되지만, 익숙한 매개체와 상투적인 은유로 회귀하는 경향을 보인다.
• 실무적 시사점: 창의적으로 보이는 산문이 시각적 메커즘, 이미지화 가능성, 그리고 인구 집단적 새로움에 대한 별도의 검증 없이 시각적 창의성으로 간주되어서는 안 된다.

저자들은 모델 인구 집단에 의존하여 클리셰를 정의한다는 점, 새로움 판단의 문화적 가정, 그리고 교차 모달 검증을 위한 특정 렌더러에 대한 의존성 등 한계점을 겸허히 언급하였다. 또한, EKPHRASIS는 사적인 정신적 이미지나 일반적인 인간 창의성 이론이 아니라, 외부화된 전-이미지 계획을 측정하는 것임을 강조한다.