CREATE: Testing LLMs for Associative Creativity

이 논문은 개념 간의 독창적이고 의미 있는 연결을 생성하는 '연상적 창의성'을 평가하기 위해 CREATE 라는 새로운 벤치마크를 소개하고, 최첨단 모델들의 성능을 분석하여 사고 모델이 항상 더 효과적이지는 않으며 창의적 프롬프팅 기법의 개선 효과도 제한적임을 보여줍니다.

핵심

🧠 CREATE: AI 의 '연상 창의성'을 시험하는 새로운 기준

이 논문은 **"인공지능 (LLM) 이 정말로 창의적인가?"**라는 질문에 답하기 위해 개발된 새로운 시험지, CREATE에 대해 설명합니다.

기존의 AI 시험들은 "사과와 배의 공통점은?"처럼 정답이 명확하거나, "시 한 편 써봐"처럼 평가가 주관적인 경우가 많았습니다. 하지만 CREATE 는 서로 다른 두 개념을 연결하는 '지식 그래프' 속의 숨은 길을 찾아내는 능력을 측정합니다.

---

1. 핵심 개념: "창의적 연결"이란 무엇인가요?

창의성은 종종 새롭고 의미 있는 연결을 만드는 능력입니다. 이 논리는 다음과 같은 비유로 설명할 수 있습니다.

• 일반적인 AI: "다코타 존슨"과 "판타지 영화"를 연결하라고 하면, "그녀가 주연한 영화"라고만 말합니다. (너무 뻔한 연결)
• 창의적인 AI: "다코타 존슨"과 "판타지 영화"를 연결하라고 하면, 다음과 같은 숨은 길을 찾아냅니다.
  • 다코타 존슨 → 안토니오 반데라스의 계모 → 안토니오 반데라스 → 슈렉 (Shrek) 의 성우 → 슈렉 (판타지 영화)
  • 또는: 다코타 존슨 → 크리스 에번스와共演 → 크리스 에번스 → 캡틴 아메리카 (SF 영화)

이처럼 직접적이지 않지만, 사실에 기반한 흥미로운 연결 고리를 여러 개 찾아내는 것이 이 시험의 목표입니다.

2. CREATE 시험의 규칙: "질"과 "다양성"

이 시험은 AI 에게 두 가지 중요한 기준을 요구합니다.

1. 강력한 연결 (Specificity):

   • 너무 흔한 연결 (예: "두 사람 모두 미국 시민이다") 은 점수가 낮습니다.
   • 대신, 드물고 구체적인 연결 (예: "계모 관계", "특정 영화의 공동 출연") 이어야 점수가 높습니다.
   • 비유: 친구를 소개할 때 "둘 다 남자야"라고 하는 것보다 "둘 다 1990 년생이고, 둘 다 고등학교 때 밴드 부원이었어"라고 하는 것이 더 창의적이고 가치 있는 정보입니다.

2. 다양한 연결 (Diversity):

   • 같은 종류의 연결만 10 개를 나열하면 안 됩니다.
   • 영화, 가족 관계, 직업, 지리적 위치 등 서로 다른 분야에서 연결 고리를 찾아야 합니다.
   • 비유: 요리사에게 "고기를 요리해"라고 했을 때, 스테이크 10 가지를 만드는 게 아니라 스테이크, 구이, 찌개, 튀김 등 다양한 방식으로 요리해야 훌륭한 요리사입니다.

3. 실험 결과: AI 는 얼마나 잘할까?

연구진은 최신 AI 모델들 (GPT-5, Claude, Gemini 등) 을 이 시험에 도전시켰습니다. 결과는 다음과 같습니다.

• 최고 성능 모델: GPT-5 나 Gemini-3-Pro 같은 최상위 모델들은 꽤 좋은 점수를 받았습니다. 그들은 인간처럼 "아하!" 하는 순간을 만들어내며, 예상치 못한 연결을 찾아냈습니다.
• 생각의 시간 (Token Budget) 의 함정: "생각할 시간을 더 주면 (더 많은 토큰을 쓰면) 더 잘할까?"라는 질문에 대한 답은 아니오였습니다.
  • 비유: 아무리 오래 고민한다고 해서 갑자기 새로운 아이디어가 떠오르는 것은 아닙니다. AI 도 단순히 더 많은 정보를 뒤적이는 것만으로는 창의성이 향상되지 않았습니다.
• 사실성 vs 창의성: 창의적인 연결을 찾으려다 보니, 때로는 사실이 아닌 엉뚱한 연결을 만들어내는 경우도 있었습니다. 가장 뛰어난 모델은 창의성과 사실성 사이의 균형을 잘 잡았습니다.

4. 왜 이 연구가 중요한가요?

이 연구는 AI 가 단순히 지식을 암기하고 회상하는 기계를 넘어, 새로운 통찰을 만들어내는 파트너가 될 수 있는지 확인하는 첫걸음입니다.

• 과학적 발견: 새로운 약물과 질병 사이의 숨은 연결을 찾아낼 수 있을까요?
• 아이디어 발상: 완전히 새로운 비즈니스 모델이나 예술적 영감을 줄 수 있을까요?

CREATE 는 AI 가 인간의 연상 사고 (Associative Reasoning) 능력을 얼마나 잘 모방할 수 있는지 측정하는 모래상자 (Sandbox) 역할을 합니다.

5. 결론: AI 는 아직 '창의적인 예술가'가 아니다

현재의 AI 는 훌륭한 참고 자료이자 도구입니다. 하지만 인간처럼 "아직没人이 생각하지 못한 새로운 연결"을 스스로 찾아내는 진정한 창의성은 여전히 부족합니다.

이 논문의 결론은 다음과 같습니다:

"AI 가 더 많은 정보를 가지고 있다고 해서 더 창의적이 되는 것은 아닙니다. 우리는 AI 가 질 높은 연결을 찾고, 다양한 관점을 제시할 수 있도록 새로운 방법을 개발해야 합니다."

이처럼 CREATE 는 AI 가 단순한 검색 엔진을 넘어, 인간의 창의적 사고를 돕는 진정한 파트너가 되기 위해 어떤 능력을 갖춰야 하는지 보여주는 나침반과 같습니다.

기술 요약

CREATE: LLMs의 연상적 창의성 (Associative Creativity) 평가에 대한 기술적 요약

이 논문은 대규모 언어 모델 (LLM) 의 연상적 창의성 (Associative Creativity) 능력을 평가하기 위해 고안된 새로운 벤치마크 CREATE를 제안합니다. 연상적 창의성은 익숙한 개념들 사이에 새롭고 의미 있는 연결을 형성하는 능력을 의미하며, 과학적 발견, 글쓰기, 창의적 문제 해결의 핵심 요소입니다.

1. 문제 정의 (Problem)

기존의 창의성 평가는 다음과 같은 한계가 있었습니다:

• 주관성: 실제 창의적 작업 (가설 생성, 아이디어 발상 등) 은 평가가 어렵고 주관적입니다.
• 비현실성: 추상적인 상징적 태스크는 실제 LLM 의 활용 방식과 거리가 멉니다.
• LLM 의 우위: 기존 인간용 창의성 테스트 (예: Remote Associates Test) 는 LLM 에게 너무 쉬워 차별화가 어렵습니다.

따라서 **실제 세계의 지식 (World Knowledge)**에 기반하면서도 객관적으로 평가 가능하고, 다양한 연결 고리를 요구하는 새로운 벤치마크가 필요했습니다.

2. 방법론 (Methodology)

2.1. CREATE 벤치마크 구성

CREATE 는 지식 그래프 (Knowledge Graph, Wikidata 기반) 상에서 두 개체 (Entity) 를 연결하는 **경로 (Path)**를 생성하는 태스크입니다.

• 입력: 두 실체 (예: Dakota Johnson 과 판타지/공상과학 영화에 출연한 사람) 를 연결하는 다양한 방법을 묻는 자연어 질문.
• 출력: 시작 노드에서 목표 노드까지 이어지는 사실적 (Factual) 인 관계의 시퀀스 (Triple sequence).
• 데이터 생성: Wikidata 에서 관계 - 카테고리 쌍을 선택하고, 엔티티 쌍을 생성한 후, 1 홉 (hop) 이상의 관계를 확장하여 자연어 질문으로 변환합니다. 총 931 개의 쿼리로 구성되었습니다.

2.2. 평가 지표 (Metrics)

창의성은 **품질 (Quality)**과 다양성 (Diversity) 두 가지 차원에서 평가됩니다.

1. 품질 (Quality, $f(u)$):

   • 특이성 (Specificity): 관계가 얼마나 구체적이고 배타적인지를 측정합니다. (예: '자녀' 관계는 '동료' 관계보다 특이성이 높음).
   • 사실성 (Factuality): 생성된 경로의 모든 관계가 사실인지 확인합니다.
   • 점수는 경로 내 가장 약한 관계 (최소 특이성) 에 의해 결정됩니다.

2. 다양성 및 창의적 유틸리티 (Creative Utility, $s(U)$):

   • 생성된 경로 집합 $U$가 기존에 알려진 경로들과 얼마나 다른지 (거리 $d$) 를 측정합니다.
   • 창의적 유틸리티 공식:
     $$s(U) = \max_{\tau} \sum_{i=1}^{|U|} \gamma^{i-1} f(u_{\tau(i)}) \min_{j<i} d(u_{\tau(i)}, u_{\tau(j)})$$
     • $\tau$: 경로의 순서 (가장 가치 있는 경로를 먼저 선택).
     • $\gamma$: 사용자 인내심 (Patience) 파라미터 (더 많은 경로를 허용할수록 점수 증가).
     • 이 지표는 고품질이면서 동시에 기존과 다른 (Distinct) 경로일수록 높은 점수를 받습니다.

3. 독창성 (Distinctiveness, $\nu$):

   • 생성된 경로가 전체 응답 집합 (Population) 에서 얼마나 멀리 떨어져 있는지를 측정하여, 모델이 얼마나 새로운 연결을 찾아냈는지 평가합니다.

3. 주요 기여 (Key Contributions)

1. CREATE 벤치마크 제안: 실세계 엔티티 간의 연결을 찾는 개방형 태스크를 통해 LLM 의 연상적 창의성을 객관적으로 측정할 수 있는 표준 벤치마크를 구축했습니다.
2. 새로운 평가 프레임워크: 품질 (특이성/사실성) 과 다양성 (거리 기반) 을 통합한 '창의적 유틸리티' 지표를 도입하여, 단순히 많은 답을 내는 것이 아니라 고유하고 강력한 연결을 찾는 능력을 평가합니다.
3. LLM 성능에 대한 통찰:
   • 최첨단 모델 (Frontier Models) 이 오픈소스 모델보다 높은 창의적 유틸리티를 보이지만, 고유한 (Distinctive) 솔루션을 생성하는 능력에서는 여전히 한계가 있음을 발견했습니다.
   • 추론 토큰 (Reasoning Tokens) 증가의 한계: 생각의 과정 (Thinking Trace) 을 늘리거나 토큰 예산을 늘린다고 해서 항상 창의성 점수가 향상되는 것은 아닙니다.
   • 프롬프트 변형의 효과: "창의적으로 생각하라"는 지시나 반복적 재생성 (Iterative regeneration) 은 일부 개선 효과가 있으나, 근본적인 해결책은 아닙니다.

4. 실험 결과 (Results)

• 모델 성능 비교:
  • GPT-5와 Gemini-3-Pro가 가장 높은 창의적 유틸리티 점수를 기록했습니다.
  • GPT-5는 사실성 (Factuality) 과 창의성 사이의 균형이 가장 뛰어났으며, 특히 엄격한 사실성 필터링 하에서도 높은 성능을 유지했습니다.
  • Claude 모델은 매우 보수적으로 답변하여 생성된 경로의 수가 적었고, Open-source 모델들은 사실성 오류가 많아 점수가 급격히 하락했습니다.
• 프롬프트 전략:
  • **Resampling (다양한 샘플링)**과 **Iterative regeneration (이전 답변을 보고 다른 답을 요구)**이 유틸리티 점수를 높이는 데 가장 효과적이었습니다.
  • 단순히 "창의적으로 하라"는 지시만으로는 큰 변화가 없었습니다.
• 사실성 vs 창의성 트레이드오프:
  • 사실성을 엄격하게 필터링할수록 창의적 유틸리티 점수는 하락합니다. GPT-5 는 이 트레이드오프 상황에서 다른 모델들보다 우위를 점했습니다.
• 추론 과정 분석:
  • Thinking 모델들이 더 많은 토큰을 사용한다고 해서 더 많은 엔티티나 관계를 탐색하는 것은 아니었습니다. 오히려 반복적인 검색이나 비효율적인 추론 패턴이 관찰되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 창의성 연구의 진전: CREATE 는 LLM 이 단순한 지식 검색을 넘어, 지식 그래프 상에서 새로운 연결을 발견하는 능력을 평가할 수 있는 중요한 도구를 제공합니다.
• 현실적 한계: 현재 LLM 들은 인간 수준의 창의적 통찰 (Associative Leaps) 을 완전히 대체하기에는 부족하며, 특히 고유한 (Novel) 아이디어 생성에는 여전히 어려움을 겪고 있습니다.
• 향후 방향: 단순히 추론 토큰을 늘리는 것만으로는 창의성을 해결할 수 없으며, 개념 공간 (Conceptual Space) 을 탐색하는 새로운 메커니즘과 방법이 필요합니다.

이 연구는 AI 가 과학적 가설 생성이나 창의적 문제 해결과 같은 고차원적 작업을 지원하기 위해서는 사실성, 품질, 다양성을 모두 충족시키는 새로운 접근법이 필요함을 시사합니다.