CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 창의적 문제 해결 능력을 평가하는 데 있어 기존 벤치마크의 한계가 존재합니다.

• 구성 요소의 분리 평가: 기존 벤치마크들은 논리적 추론, 사실적 지식, 상식 추론 등 창의적 문제 해결의 특정 구성 요소만 평가하거나, lateral thinking(수평적 사고) 을 측정하기 위해 인위적으로 만들어진 뇌피로 (brainteasers) 나 상황 퍼즐에 의존합니다.
• 실제성 부재: 이러한 평가들은 실제 세계의 복잡한 지식과 창의적 통찰력이 결합되어 발생하는 실제 문제 해결 과정을 반영하지 못합니다. 실제 창의적 통찰은 서로 다른 도메인의 지식을 검색하고 이를 비직관적인 방식으로 연결하는 과정에서 나옵니다.
• 연구 목표: 따라서 본 논문은 **실제 세계 지식 (Real-World Knowledge)**에 기반하여, 여러 인지 능력 (수직/수평적 사고, 수렴/발산적 사고, 유추 등) 을 종합적으로 요구하는 CRESOWLVE라는 새로운 벤치마크를 제안합니다.

2. 방법론 (Methodology)

2.1 벤치마크 구축 (Benchmark Construction)

• 데이터 소스: 러시아의 유명한 지적 게임인 **"What? Where? When?"**의 공개 데이터베이스 (db.chgk.info) 에서 3,789 개의 질문을 수집했습니다. 이 게임은 광범위한 세계 지식과 창의적 통찰력을 요구하는 것으로 유명합니다.
• 필터링 및 전처리 파이프라인:
  1. 물리적 자료 제거: 외부 자료 (이미지, 손편지 등) 가 없으면 풀 수 없는 질문 제거 (295 개 제거).
  2. 러시아 문화 특화 질문 제거: 러시아어/문화에 깊이 의존하여 번역 시 의미가 훼손되거나 해결 불가능한 질문 제거 (799 개 제거).
  3. 번역: GPT-4o 를 활용하여 질문, 정답, 해설, 메타데이터를 영어로 번역.
  4. 인간 검증: 3 명의 저자가 최종 번역본을 검토하여 답변 가능성, 문화적 적합성, 번역 정확도를 확인 (282 개 제거).
  5. 분류: 단순 사실 검색으로 해결 가능한 질문과 창의적 사고가 필요한 질문으로 자동 분류.
• 최종 데이터셋: 총 2,061 개의 창의적 문제 (Creative Subset) 가 최종 벤치마크 (CRESOWLVE-En, CRESOWLVE-Ru) 로 선정되었습니다.

2.2 데이터 특성

• 지식 도메인: 문학, 역사, 영화, 언어학 등 34 개의 광범위한 도메인을 아우르며, 대부분의 문제는 2~4 개의 도메인 지식을 결합해야 합니다.
• 창의적 사고 전략: 수평적 사고 (Lateral thinking), 유추 (Analogy), 추상화 (Abstraction), 은유/비유 등 다양한 창의적 언어 기법을 포함합니다.
• 문화적 다양성: 러시아와 영어 문화뿐만 아니라 프랑스, 독일, 이탈리아 등 다양한 문화적 배경을 포함합니다.

2.3 실험 설정

• 평가 대상: 비추론 모델 (Non-thinking, e.g., GPT-4.1, Llama-3.3) 과 추론 모델 (Thinking, e.g., Gemini-3.1-Pro, GPT-5.4, Qwen3.5) 등 최첨단 LLM 들을 평가했습니다.
• 평가 지표:
  • Exact Match (정확 일치): 정규화된 후 정답과 일치하는지 확인.
  • LLM-as-a-Judge: GPT-4o 를 활용하여 모델의 답변이 정답의 핵심 사실을 포함하는지 문맥을 고려하여 평가.

3. 주요 기여 (Key Contributions)

1. CRESOWLVE 벤치마크 제안: 실제 세계 지식에 기반한 창의적 문제 해결을 평가하는 최초의 다국어 (영어/러시아어) 벤치마크를 구축했습니다. 이는 단순한 뇌피로가 아닌, 실제 전문가가 해결하는 복잡한 퍼즐을 기반으로 합니다.
2. 모델 성능 평가 및 분석: 다양한 크기와 추론 모드를 가진 최첨단 LLM 들을 평가하여, 창의적 문제 해결이 여전히 큰 도전 과제임을 입증했습니다.
3. 창의적 vs 사실적 추론 격차 발견: 모델들은 사실적 질문에는 잘 수행하지만, 창의적 연결이 필요한 질문에서는 성능이 급격히 하락함을 발견했습니다.
4. 오류 분석 체계: 모델의 실패 원인을 '창의적 연결 부재', '단서 오해석', '과도한 사고 (Overthinking)' 등으로 세분화하여 분석했습니다.

4. 결과 (Results)

4.1 전체 성능

• 난이도: 벤치마크는 매우 어렵습니다. 최상위 모델 (Gemini-3.1-Pro) 의 경우에도 LLM Judge 기준 약 85% (Medium effort) ~ 86% (High effort) 의 정확도를 보였으며, 비추론 모델은 30% 미만으로 떨어졌습니다.
• 추론 모델의 우위: 'Thinking' 모델 (Chain-of-Thought 또는 긴 사고 과정을 가진 모델) 이 비추론 모델보다 성능이 월등히 높았습니다. 특히 추론 노력 (Thinking Effort) 이 증가할수록 정확도가 크게 향상되었습니다.
• 언어 간 전이: 흥미롭게도 일부 폐쇄형 추론 모델 (Gemini 시리즈) 은 영어보다 **러시아어 버전 (CRESOWLVE-Ru)**에서 더 높은 성능을 보였습니다. 이는 학습 데이터 오염 (Data Contamination) 가능성과 고수준의 다국어 추론 능력의 복합적 결과로 분석되었습니다.

4.2 창의적 vs 사실적 추론 격차

• 모든 모델에서 **사실적 질문 (Factual)**보다 **창의적 질문 (Creative)**에서 성능이 현저히 낮았습니다.
• 성능 하락 폭은 모델에 따라 **-6% 에서 -17%**까지 다양했습니다. 이는 모델이 필요한 지식을 검색 (Retrieval) 할 수는 있지만, 이를 **비직관적으로 연결 (Creative Connection)**하여 정답을 도출하는 능력에서 한계가 있음을 시사합니다.

4.3 오류 분석 (Error Analysis)

가장 빈번한 오류 유형은 다음과 같습니다:

1. Missing creative connection (창의적 연결 부재): 관련 지식을 검색했으나, 단서 간의 은유적/연상적 연결을 놓쳐 핵심 통찰을 실패함. (가장 흔한 오류)
2. Clue misinterpretation (단서 오해석): 일반적인 맥락은 파악했으나, 구체적인 요소를 잘못 해석함.
3. Overthinking (과도한 사고): 올바른 개념을 찾았으나, 이를 재해석하거나 일반화하는 과정에서 잘못된 답으로 전환함.
4. Hallucination (할루시네이션): 지식이 부족할 때 사실과 무관한 내용을 생성함.

5. 의의 및 결론 (Significance & Conclusion)

• 창의적 추론의 병목 현상 규명: LLM 의 실패 원인이 지식 부족이 아니라, **지식 간의 창의적 연결 (Creative Connection)**을 만드는 능력의 부재임을 명확히 했습니다.
• 차세대 벤치마크로서의 가치: CRESOWLVE 는 단순한 지식 테스트를 넘어, 인간 전문가 수준의 통찰력과 다중 도메인 지식을 요구하는 진정한 창의적 문제 해결 능력을 측정할 수 있는 강력한 테스트베드입니다.
• 향후 방향: 추론 모델의 성능 향상은 창의적 문제 해결에 중요한 열쇠임을 보여주었으며, 향후 연구는 모델이 어떻게 서로 다른 개념을 비직관적으로 연결할 수 있도록 훈련될 수 있는지에 초점을 맞춰야 합니다.

이 논문은 LLM 이 단순한 정보 검색기를 넘어, 실제 세계의 복잡한 문제를 창의적으로 해결하는 지능체로 발전하기 위해 넘어야 할 중요한 이정표를 제시합니다.