Beyond Semantic Similarity: Open Challenges for Embedding-Based Creative Process Analysis Across AI Design Tools

이 논문은 AI 기반 창의성 지원 도구의 평가에 있어 단순한 의미적 유사성 기반 임베딩 분석의 한계를 지적하고, 창의적 전환을 포착하기 위한 문맥 인식 개입과 같은 새로운 과제를 제시합니다.

핵심

이 논문은 "AI 디자인 도구들이 얼마나 창의적인지 어떻게 비교할 것인가?" 라는 아주 중요한 질문을 던집니다.

기존에는 각 디자인 분야 (예: 폰트 만들기, 가구 디자인, 건축 등) 마다 다른 기준으로 평가했기 때문에, "A 도구가 B 도구보다 더 창의적인가?"라고 비교하는 것이 거의 불가능했습니다. 이 논문은 모든 디자인 과정을 하나의 공통된 언어로 번역해서 비교할 수 있는 방법 (임베딩 분석) 을 제안하지만, 동시에 "그 방법이 아직 완벽하지 않다" 고 경고합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎨 비유: "창의성 지도 만들기"

가상적으로 우리가 창의적인 여행 (디자인 과정) 을 기록하는 지도를 만든다고 상상해 보세요.

1. 현재의 문제: "단어만 보고 길을 잘못 판단하다"

지금까지 AI 는 여행자의 말을 들을 때, 비슷한 단어를 쓰면 같은 길로 간다고 생각했습니다.

• 상황: 여행자가 "의자를 쌓는 방법"을 고민하다가, 갑자기 "벽을 쌓는 방법"으로 생각을 바꿨다고 칩시다.
• AI 의 오해: AI 는 "의자"와 "벽"이라는 단어에 '쌓다 (Stackable)'라는 공통점이 있으니, 여행자가 같은 주제 (의자) 를 더 자세히 설명하는 중이라고 판단합니다.
• 현실: 사실 여행자는 완전히 다른 문제 (공간 활용) 를 해결하기 위해 방향을 180 도 틀어준 것입니다.
• 결과: AI 는 이 여행을 "한 가지 길을 계속 걷는 단순한 과정"으로 기록해 버려, 여행자가 얼마나 다양한 길을探索했는지 (창의성) 를 제대로 평가하지 못합니다.

2. 이 논문이 지적한 3 가지 큰 난관 (Open Challenges)

이 논문은 "단순히 단어의 뜻을 비교하는 것만으로는 부족하다"며 세 가지 문제를 꼽았습니다.

① "겉모습은 비슷하지만, 속은 완전히 다르다" (의미 vs 창의적 전환)

• 비유: 두 사람이 모두 "커피를 마신다"고 말합니다. 한 사람은 "아침에 깨어나기 위해" 마셨고, 다른 사람은 "새로운 카페를 창업하기 위해" 마셨습니다.
• 문제: AI 는 둘을 같은 행동으로 봅니다. 하지만 디자인에서는 문제를 바라보는 관점이 바뀌는 순간 (Pivot) 이 가장 중요한 창의적 순간입니다. AI 가 이 '관점의 전환'을 놓치면, 창의적인 지도는 엉터리가 됩니다.

② "글자만 읽을 수 없다" (멀티모달 문제)

• 비유: 여행자가 말 (텍스트) 로만 설명하는 게 아니라, 손으로 그린 그림, 스케치, 사진도 남깁니다.
• 문제: 지금 AI 는 그림과 그림을 비교할 때 "색깔이나 모양이 비슷하면 같은 길"이라고 생각합니다. 하지만 초보자의 투박한 스케치와 완성된 고화질 그림은 모양은 다르지만, 같은 아이디어의 발전일 수 있습니다.
• 과제: 글자뿐만 아니라 그림, 소리 등 모든 자료를 섞어서 "어디서부터가 하나의 아이디어 (Move) 인가?"를 구분하는 새로운 규칙이 필요합니다.

③ "여행 가이드가 스스로 길을 만든다" (에이전트 AI 의 등장)

• 비유: 이제 여행자가 혼자 가는 게 아니라, AI 가이드가 스스로 경로를 짜고 여행자를 안내합니다.
• 문제: 만약 AI 가이드가 "다양한 경로를 보여줘야 해!"라고 설정되어 있다면, AI 가 만든 지도는 여행자의 창의성 때문이 아니라 AI 의 설정 때문에 복잡해 보일 수 있습니다.
• 과제: "이 복잡한 길이 진짜 창의적인가, 아니면 AI 가 그냥 장난친 것인가?"를 구별할 수 있는 새로운 평가 기준이 필요합니다.

---

💡 이 논문이 제안하는 해결책

이 논문은 "AI 가 문맥을 이해하는 똑똑한 중재자 (LLM)" 를 도입하라고 제안합니다.

• 기존 방식: "단어 A 와 단어 B 가 비슷하니 같은 길이다." (기계적)
• 새로운 제안: "이 여행자가 지금 '의자'에서 '벽'으로 넘어간 이유는 방을 넓히기 위한 새로운 아이디어를 얻었기 때문이다. 그러니 이건 '새로운 길'로 표시해야 한다." (맥락 이해)

즉, AI 가 단순히 단어를 비교하는 것을 넘어, 디자인하는 사람의 의도와 상황 (컨텍스트) 을 이해해서 창의적인 지도를 그려주어야 한다는 것입니다.

📝 한 줄 요약

"단순히 비슷한 단어를 찾는 것만으로는 진정한 창의성을 측정할 수 없습니다. AI 가 디자인하는 사람의 '생각의 전환'과 '맥락'을 이해할 수 있도록 지능을 업그레이드해야만, 서로 다른 디자인 도구들의 창의성을 공정하게 비교할 수 있습니다."

기술 요약

1. 문제 정의 (Problem)

현재 AI 기반 창의성 지원 도구 (CSTs) 는 도메인 특화 지표 (예: 최종 산출물의 품질, 주관적 만족도 척도 등) 를 통해 평가됩니다. 이로 인해 서로 다른 시스템 간의 창의적 프로세스 비교가 어렵고, 연구 결과의 일반화가 제한적입니다.

이러한 한계를 극복하기 위해 임베딩 기반 프로토콜 분석 (Embedding-based protocol analysis) 이 대안으로 제시되었습니다. 이는 설계자의 행동 시퀀스를 신경망 임베딩 모델에 투영하여 도메인과 무관한 구조적 분석을 가능하게 합니다. 그러나 기존 접근법은 고정된 임베딩 유사성 (Fixed Embedding Similarity) 에만 의존하여 다음과 같은 치명적인 결함을 가집니다:

• 창의적 전환 (Creative Pivot) 의 오인: 표면적으로 유사한 언어를 사용하더라도 설계자가 문제를 완전히 다른 관점에서 재정의하거나 (Reframing) 새로운 방향으로 전환하는 경우, 이를 단순한 '연속적인 심화 (Elaboration)'로 잘못 해석합니다.
• 다중 모달리티 (Multimodality) 의 부재: 텍스트 외의 스케치, 이미지 등 다양한 형태의 설계 흔적 (Traces) 을 통합적으로 분석하는 방법이 부족합니다.
• 에이전트 시스템의 평가 난제: AI 에이전트가 생성 과정에 직접 개입하여 행동하는 시스템에서는, 분석 지표가 생성 루프 자체에 영향을 미쳐 에이전트의 행동을 왜곡할 수 있습니다.

2. 방법론 및 분석 프레임워크 (Methodology & Framework)

이 논문은 구체적인 실험 결과보다는 연구 과제 (Research Agenda) 와 개념적 프레임워크를 제안하는 서베이/논평 형식입니다.

• 기존 접근법 비판:
  • 기존 링크그래피 (Linkography) 는 수동 분석에 의존하거나 도메인 특화적이었습니다.
  • 'Fuzzy-linkography'는 임베딩 모델을 사용하여 설계 행동 (Moves) 간의 의미적 유사성을 계산하고, 엔트로피 (Entropy), 링크 밀도 (Link Density) 등의 지표를 도출하려 시도했으나, '의미적 유사성'과 '창의적 중요성' 사이의 간극을 해결하지 못했습니다.
• 제안된 접근 방향:
  • 맥락 인식 개입 (Context-aware Interventions): 고정된 임베딩 모델 대신 대형 언어 모델 (LLM) 을 분석 파이프라인의 중재자 (Intermediary) 로 활용합니다.
  • LLM 의 역할:
    1. 상호작용 로그를 전처리하여 의미 있는 개념 전환 (Conceptual Shift) 주위로 설계 행동을 분할 (Segment) 합니다.
    2. 세션의 작업 프레임과 이전 궤적을 고려하여 두 행동이 창의적으로 관련 있는지 판단합니다.
    3. 스케치나 이미지와 같은 비텍스트 데이터에서 설계 의도를 추출하여 고정된 임베딩이 놓치는 뉘앙스를 포착합니다.

3. 주요 기여 및 열린 과제 (Key Contributions & Open Challenges)

논문은 임베딩 기반 분석의 실용화를 위해 해결해야 할 세 가지 핵심 과제를 제시합니다.

3.1 의미적 유사성 vs. 창의적 중요성 (Semantic Similarity vs. Creative Significance)

• 문제: "적층형 모듈 (Stackable modules)"이라는 유사한 단어를 사용하더라도, '가구 수납'에서 '공간 적응성'으로 문제를 전환하는 경우, 임베딩 모델은 이를 연속적인 아이디어로 간주하여 탐색의 폭을 과소평가합니다.
• 해결 방향: LLM 을 활용하여 표면적 유사성이 아닌, 세션 특유의 창의적 역동성 (Session-specific creative dynamics) 을 반영하도록 링크 구조를 재구성해야 합니다.

3.2 다중 모달 흔적 통합 (Multimodal Trace Integration)

• 문제: 대부분의 CST 는 텍스트, 스케치, 파라미터 조정 등 다중 모달 상호작용을 포함합니다. CLIP 과 같은 모델이 시각적 유사성을 계산할 수 있으나, 시각적 유사성 ≠ 창의적 진화일 수 있습니다 (예: 초기 스케치와 최종 렌더링은 시각적으로 다르지만 개념적으로 연속적임).
• 해결 방향: 텍스트 기반의 명확한 분할 기준 (프롬프트 - 응답) 이 없는 다중 모달 환경에서, "설계 행동 (Design Move)"을 정의하고 분할하는 보편적 휴리스틱 (Heuristics) 을 개발해야 합니다.

3.3 에이전트 AI 시스템에서의 프로세스 평가 (Evaluating Agentic AI Systems)

• 문제: AI 에이전트가 자율적으로 대안을 생성하고 방향을 조율하는 시스템에서는, 임베딩 기반 평가 지표가 생성 루프 (Generation Loop) 내부로 들어갑니다. 에이전트의 정책 (다양성 설정 등) 이 프로세스 지표에 인위적인 흔적을 남길 수 있습니다.
• 해결 방향: 에이전트의 생성 정책으로 인한 아티팩트와 실제 디자이너의 창의적 역동성을 분리해내는 방법론이 필요하며, 다양한 자율성 수준의 에이전트 간 비교 연구가 요구됩니다.

4. 결과 및 시사점 (Results & Implications)

이 논문은 실험적 결과를 제시하기보다는 미래 연구의 방향성을 제시합니다.

• 핵심 통찰: 단순한 의미적 유사성 계산으로는 인간 디자이너의 복잡한 창의적 전환 (Pivot) 을 포착할 수 없으며, 이는 도메인 간 비교를 왜곡시킵니다.
• 제안: LLM 을 활용한 맥락 인식 분석 (Context-aware analysis) 이 임베딩 기반 분석의 한계를 보완할 수 있는 유력한 대안입니다.
• 영향: 이 연구는 AI 디자인 도구의 평가 기준을 '산출물의 품질'에서 '프로세스의 구조적 역동성'으로 전환할 수 있는 이론적 기반을 마련하며, 향후 AI 와 인간이 협업하는 창의성 연구의 표준 분석 프레임워크를 구축하는 데 기여합니다.

5. 결론 (Conclusion)

AI 기반 CST 들의 교차 도메인 비교를 위해서는 고정된 임베딩 유사성과 인간 디자이너의 창의적 중요성 사이의 간극을 해소해야 합니다. 이를 위해 LLM 기반의 맥락 인식 개입, 다중 모달 데이터의 체계적 분할, 그리고 에이전트 시스템의 생성 루프 내 평가 문제 해결이 필수적인 연구 과제로 제시되었습니다. 이러한 노력은 AI 가 단순한 도구를 넘어 창의적 파트너로서 어떻게 기능하는지를 이해하는 데 중요한 기초가 될 것입니다.