From State Changes to Creative Decisions: Documenting and Interpreting Traces Across Creative Domains

이 논문은 생성형 AI, 시각화 저작, 프로그래밍 환경 등 다양한 창의적 분야에서 단순한 상태 변화 기록을 넘어 의도와 구조를 반영하는 고수준 창의적 행위를 포착하고 해석하기 위한 세 가지 상보적인 접근법을 제시합니다.

핵심

이 논문은 **"창작 과정에서 남긴 흔적 (기록) 을 어떻게 더 잘 이해하고 활용할 수 있을까?"**라는 질문에 답하는 연구입니다.

기존의 컴퓨터 프로그램들은 우리가 무언가를 만들 때 "무엇이 변했는지 (예: 빨간색을 파란색으로 바꿈)"만 기록합니다. 하지만 창작자들은 "왜 그걸 바꿨는지 (예: 감정을 표현하기 위해)"나 "어떤 큰 아이디어를 시도했는지"를 기억합니다. 이 논문은 단순한 '변화 기록'을 넘어, 창작자의 '의도'와 '결정'까지 기록하는 새로운 방법을 세 가지 분야에 적용해 제안합니다.

이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 인공지능 (GenAI) 그림 그리기: "마법의 나무 가지" 🌳

문제점:
지금까지의 AI 그림 도구들은 채팅창처럼 한 줄 한 줄 기록만 남깁니다. "A 를 그렸다, B 를 고쳤다"는 식인데, 만약 나중에 "아, 그때 A 를 그릴 때의 아이디어가 좋았는데"라고 생각해도 그걸 다시 찾아내기 어렵습니다. 마치 긴 대화 기록만 남고, 중요한 순간의 맥락이 사라진 것과 같습니다.

새로운 해결책 (DesignTrace):
이 연구는 그림을 **'상태가 있는 마법의 나무 가지'**처럼 다룹니다.

• 비유: 그림을 그릴 때마다 하나의 '가지'를 만들어냅니다. 이 가지는 단순히 그림이 아니라, "이 그림을 어떻게 그렸는지", "어떤 아이디어로 변형했는지"가 모두 담겨 있는 살아있는 상자입니다.
• 효과: 창작자는 이 가지들을 자유롭게 옆에 두고 비교할 수 있습니다. "이 가지에서 갈라져서 새로운 시도를 해보자"라고 하면, 원래 가지와 새로운 가지가 나란히 존재합니다. 나중에 "어떤 가지가 더 좋았지?"라고 돌아볼 때, 단순히 그림만 보는 게 아니라 그림을 만든 '과정과 이유'까지 함께 볼 수 있게 됩니다.

2. 3D 시각화 (데이터 표현): "연극의 무대 지시사항" 🎭

문제점:
3D 그래픽을 만들 때는 물체의 모양, 빛, 카메라 각도 등을 조정합니다. 하지만 컴퓨터는 "물체를 5cm 올렸다"는 기록만 남깁니다. 하지만 창작자의 의도는 "바다에 떠다니는 미세 플라스틱의 양을 보여주기 위해 물체를 흩뿌렸다"는 의미가 있습니다. 기록에는 '의미'가 없어서 나중에 그걸 다시 해석하기 어렵습니다.

새로운 해결책:
이 연구는 단순한 조작 기록을 **연극의 '지시사항 (Creative Moves)'**으로 번역하는 방법을 제안합니다.

• 비유: 배우가 "손을 들었다"는 기록 대신, "배우가 슬픔을 표현하기 위해 손을 들었다"는 대본을 남기는 것과 같습니다.
• 효과: 3D 작업을 할 때, "물체를 흩뿌렸다"는 행동을 단순히 '위치 변경'이 아니라, **'데이터를 상징적으로 표현하기 위한 의도'**로 기록합니다. 이렇게 하면 나중에 그 작품을 다시 볼 때, "아, 이 작가는 이 데이터를 이렇게 표현하고 싶었구나!"라고 창작자의 숨겨진 의도를 쉽게 이해할 수 있게 됩니다.

3. 프로그래밍 (코드 작성): "영화의 장면 구분" 🎬

문제점:
함께 코드를 작성할 때, 컴퓨터는 "문자 A 를 B 로 바꿨다"는 작은 변화만 기록합니다. 하지만 개발자가 "로그인 기능을 수정했다"는 큰 작업을 했다면, 그 안에는 수백 개의 작은 변화가 숨어 있습니다. 기존 시스템은 이 작은 변화들만 켜켜이 쌓아두기 때문에, "누가 무엇을 왜 수정했는지"를 파악하려면 사람이 직접 다시 해석해야 합니다.

새로운 해결책:
이 연구는 컴퓨터가 작업의 '경계'를 스스로 인식하게 만듭니다.

• 비유: 영화 편집자가 "장면 1: 주인공이 문을 연다"라고 레이블을 붙이는 것과 같습니다. 컴퓨터는 "문 손잡이를 1cm 움직였다, 2cm 움직였다..."라는 기록 대신, "문 열기"라는 하나의 의미 있는 행동으로 묶어서 기록합니다.
• 효과: 함께 일하는 동료들은 "누가 무엇을 고쳤나?"라고 볼 때, 수많은 작은 수정 기록을 볼 필요 없이 **"누가 '로그인 기능'을 고쳤다"**는 명확한 행동 기록을 보게 됩니다. 마치 영화의 장면 목록을 보는 것처럼, 창작의 흐름을 자연스럽게 따라갈 수 있게 됩니다.

---

💡 결론: 기록은 '로그'가 아니라 '디자인'이다

이 논문이 말하고자 하는 핵심은 다음과 같습니다.

"창작 활동의 흔적을 남기는 일은, 단순히 **'무엇이 변했는지'를 기록하는 기술적 문제 (로그)**가 아닙니다. '창작자가 무엇을 결정했는지'를 잘 보여줄 수 있도록 도구를 디자인하는 문제입니다."

우리가 만든 도구가 창작자의 생각과 의도를 잘 담아낸다면, 나중에 그 작품을 다시 보거나 함께 일할 때 훨씬 더 창의적이고 의미 있는 작업을 할 수 있다는 것입니다.

기술 요약

1. 문제 정의 (Problem)

창의적 활동을 분석하기 위해서는 적절한 세분성 (granularity) 으로 활동을 포착하고, 창의적 실천의 구조를 반영하는 방식으로 해석해야 합니다. 그러나 기존 접근 방식 (버전 히스토리, 상호작용 로그, 협업 기록 등) 은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 상태 변화와 의도의 분리: 기존 시스템은 단순히 '상태의 변화 (State Changes)'를 기록할 뿐, 그 변화를 일으킨 고수준의 의도 (Intent) 나 의미적 맥락 (Semantic Context) 을 보존하지 못합니다.
• 영역별 특이한 결함:
  • GenAI 도구: 비선형적 탐색 구조 (Non-linear exploration structure) 가 손실됩니다.
  • 시각화 작성 (Visualization Authoring): 표현적 의도 (Representational intent) 가 가려집니다.
  • 프로그래밍 환경: 의미 있는 행동이 저수준의 연산으로 축소되어 상호작용의 경계가 평탄화됩니다.
• 결과: 창의적 결정과 그로 인한 흔적 (Traces) 이 구조적으로 분리되어, 창의적 과정의 재구성이나 분석이 어렵습니다.

2. 방법론 (Methodology)

저자들은 세 가지 서로 다른 창의적 영역 (GenAI, 3D 시각화, 프로그래밍) 에 맞춰 각기 다른 접근법을 제시하며, 상태 변화가 아닌 '창의적 결정'을 포착하는 통합적인 프레임워크를 제안합니다.

A. GenAI: 상태가 있는 노드 기반 인터페이스 (Stateful Nodes)

• 기존 방식의 한계: 기존 노드 기반 시스템은 데이터 흐름 파이프라인의 파라미터 연산자로 노드를 취급하거나, 단순한 그래픽 요소 위주로 설계되어 복잡한 디자인 자산의 계층적 구조를 다루기 어렵습니다.
• 제안 (DesignTrace):
  • 상태가 있는 노드 (Stateful Nodes): 캔버스에 배치된 각 노드를 상호작용 가능한 독립적인 아티팩트로 정의합니다. 각 노드는 편집 가능한 이미지 캔버스와 로컬 편집/생성 히스토리를 포함합니다.
  • 기능: 노드를 크기 조절, 축소, 복제, 배치하여 디자인 상태를 이산적이고 조작 가능한 단위로 외부화합니다.
  • 다중 스케일 추적: 명령어, 아티팩트 상태, 탐색 경로를 통합합니다. 노드 간 연결을 통해 단일 또는 다중 탐색 경로를 구성하고, 의미적 속성 (Semantic attributes) 을 시각 콘텐츠에 연결하여 비선형적 브랜칭과 재사용을 지원합니다.

B. 3D 시각화: 표현적 의도를 위한 어휘 (Vocabulary of Creative Moves)

• 기존 방식의 한계: 3D 소프트웨어는 표현에 무관한 (representation-agnostic) 방식으로 파라미터 편집 시퀀스만 기록하여, 기하학, 재질, 조명 등의 저수준 편집이 어떤 고수준의 표현적 선택 (예: 해양 미세플라스틱 축적 표현) 을 의미하는지 파악하기 어렵습니다.
• 제안:
  • 중간 어휘 (Intermediate Vocabulary): 도구 동작을 표현 수준의 '창의적 이동 (Creative Moves)'으로 매핑하는 어휘를 도입합니다.
  • 구조: (1) 장면을 구성하는 시각 요소, (2) 조작된 물리 기반 속성, (3) 데이터 변수 및 주제와의 의미적 관계 (직관적, 아이콘적, 상징적) 를 정의합니다.
  • 목적: 물리 기반 시각화 툴킷을 활용하여 3D 탐색 궤적을 분석하고, 표현적 의도 (Representation and Framing Choices) 를 복원합니다.

C. 프로그래밍: 상호작용 상태에 내장된 의미적 히스토리

• 기존 방식의 한계: 디지털 창의 활동 흔적은 시스템 상호작용 모델이 아닌 외부 로그로 기록되는 경우가 많아 분석이 어렵습니다. CRDT(Conflict-Free Replicated Data Types) 기반 협업 환경에서도 히스토리는 운영적 변경 사항만 기록하고 사용자 활동 구조는 기록하지 않아, 개발자가 수동으로 고수준 트랜잭션으로 그룹화해야 합니다.
• 제안:
  • 반응형 신호 (Reactive Signals) 확장: 현대 프론트엔드 프레임워크의 반응형 신호에 영구적 히스토리 (Persistent Histories) 를 추가하여 모든 과거 값과 메타데이터를 기록합니다.
  • 의미적 행동 블록 (Semantic Action Blocks): 상호작용 경계 (예: 드래그 시작부터 끝까지) 에 따라 상태 변경을 그룹화하여 명시적인 행동 블록을 생성합니다.
  • 협업 적용: Yjs 와 같은 CRDT 시스템에서 각 트랜잭션에 의미적 행동 정보를 함께 기록하여, 협업자가 저수준 편집의 흐름이 아닌 '의미 있는 단계'를 추적할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. GenAI 디자인 도구 (DesignTrace): 비선형적 탐색, 의미적 브랜칭, 상태 보존을 가능하게 하는 상태가 있는 노드 기반 인터페이스 설계.
2. 3D 시각화 분석 프레임워크: 저수준 파라미터 편집을 고수준 표현적 의도로 변환하는 '창의적 이동' 어휘 체계 제안.
3. 의미적 히스토리 내장 프로그래밍 모델: 상호작용 상태 (Interaction State) 에 직접 의미적 행동 경계를 내장하여, 단일 사용자 및 협업 환경에서 의도 기반의 히스토리 추적을 가능하게 하는 아키텍처.
4. 패러다임 전환: 창의적 흔적 기록을 단순한 '로깅 (Logging)' 문제가 아닌, 도구 설계의 핵심인 '디자인 (Design)' 문제로 재정의.

4. 결과 및 시사점 (Results & Significance)

• 구조적 통합: 세 가지 영역에서 상태 변화와 창의적 결정 사이의 구조적 분리를 해결하는 구체적인 방법론을 제시했습니다.
• 맥락 보존: 단순한 변경 이력이 아닌, '왜 (Why)' 그 변경이 발생했는지에 대한 맥락 (의도, 브랜칭 이유, 표현적 선택) 을 보존함으로써 창의적 과정의 재해석과 분석을 용이하게 합니다.
• 도구 설계의 방향성: 향후 창의성 지원 도구 (Creativity Support Tools) 는 사용자의 상호작용을 단순한 데이터 스트림이 아닌, 의미 있는 행동 단위로 구조화하여 노출해야 함을 시사합니다.
• 학술적 의의: CHI 2026 워크숍에서 창의적 활동 흔적의 의미 해석 (Making Sense of Creative Activity Traces) 에 대한 중요한 통찰을 제공하며, HCI 와 AI, 디자인 실천의 교차점을 다룹니다.

5. 결론

이 논문은 다양한 창의적 도메인에서 발생하는 '상태 변화'와 '창의적 결정' 간의 괴리를 해소하기 위해, 각 영역에 특화된 세 가지 기술적 접근법 (상태가 있는 노드, 표현적 어휘, 의미적 히스토리 내장) 을 제안합니다. 이는 창의적 활동의 흔적을 단순한 기록이 아닌, 창의적 실천의 구조를 반영하는 의미 있는 데이터로 변환하는 데 필수적인 설계적 통찰을 제공합니다.