From Logs to Agents: Reconstructing High-Level Creative Workflows from Low-Level Raw System Traces

이 논문은 AI 기반 창의성 지원 도구에서 생성된 저수준 시스템 로그를 고수준 행동 토큰과 워크플로우 그래프로 변환하여, 사용자의 의도를 이해하고 다음 단계를 제안할 수 있는 '프로세스 인식 에이전트'를 구축하기 위한 필수적인 기반을 마련하는 방법을 제시합니다.

핵심

🍳 비유: 요리사의 '수첩'과 '요리 과정'

상상해 보세요. 한 요리사가 새로운 요리를 개발하기 위해 부엌에서 일하고 있습니다.

• 그는 소금 1g 을 더 넣었다가 뺐다.
• 팬을 닦았다.
• 재료를 다듬었다.
• 다시 한 번 맛을 봤다.
• 실패해서 버렸다.

이때 컴퓨터 (시스템) 는 이 모든 미세한 동작을 **'로그 (Log)'**라는 이름으로 기록합니다. 하지만 이 기록은 너무 많습니다.

"소금 1g 추가", "팬 닦음", "소금 1g 제거", "팬 닦음", "재료 다듬음", "재료 다듬음", "실패", "재시도"...

이런 기록만 보고 AI 가 "아, 이 요리사는 지금 맛을 내고 있는 중이야"라고 이해하기는 어렵습니다. 컴퓨터는 그저 "소금 1g 추가"와 "팬 닦음"을 같은 무게로만 봅니다.

이 논문은 **"이 복잡한 기록들을 정리해서, AI 가 '아, 이 사람은 지금 '맛을 내고 있는 중'이구나'라고 이해하게 만들자"**고 제안합니다.

---

🛠️ 이 논문이 제안하는 3 단계 해결책

저자들은 이 문제를 해결하기 위해 3 단계의 청소 및 정리 과정을 제안합니다.

1 단계: 소음 제거 (De-noising) 🧹

• 문제: 컴퓨터는 요리사가 소금을 넣은 것뿐만 아니라, "소금통 뚜껑을 열었다", "뚜껑을 닫았다", "주방청소" 같은 사소한 일까지 모두 기록합니다.
• 해결: AI 는 이 중 **'의미 있는 행동'**만 골라냅니다.
  • ❌ 버리는 것: 시스템이 자동으로 하는 정리 작업, 임시 파일 삭제 등.
  • ✅ 남기는 것: "새로운 재료 추가 (INSERT)", "맛 조절 (MODIFY)", "완성된 요리 만들기 (GENERATION)", "실패한 요리 버리기 (REMOVE)".
• 결과: 100 개의 기록 중 40 개는 잡음이라서 없애고, 진짜 중요한 '요리 행동' 60 개만 남깁니다.

2 단계: 요리 과정 지도 그리기 (Workflow Reconstruction) 🗺️

• 문제: 기록은 시간순으로만 나열되어 있습니다. 하지만 창의적인 작업은 직선이 아닙니다. "A 를 만들고 -> B 를 시도했다가 -> 실패해서 다시 A 로 돌아와서 C 를 만들었다"처럼 가지가 뻗는 형태입니다.
• 해결: 이 복잡한 과정을 **나무 가지 모양의 지도 (그래프)**로 그립니다.
  • 파란색: 이미지 생성
  • 분홍색: 명령어 (프롬프트) 입력
  • 선: 데이터가 어떻게 흐르는지
• 효과: 이렇게 하면 AI 는 "아, 이 사람은 여기까지 갔다가 실패하고 다시 돌아왔구나"라고 전체적인 흐름을 한눈에 볼 수 있습니다.

3 단계: 언어로 바꾸기 (Tokenization) 🗣️

• 문제: 컴퓨터는 "이미지 노드 3 번 수정" 같은 복잡한 코드를 이해합니다.
• 해결: 이를 AI 가 이해하기 쉬운 간단한 단어로 바꿉니다.
  • INSERT_image (이미지 추가)
  • MODIFY_prompt (명령어 수정)
  • GENERATION_video (동영상 생성)
• 효과: 이제 AI 는 이 단어들을 읽어서 사람의 행동을 이해할 수 있습니다.

---

🤖 왜 이것이 중요한가요? (AI 가 '마음'을 읽는 순간)

이렇게 정리된 데이터를 바탕으로 **미래의 AI 비서 (에이전트)**는 다음과 같이 행동할 수 있게 됩니다.

• 기존 AI: 사용자가 "이미지를 바꾸세요"라고 명령하면, "네, 바꿉니다"라고만 합니다. (명령만 수행)
• 새로운 AI (이 논문 제안):
  • "사용자가 이미지를 5 번이나 넣고는 크기를 조절하고, 또 넣고는 크기를 조절하고... (이 패턴을 발견함)"
  • AI 의 추론: "아, 이분은 지금 참고 이미지를 넣고 크기를 맞추는 작업을 반복하고 계시네."
  • AI 의 제안: "이런 패턴을 보니까, 앞으로 이미지를 넣을 때 자동으로 크기를 맞춰드릴까요? 아니면 다른 작업을 도와드릴까요?"

즉, AI 가 사용자의 과거 행동을 기억하고 패턴을 파악해서, 사용자가 말하기 전에 다음 단계를 예측하고 도와주는 것입니다.

💡 한 줄 요약

**"컴퓨터가 남긴 복잡한 기록 (로그) 을 정리해서, AI 가 사람의 창의적인 과정을 이해하고, 마치 옆에서 함께 고민하는 파트너처럼 도와주게 만드는 기술"**입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 창의성 지원 도구 (CSTs) 의 데이터 한계: 최근 ComfyUI, Flora AI, GENPRESSO 와 같은 노드 기반 생성형 도구들은 방대한 양의 저수준 로그 데이터 (클릭, 매개변수 조정, 메타데이터 업데이트 등) 를 생성합니다.
• 의도 파악의 어려움: 이러한 원시 로그는 시스템 잡음 (노이즈) 이 많아 사용자의 '창의적 의도 (Creative Intent)'를 해석하기 어렵습니다. 예를 들어, 조명 효과를 변경하기 위한 하나의 '창의적 디자인 이동 (Creative Design Move)'이 수십 개의 시스템 이벤트 (연결 재라우팅, 정리 루틴, 중복 메타데이터 업데이트 등) 로 분해되어 기록됩니다.
• 에이전트 시스템의 부재: 현재의 AI 에이전트는 주로 현재 캔버스 상태 (State) 만을 기반으로 작동하며, 사용자가 어떻게 그 상태에 도달했는지 (Workflow History) 에 대한 맥락을 이해하지 못합니다. 이로 인해 진정한 협업이 어렵습니다.
• 해결 과제: 기계가 읽을 수 있으면서도 의미론적으로 유의미한 고수준 사용자 행동 추적을 생성하기 위해, 잡음이 많은 저수준 시스템 로그를 구조화된 고수준 워크플로우로 변환할 수 있는 계산적 표현이 필요합니다.

2. 제안된 방법론 (Methodology)

저자들은 원시 CSV/JSON 로그를 실행 가능한 사용자 행동 통찰력으로 변환하는 3 단계 파이프라인을 제안합니다.

2.1 의미론적 필터링 및 분류 (Semantic Filtering & Classification - De-noising)

• 목표: 저수준 시스템 잡음과 고수준 사용자 의도를 구분합니다.
• 시스템 잡음 제거: 임시 노드/자산 ID 제거, 백엔드 그래프 재라우팅, 비동기 생성 과정 중 발생하는 중간 상태 업데이트 등 시스템 유지보수 관련 이벤트는 자동으로 폐기합니다.
• 휴리스틱 분류 (Heuristic Classification): 남은 고의도 이벤트를 4 가지 창의적 디자인 이동으로 분류합니다.
  • INSERT: 캔버스에 새로운 콘텐츠 (외부 이미지 가져오기, 새 노드 생성) 를 도입.
  • MODIFY: 기존 자산의 정제 (프롬프트/이미지/비디오 노드 내 컨텍스트 변경, 생성 파라미터 조정).
  • GENERATION: 생성형 AI 모델 실행 (파라미터를 적용하여 새로운 아티팩트 생성).
  • REMOVE: 생성된 결과에 대한 명시적 삭제 또는 임시 캐시 정리 구분.
• 효과: 파일럿 데이터셋에서 이벤트 수를 약 40% (927 개 → 563 개) 로 줄여, 실제 창의적 아티팩트 변화를 나타내는 시퀀스만 추출했습니다.

2.2 디자인 시퀀스 재구성 (Design Sequence Reconstruction)

• 목표: 창의적 과정이 선형이 아닌 분기적 (Branching) 이라는 특성을 반영하여 워크플로우 히스토리를 시각화합니다.
• DAG(유방향 비순환 그래프) 구축: 원시 메타데이터 (예: connected_from 필드) 에서 부모 - 자식 관계를 추출하여 그래프를 구성합니다.
  • 축: X 축은 생성 깊이 (로그 시작점으로부터의 거리), Y 축은 해당 깊이 내의 시간적 순서를 나타냅니다.
  • 노드 및 엣지: 노드는 창의적 자산 (프롬프트, 이미지 프로세스, 비디오 출력) 을, 엣지는 데이터 흐름을 나타냅니다.
  • 시각화: Python/NetworkX 기반의 깊이 기반 레이아웃 알고리즘을 사용하여 사용자의 탐색 (Wide exploration) 과 정제 (Deep refinement) 패턴을 식별합니다.

2.3 토큰화 (Tokenization)

• 표준화: 그래프의 노드를 표준화된 행동 토큰으로 변환합니다 (예: INSERT_prompt, MODIFY_image, GENERATION_video).
• 목적: 특정 도구 인터페이스의 세부 사항을 추상화하여 플랫폼 간 비교 분석과 하류 분석 (시퀀스 마이닝, 확률 모델링) 을 가능하게 합니다.

3. 주요 결과 및 분석 (Results & Analysis)

• 확률적 시그니처 발견: 563 개의 로그 이벤트를 대상으로 한 시퀀스 분석을 통해 사용자의 행동 패턴을 정량화했습니다.
  • 가장 흔한 빅그램 (2 단계 시퀀스): GENERATION_image - GENERATION_image (19.1%). 이는 사용자가 입력을 정제하기보다 모델의 확률적 특성에 의존하여 '맹목적으로' 다시 생성 (Re-roll) 하는 빈도가 높음을 시사합니다.
  • 마르코프 체인 분석 (상태 전이 확률):
    • 이미지 노드 삽입 (INSERT_image) 후 즉시 내용 수정 (MODIFY_image) 을 할 확률: 69.6%.
    • 이미지 생성 후 즉시 재생성 (Re-generation) 할 확률: 66.1%.
• 의미: 이러한 확률적 데이터는 에이전트가 사용자의 현재 단계를 '설정 단계 (Setup Phase, 수정 가능성 높음)'인지 '탐색 단계 (Exploration Phase, 재생성 가능성 높음)'인지 수학적으로 구분할 수 있는 기반이 됩니다.

4. 핵심 기여 및 의의 (Contributions & Significance)

• 프로세스 인식 에이전트 (Process-Aware Agents) 의 기반 마련:
  • 기존 에이전트가 현재 상태만 보고 반응하는 것을 넘어, 사용자의 전체 워크플로우 히스토리 (맥락) 를 이해하는 차세대 CST 에이전트 개발의 필수 전제 조건을 제시했습니다.
• 설명 가능한 AI 및 지능형 지원:
  • 에이전트가 단순히 "이 프롬프트를 시도해 보세요"라고 말하는 대신, "사용자가 유사한 생성 경로를 따랐을 때 {패턴 컨텍스트} 를 통해 성공을 거두었습니다"와 같이 근거 기반의 합리적 제안을 할 수 있게 합니다.
  • 예: 사용자가 이미지를 가져와 크기 조정을 5 번 반복하는 경우, 에이전트가 높은 전이 확률 (69.6%) 을 기반으로 "앞으로 가져오는 이미지에도 이 스케일 팩터를 자동으로 적용할까요?"라고 제안할 수 있습니다.
• 창의성 분석의 패러다임 전환:
  • 단순한 로그 기록을 넘어, 분기적이고 비선형적인 창의적 과정을 구조화된 데이터로 재구성함으로써, 사용자의 디자인 의도와 프로세스를 심층적으로 분석할 수 있는 새로운 프레임워크를 제공합니다.

5. 결론

이 논문은 저수준의 원시 시스템 로그를 고수준의 행동적 워크플로우 그래프로 재구성하는 파이프라인을 제안했습니다. 잡음 제거, 분류, 시퀀스 재구성, 토큰화를 통해 생성된 구조화된 데이터는 단순한 분석을 넘어, 사용자의 의도를 예측하고 전략적인 디자인 이동을 제안하며 창의적 과정의 출처 (Provenance) 에 기반한 설명을 제공하는 능동적인 AI 에이전트를 구현하는 핵심 기술적 토대가 됩니다.