From Logs to Agents: Reconstructing High-Level Creative Workflows from Low-Level Raw System Traces

この論文は、創造性支援ツールで生成される低レベルのシステムログを、意図を反映した高レベルの行動ワークフローグラフに変換する手法を提案し、ユーザーの作業パターンを理解して次の設計を提案できる「プロセス認識型エージェント」の実現を可能にすることを論じています。

Tae Hee Jo, Kyung Hoon Hyun

公開日 Tue, 10 Ma
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

この論文は、**「AI がクリエイターの『心』を理解し、本当のパートナーになるためには、まず『作業の痕跡』を整理し直す必要がある」**というアイデアを提案しています。

専門用語を捨てて、身近な例え話を使って解説しますね。

🎨 1. 問題点:「雑音だらけのメモ帳」

今、AI を使ったデザインツール(ComfyUI や Genpresso など)を使っている人たちは、とてもクリエイティブな作業をしています。しかし、その裏側では、システムが**「雑音だらけのメモ帳」**を大量に作ってしまっています。

  • 現実の状況:
    ユーザーが「この画像の明るさを少し変えて」とクリックしただけで、システムは裏で「ノードを繋ぎ直した」「一時ファイルを消した」「設定を同期した」など、何十回もの小さな記録を残してしまいます。
  • アナロジー:
    料理人が「卵を割って混ぜる」という**「一つの素晴らしい動作」**をしたとします。しかし、システムが記録するのは「包丁を置いた」「卵を箱から出した」「殻を捨てた」「手を洗った」「冷蔵庫の扉を開けた」など、細かすぎて意味のない動作の羅列です。
    これでは、AI が「あ、この人は今、美味しいオムレツを作ろうとしているんだな!」と理解するのは不可能です。

🛠️ 2. 解決策:「作業のストーリー」に翻訳する

この論文の著者たちは、この「雑音だらけのメモ帳」を、人間にも AI にもわかる**「ストーリー(作業の流れ)」**に翻訳する新しい方法を開発しました。

このプロセスは 3 つのステップで行われます。

ステップ①:ノイズを消す(フィルタリング)

システムが勝手に記録した「ゴミ」を捨てます。

  • 例: 「一時ファイルを消した」という記録は、クリエイターの意図ではないので捨てます。「卵を割った」という本質的な動作だけを残します。

ステップ②:作業の流れを地図にする(再構築)

残った動作を、時系列だけでなく**「分岐する木」**のように描き直します。

  • 例: ユーザーが画像を生成し、気に入らなければ別の方向へ試行錯誤し、気に入ったものに戻ってくる。そんな**「迷い道や分かれ道」を、一本の線ではなく、「木のような図」**として可視化します。
    • 青い丸:画像
    • 緑の丸:動画
    • ピンクの丸:指示文(プロンプト)
      これを見ると、「この人はまず広く試行錯誤して、最後に一本に絞ったんだな」という**「創造のプロセスの形」**が見えてきます。

ステップ③:共通言語に変える(トークン化)

それぞれの動作を、AI が理解できる**「短い言葉(トークン)」**に変えます。

  • 「画像を挿入した」→ INSERT_image
  • 「画像を修正した」→ MODIFY_image
  • 「生成を実行した」→ GENERATION_image
    これで、どんなツールを使っていようと、AI は「あ、今この人は画像を修正しているんだな」と理解できるようになります。

🤖 3. 未来:AI が「先回り」するパートナーに

この整理されたデータがあれば、AI はただの「命令を実行する機械」から、**「作業の流れを理解するパートナー(エージェント)」**に進化できます。

  • 今の AI:
    ユーザーが「画像をリサイズして」と言わないと、何も言いません。
  • 未来の AI(この論文が目指すもの):
    「あ、あなたはさっきまで画像を 5 回もリサイズして調整していましたね。次も同じサイズで自動調整しましょうか?」と提案できます。
    また、「このパターン(試行錯誤の仕方)で進めると、他のクリエイターは成功していますよ」と、「なぜそうすべきか」の理由まで教えてくれます。

💡 まとめ

この論文は、**「AI にクリエイターの『意図』を理解させるには、まず『作業の痕跡』を、雑音のない『美しいストーリー』に作り変える必要がある」**と説いています。

まるで、**「散らかった部屋を片付けて、誰が見ても『ここはリビングで、ここはキッチンだ』とわかるように整理整頓する」**ようなものです。部屋が整えば、新しい住人(AI アシスタント)はすぐに「どうすればいいか」を理解し、あなたに最高のサポートができるようになるのです。