From Logs to Agents: Reconstructing High-Level Creative Workflows from Low-Level Raw System Traces

Der vorgeschlagene Ansatz transformiert rohe, niedrigstufige Systemprotokolle aus Kreativwerkzeugen in strukturierte, hochstufige Verhaltensgraphen, um die Grundlage für prozessbewusste Agenten zu schaffen, die kreative Absichten verstehen und Nutzer durch kontextbezogene Vorschläge unterstützen können.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen, mit ein paar bildhaften Vergleichen:

Das Problem: Der Lärm im Maschinenraum

Stell dir vor, du bist ein Künstler, der mit einem sehr komplexen, digitalen Werkzeugkasten arbeitet (wie ComfyUI oder andere KI-Design-Tools). Du möchtest ein schönes Bild erstellen. Du klickst hier, ziehst eine Linie dort, änderst einen Text und drückst auf „Generieren".

Für dich ist das ein klarer, kreativer Gedanke: „Ich möchte das Licht etwas wärmer machen."

Aber für den Computer sieht das ganz anders aus. Hinter den Kulissen schreit der Computer vor lauter Daten:

• „Verbindung neu geroutet!"
• „Temporäre Datei gelöscht!"
• „Metadaten aktualisiert!"
• „Server-Check!"
• „Fehlerkorrektur!"

Das ist wie wenn du in einem riesigen, lauten Maschinenraum stehst, in dem jeder Schrauber, jedes Ventil und jeder Motor ein Geräusch macht, während du nur ein Lied singen willst. Die Forscher nennen das „Rauschen" (Noise). Wenn man versucht, deine Kreativität zu verstehen, indem man sich diese Millionen von technischen Klicks und Systemmeldungen ansieht, ist das wie der Versuch, ein Kochrezept zu verstehen, indem man sich die Temperatur des Herdfeuers jede Sekunde notiert, anstatt zu schauen, was der Koch eigentlich tut.

Die Lösung: Vom Chaos zur Landkarte

Die Autoren dieses Papers (Tae Hee Jo und Kyung Hoon Hyun) haben eine Methode entwickelt, um aus diesem lauten Chaos eine klare Landkarte zu machen. Sie nennen das „Von Logs zu Agenten".

Stell dir ihren Prozess wie einen Übersetzer vor, der drei Schritte macht:

1. Der Filter (Das Sieb):
   Zuerst nehmen sie den riesigen Datenhaufen und schütteln ihn durch ein Sieb. Alles, was nur der Computer macht (wie Aufräumen oder Verbinden), wird herausgefiltert. Was übrig bleibt, sind nur die echten Entscheidungen des Künstlers: „Neues Bild eingefügt", „Text geändert", „Bild generiert" oder „Alles gelöscht".

   • Vergleich: Es ist, als würde man in einem vollen Einkaufswagen nur die Lebensmittel behalten und den Kassenbon, die Tüte und den Einkaufswagen selbst wegwerfen.

2. Die Landkarte (Der Baum):
   Kreativität ist selten geradeaus. Man probiert etwas aus, verwirft es, geht einen Schritt zurück und versucht einen anderen Weg. Die Forscher bauen aus den verbleibenden Entscheidungen einen Baum (ein Diagramm).

   • Der Stamm ist der Anfang.
   • Die Äste sind die verschiedenen Wege, die du gegangen bist.
   • Die Blätter sind die Endergebnisse.
     So sieht man sofort: „Ah, hier hat die Person viel experimentiert (viele Äste), und hier hat sie sich festgelegt (ein langer Ast)."

3. Die Sprache (Die Wörter):
   Schließlich übersetzen sie diese Landkarte in eine einfache Sprache, die auch eine KI verstehen kann. Statt komplizierter Code-Befehle sagen sie einfach: „Hinzufügen", „Ändern", „Generieren".

   • Vergleich: Statt zu sagen „Ich habe den Schalter X gedrückt, der den Motor Y angesteuert hat", sagen wir einfach: „Ich habe den Motor gestartet."

Warum ist das wichtig? (Der „Prozess-bewusste" Assistent)

Das ist der spannendste Teil. Bisher waren KI-Assistenten wie blinde Passagiere. Sie sahen nur, wo du gerade stehst (das aktuelle Bild), aber sie wussten nicht, wie du dorthin gekommen bist.

Mit dieser neuen Methode wird der Assistent zu einem erfahrenen Reisebegleiter:

• Der alte Assistent: Du hast ein Bild generiert, es nicht gemocht und ein neues generiert. Der Assistent fragt: „Was soll ich tun?"
• Der neue, „prozess-bewusste" Assistent: Er sieht deine Landkarte. Er erkennt: „Aha, du hast in den letzten 5 Minuten fünfmal versucht, das Licht zu ändern, aber jedes Mal das Bild neu generiert, statt den Text anzupassen. Das funktioniert bei dir selten."

Er könnte dann sagen: „Hey, ich sehe, du versuchst das Licht zu ändern. Bei früheren Versuchen hat es besser funktioniert, wenn du den Text-Prompt anpasst, statt das Bild neu zu generieren. Soll ich das für dich versuchen?"

Zusammenfassung

Die Forscher haben also eine Brücke gebaut. Sie nehmen die rohen, unverständlichen Daten, die Computer aufzeichnen, und verwandeln sie in eine Geschichte deiner kreativen Reise.

Dadurch können zukünftige KI-Tools nicht nur Befehle ausführen, sondern mitdenken. Sie verstehen nicht nur was du tust, sondern warum du es tust und wohin deine Reise führt. Das macht sie von bloßen Werkzeugen zu echten kreativen Partnern.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papiers „From Logs to Agents: Reconstructing High-Level Creative Workflows from Low-Level Raw System Traces" auf Deutsch:

Problemstellung

Künstliche Intelligenz-gestützte Kreativitätsunterstützungstools (CSTs), insbesondere komplexe, knotenbasierte generative Umgebungen wie ComfyUI oder GENPRESSO, erzeugen massive Mengen an niedrigstufigen Protokolldaten (Logs). Diese Daten bestehen aus Rohereignissen wie Klicks, Parameteranpassungen und Metadaten-Updates.

• Das Hauptproblem: Diese Rohdaten sind für die Interpretation von „kreativer Absicht" kaum geeignet. Sie bilden einen „Black Box"-Prozess ab, bei dem ein einzelner kreativer Schritt (z. B. das Anpassen eines Prompts für Lichteffekte) Dutzende von Systemereignissen auslösen kann (z. B. Neukonfiguration von Verbindungen, Systembereinigung, redundante Metadaten-Updates).
• Die Lücke: Es fehlt eine computergestützte Repräsentation des kreativen Nutzerjourneys, die sowohl maschinenlesbar als auch semantisch bedeutungsvoll ist. Ohne diese Übersetzung können zukünftige Agentensysteme die Nutzerprozesse nicht verstehen oder effektiv unterstützen, da sie bisher nur den aktuellen Zustand (z. B. die aktuelle Leinwand) kennen, nicht aber den historischen Verlauf, wie der Nutzer dorthin gelangt ist.

Methodik: Der Rekonstruktions-Pipeline

Die Autoren schlagen einen dreistufigen Pipeline-Ansatz vor, um rohe CSV-/JSON-Protokolle in strukturierte, hochstufige Verhaltens-Workflow-Graphen zu übersetzen. Dieser Ansatz wurde an Daten aus GENPRESSO getestet.

1. Semantische Filterung und Klassifizierung (Rauschunterdrückung):

   • Ziel: Trennung expliziter Nutzerabsichten von systemseitigem Rauschen.
   • Mechanismus: Eine heuristische Klassifizierungsschicht filtert Ereignisse basierend auf Action_Type und Raw_Source_Label.
   • Filterkriterien: Systemereignisse wie Bereinigung temporärer Knoten, reine Strukturupdates (Backend-Neurouting) und asynchrone Zwischenzustandsupdates werden verworfen.
   • Klassifizierung verbleibender Ereignisse: Die verbleibenden hochintentiven Ereignisse werden in vier kreative Design-Moves kategorisiert:
     • INSERT: Einführung neuen Inhalts (Import, neue Knoten).
     • MODIFY: Verfeinerung bestehender Assets (Prompt-Änderung, Parameteranpassung).
     • GENERATION: Ausführung des generativen KI-Modells zur Erzeugung eines neuen Artefakts.
     • REMOVE: Explizites Löschen von Assets (Unterscheidung zwischen Nutzerablehnung und System-Cache-Bereinigung).
   • Ergebnis der Filterung: Reduktion des Ereignisvolumens um ca. 40 % (von 927 auf 563 relevante Ereignisse), wodurch nur noch signifikante Änderungen am kreativen Artefakt verbleiben.

2. Rekonstruktion der Design-Sequenz (Visualisierung):

   • Ziel: Abbildung der nicht-linearen, verzweigten Natur kreativer Prozesse. Zeitstempel allein reichen nicht aus, um die Hierarchie der Ideenentwicklung zu erfassen.
   • Struktur: Konstruktion eines gerichteten azyklischen Graphen (DAG).
     • Knoten: Repräsentieren kreative Assets (Prompt-Knoten, Bildprozesse, Video-Ausgaben).
     • Kanten: Repräsentieren den Datenfluss und Eltern-Kind-Beziehungen (abgeleitet aus Metadaten wie connected_from).
     • Layout: Ein tiefenbasiertes Layout-Algorithmus (Python/NetworkX) visualisiert den Workflow. Die X-Achse zeigt die Generierungstiefe, die Y-Achse die chronologische Reihenfolge innerhalb dieser Tiefe.
     • Farbcodierung: Unterscheidung zwischen KI-generierten Ausgaben (quadratische Knoten) und manuell erstellten Assets (kreisförmige Knoten) sowie spezifische Markierungen für MODIFY und REMOVE-Aktionen.

3. Tokenisierung:

   • Ziel: Schaffung einer standardisierten Sprache für die Analyse.
   • Mechanismus: Kombination von Nutzeraktion und Asset-Typ zu standardisierten Tokens (z. B. INSERT_prompt, MODIFY_image, GENERATION_video).
   • Vorteil: Diese Abstraktion ermöglicht plattformübergreifende Vergleiche und macht die Graphen für nachgelagerte Analysen wie Sequenz-Mining und probabilistische Modellierung nutzbar.

Wichtige Ergebnisse und Analysen

Durch die Anwendung dieser Pipeline auf die pilotierten Daten (563 Ereignisse) konnten folgende Erkenntnisse gewonnen werden:

• Probabilistische Signaturen: Die Analyse von Bigrammen (2-Schritt-Sequenzen) zeigte, dass GENERATION_image - GENERATION_image die häufigste Sequenz (19,1 %) ist. Dies deutet auf ein hohes Maß an „blindem" Neustarten (Re-Rolling) hin, bei dem Nutzer eher auf die stochastische Natur des Modells vertrauen als ihre Eingaben zu verfeinern.
• Markov-Ketten-Analyse: Die Berechnung von Übergangswahrscheinlichkeiten ergab:
  • Nach dem Einfügen eines Bildknotens (INSERT_image) beträgt die Wahrscheinlichkeit für eine sofortige Inhaltsänderung (MODIFY_image) 69,6 %.
  • Nach dem Generieren eines Bildes beträgt die Wahrscheinlichkeit für eine sofortige Neugenerierung 66,1 %.
• Phasen-Unterscheidung: Diese Wahrscheinlichkeiten ermöglichen es, zwischen „Setup-Phasen" (hohe Modifikationswahrscheinlichkeit) und „Explorationsphasen" (hohe Neugenerierungswahrscheinlichkeit) mathematisch zu unterscheiden.

Bedeutung und Implikationen für „Process-Aware Agents"

Der zentrale Beitrag des Papers liegt nicht nur in der Rekonstruktionspipeline selbst, sondern in ihrer Anwendung als Grundlage für die nächste Generation von KI-Agenten in CSTs:

• Von deskriptiv zu prädiktiv: Statt nur zu beschreiben, was passiert ist, können Agenten nun die Wahrscheinlichkeit zukünftiger Aktionen modellieren.
• Verbesserte Agenten-Interaktion: Ein „prozessbewusster Agent" (Process-Aware Agent) kann den Workflow-History-Graphen in seinen Kontext (Context Window) laden.
  • Beispiel: Wenn ein Agent erkennt, dass ein Nutzer fünfmal hintereinander Bilder importiert und die Größe ändert, kann er proaktiv anbieten: „Ich sehe, dass Sie Referenzen importieren und skalieren. Soll ich diesen Skalierungsfaktor automatisch auf zukünftige Imports anwenden?"
• Bessere Begründungen (Rationale): Anstatt generische Ratschläge zu geben, können Agenten Empfehlungen basierend auf historischen Mustern und der Provenienz des kreativen Prozesses ableiten (z. B. „Nutzer mit einem ähnlichen Generierungsweg hatten Erfolg durch {Musterkontext}").

Fazit

Das Papier demonstriert, dass die Transformation von rohen System-Logs in strukturierte, semantische Verhaltens-Workflow-Graphen eine notwendige Voraussetzung ist, um KI-Agenten von passiven Befehlsausführern zu aktiven, kollaborativen Partnern im kreativen Prozess zu entwickeln. Durch das „Erinnern" des Verhaltensverlaufs können Agenten Nutzerabsichten vorhersagen, strategische Vorschläge machen und fundierte Erklärungen liefern.