COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows
Das Paper stellt COMFYCLAW vor, ein selbstentwickelndes agentisches Framework, das Bildgenerierungs-Workflows verbessert, indem es die Konstruktion als typisiertes Graph-Editing behandelt, ein Vision-Language-Modell zur Verifizierung für Reparaturen nutzt und vergangene Ausführungsdaten in eine progressiv offenbarende Skill-Library destilliert, um die Zuverlässigkeit und Leistungsfähigkeit des Agenten signifikant zu steigern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen sehr spezifischen, komplizierten Kuchen nach der Beschreibung eines Freundes zu backen. Sie schreiben nicht einfach nur eine Notiz „Backe einen Kuchen“; Sie müssen das gesamte Rezept von Grund auf neu erstellen, den richtigen Ofen wählen, den Teig mischen, die Temperatur einstellen und den Kuchen dekorieren. Wenn der Kuchen verbrannt herauskommt oder das Frosting die falsche Farbe hat, müssen Sie herausfinden, warum das so ist, und das Rezept korrigieren, bevor Sie es erneut versuchen.
Genau das macht COMFYCLAW, aber anstatt Kuchen zu backen, erstellt es Bildgenerierungs-Workflows für Computer.
Hier ist eine einfache Aufschlüsselung, wie es funktioniert, unter Verwendung alltäglicher Analogien:
1. Das Problem: Der „Einmal-Chef“
Normalerweise agiert eine KI, wenn sie versucht, ein Bild zu erstellen, wie ein Koch, der nach einer Mahlzeit alles wieder vergisst. Wenn Sie nach „sechs blauen Donuts“ fragen und die KI fünf macht, versucht sie beim nächsten Mal vielleicht einfach, den Satz umzuschreiben. Sie erinnert sich nicht daran, wie sie die Anzahl falsch gezählt hat oder warum die Donuts seltsam aussah. Es ist wie ein Koch, der ständig den Toast verbrennt, weil er nie gelernt hat, die Toaster-Einstellungen anzupassen.
2. Die Lösung: Der „selbstentwickelnde Meisterkoch“
COMFYCLAW ist ein System, das die KI in einen Meisterkoch verwandelt, der ein Kochbuch mit gelernten Lektionen besitzt. Es besteht aus drei Hauptteilen:
Die Werkstatt (Das Harness):
Anstatt nur einen Satz zu schreiben, arbeitet die KI in einer visuellen Werkstatt (genannt ComfyUI). Denken Sie an dies wie an eine riesige Tafel mit Lego-Steinen. Jeder Block ist ein Schritt im Prozess (z. B. „Farbe hinzufügen“, „Form ändern“, „Textur hinzufügen“). Die KI kann Blöcke zusammenstecken, sie verschieben oder austauschen. Dies gibt der KI viel mehr Kontrolle als das bloße Tippen eines Prompts.Der Inspektor (Der Verifier):
Nachdem die KI einen Workflow erstellt und ein Bild generiert hat, fungiert eine zweite KI (ein Vision-Language-Modell) als strenger Inspektor. Sie betrachtet das Bild und die ursprüngliche Anfrage.- Beispiel: Wenn Sie nach „einer Katze auf einer roten Matte“ gefragt haben und die Katze auf einer blauen Matte sitzt, sagt der Inspektor nicht einfach nur „Schlecht“. Er sagt: „Die Matte ist blau, nicht rot. Außerdem hat die Katze vier Beine statt drei.“
- Entscheidend ist, dass er dem Ersteller genau sagt, welchen Lego-Block er ändern muss, um die blaue Matte zu korrigieren.
Das Kochbuch (Skill Evolution):
Dies ist der magische Teil. Wenn die KI einen Fehler macht und ihn korrigiert, oder wenn sie einen großartigen Trick entdeckt, wirft COMFYCLAW diese Erfahrung nicht einfach weg. Es schreibt sie als eine „Fähigkeit“ (Skill) in ein digitales Kochbuch.- Szenario: Die KI lernt, dass sie, um „sechs Donuts“ zu erhalten, einen speziellen „Zähl-Block“ auf der Lego-Tafel hinzufügen muss.
- Die Evolution: Wenn Sie das nächste Mal nach „sechs Donuts“ fragen, fängt die KI nicht bei Null an. Sie öffnet ihr Kochbuch, findet die „Sechs Donuts Fähigkeit“ und nutzt sie sofort. Mit der Zeit füllt sich das Kochbuch mit Hunderten dieser wiederverwendbaren Tricks, was die KI schneller und besser in ihrer Aufgabe macht.
3. Wie es in der Praxis funktioniert
Das Paper testete dieses System bei vier verschiedenen „Herausforderungen“ (Benchmarks), die komplexe Bildanfragen beinhalteten, wie etwa „ein Hund mit genau sechs Bagels“ oder „drei Glas-Schweine“.
- Ohlichne COMFYCLAW: Die KI versucht, das Rezept zu erraten, scheitert dabei oft daran, die Zahlen richtig zu bekommen oder die Farben korrekt darzustellen. Sie muss raten und prüfen, ohne sich an vergangene Lektionen zu erinnern.
- Mit COMFYCLAW: Die KI baut die Lego-Tafel, der Inspektor prüft sie, und falls sie scheitert, korrigiert die KI den spezifischen Block. Dann schreibt sie die Korrektur in ihr Kochbuch. Bis zum Ende der Tests hatte die KI 318 einzigartige Fähigkeiten erstellt.
4. Die Ergebnisse
Das Paper fand heraus:
- Bessere Bilder: Die von COMFYCLAW erstellten Bilder waren viel genauer in Bezug auf die Beschreibungen (z. B. die richtige Anzahl an Objekten) und sahen realistischer aus.
- Menschliche Präferenz: Wenn Menschen die Bilder betrachteten, bevorzugten sie die von COMFYCLAW erstellten Bilder gegenüber denen von Systemen, die kein Kochbuch mit Fähigkeiten führen.
- Reales Lernen: Das System hat nicht einfach nur Antworten auswendig gelernt; es hat Prozeduren gelernt. Zum Beispiel lernte es spezifische Wege, wie man „Anime-Stil“-Charaktere handhabt oder wie man Objekte in einer Szene arrangiert, was es für jede zukünftige Anfrage wiederverwenden kann.
Zusammenfassend
COMFYCLAW ist wie ein selbstaktualisierendes Handbuch für eine KI. Anstatt ihre Fehler nach jedem Versuch zu vergessen, lernt sie aus ihnen, schreibt die Lösung auf und nutzt dieses Wissen, um jedes Mal bessere, komplexere Bilder zu erstellen. Es verwandelt einen einmaligen Trial-and-Error-Prozess in einen kontinuierlichen Zyklus der Verbesserung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.