COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows
Het artikel introduceert COMFYCLAW, een zelf-evoluerend agentisch framework dat workflows voor beeldgeneratie verbetert door constructie te behandelen als getypeerde graafbewerking, een vision-language model verifieerder te gebruiken voor reparatie, en gegevens van eerdere executies te distilleren naar een progressief ontsluitbare vaardighedenbibliotheek om de betrouwbaarheid en prestaties van de agent aanzienlijk te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een heel specifiek, ingewikkeld taartje probeert te bakken op basis van de beschrijving van een vriend. Je schrijft niet alleen een briefje met "maak een taart"; je moet het hele recept vanaf nul opbouwen, de juiste oven kiezen, het beslag mengen, de temperatuur instellen en de taart decoreren. Als de taart aanbrandt of de frosting de verkeerde kleur heeft, moet je uitzoeken waarom en het recept aanpassen voordat je het opnieuw probeert.
Dit is precies wat COMFYCLAW doet, maar in plaats van taartjes te bakken, bouwt het beeldgeneratie-workflows voor computers.
Hier is een eenvoudige uitleg van hoe het werkt, met behulp van alledaagse analogieën:
1. Het Probleem: De "Eenmalige" Chef
Normaal gesproken, wanneer een AI probeert een afbeelding te maken, gedraagt het zich als een chef die alles vergeet na één maaltijd. Als je vraagt om "zes blauwe donuts" en de AI maakt er vijf, probeert de AI de volgende keer misschien gewoon de zin te herschrijven. Het onthoudt niet hoe het de telling verkeerd deed of waarom de donuts er vreemd uitzagen. Het is als een chef die steeds het brood verbrandt omdat hij nooit heeft geleerd om de instellingen van de broodrooster aan te passen.
2. De Oplossing: De "Zelfevoluerende" Meesterchef
COMFYCLAW is een systeem dat de AI verandert in een meesterchef die een kookboek met geleerde lessen bijhoudt. Het heeft drie hoofdonderdelen:
De Werkplaats (De Harness):
In plaats van alleen een zin te schrijven, werkt de AI in een visuele werkplaats (genaamd ComfyUI). Denk hierbij aan een groot bord met Lego-blokjes. Elk blokje is een stap in het proces (bijv. "kleur toevoegen", "vorm veranderen", "textuur toevoegen"). De AI kan blokjes aan elkaar klikken, ze verplaatsen of ze vervangen. Dit geeft de AI veel meer controle dan alleen een prompt typen.De Inspecteur (De Verifier):
Nadat de AI een workflow heeft gebouwd en een afbeelding heeft gemaakt, fungeert een tweede AI (een Vision-Language Model) als een strenge inspecteur. Deze kijkt naar de afbeelding en de oorspronkelijke aanvraag.- Voorbeeld: Als je vroeg om "een kat op een rode mat", en de kat zit op een blauwe mat, zegt de inspecteur niet alleen "Slecht". Hij zegt: "De mat is blauw, niet rood. Ook heeft de kat vier poten in plaats van drie."
- Cruciaal is dat de inspecteur de bouwer vertelt precies welk Lego-blokje veranderd moet worden om de blauwe mat te repareren.
Het Kookboek (Skill Evolution):
Dit is het magische deel. Wanneer de AI een fout maakt en deze herstelt, of wanneer hij een geweldige truc ontdekt, gooit COMFYCLAW die ervaring niet zomaar weg. Het schrijft het op als een "Skill" (vaardigheid) in een digitaal kookboek.- Scenario: De AI leert dat hij om "zes donuts" te krijgen, een specifieke "tel-blokje" aan het Lego-bord moet toevoegen.
- De Evolutie: De volgende keer dat je om "zes donuts" vraagt, begint de AI niet vanaf nul. Hij opent zijn kookboek, zoekt de "Zes Donuts Skill" op en gebruikt deze onmiddellijk. Na verloop van tijd raakt het kookboek gevuld met honderden van deze herbruikbare trucs, waardoor de AI sneller en beter wordt in zijn werk.
3. Hoe het in de praktijk werkt
De paper testte dit systeem op vier verschillende "uitdagingen" (benchmarks) waarbij complexe beeldverzoeken betrokken waren, zoals "een hond met exact zes bagels" of "drie glazen varkens".
- Zonder COMFYCLAW: De AI probeert het recept te raden, waarbij hij vaak faalt om de aantallen goed te krijgen of de kleuren correct weer te geven. Hij moet blijven gokken en controleren zonder eerdere lessen te onthouden.
- Met COMFYCLAW: De AI bouwt het Lego-bord, de Inspecteur controleert het, en als het mislukt, past de AI het specifieke blokje aan. Vervolgens schrijft hij de oplossing op in zijn kookboek. Aan het einde van de tests had de AI 318 unieke skills gecreëerd.
4. De Resultaten
De paper vond dat:
- Betere Afbeeldingen: De afbeeldingen gemaakt door COMFYCLAW waren veel nauwkeuriger aan de beschrijvingen (bijv. het juiste aantal objecten krijgen) en zagen er realistischer uit.
- Menselijke Voorkeur: Wanneer mensen naar de afbeeldingen keken, gaven zij de voorkeur aan de afbeeldingen die door COMFYCLAW waren gemaakt boven de systemen die geen kookboek met skills bijhielden.
- Echt Leren: Het systeem heeft niet alleen antwoorden uit het hoofd geleerd; het heeft procedures geleerd. Bijvoorbeeld, het leerde specifieke manieren om met "anime-stijl" personages om te gaan of hoe objecten in een scène te plaatsen, wat het voor elke toekomstige aanvraag opnieuw kon gebruiken.
In een Notendop
COMFYCLAW is als het geven van een zelf-updaterende instructiehandleiding aan een AI. In plaats van zijn fouten na elke poging te vergeten, leert de AI ervan, schrijft de oplossing op en gebruikt die kennis om elke keer weer betere, complexere afbeeldingen te bouwen. Het verandert een eenmalig proces van vallen en opstaan in een continue cyclus van verbetering.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.