Technische Samenvatting: OctoT2I: Een Zelf-Evolverende Agentic Text-to-Image Router

1. Probleemstelling

De snelle proliferatie van Text-to-Image (T2I) modellen heeft een divers ecosysteem gecreëerd dat varieert van grootschalige, hoogwaardige modellen tot lichtgewicht, real-time varianten. Deze diversiteit vormt echter een aanzienlijke uitdaging: niet-professionele gebruikers missen de expertise om het optimale model voor specifieke taken te selecteren, wat vaak leidt tot suboptimale resultaten of onnodige computationele overhead. Bovendien bereikt de schaling van enkelvoudige modellen een punt van afnemende marginale opbrengsten.

Bestaande "Agentic T2I"-methoden, die Large Language Models (LLMs) gebruiken om meerdere tools te orkestreren, kampen met drie kritieke beperkingen:

1. Kennisverwerving: Ze vertrouwen op dure, handmatig vervaardigde priors of kostbare, door mensen geannoteerde datasets voor supervised fine-tuning (SFT), wat de generalisatie en schaalbaarheid beperkt.
2. Beslissingsrigiditeit: De meeste maken gebruik van statische, enkelvoudige beslissingsmechanismen die niet adaptief kunnen verfijnen op basis van tussenliggende feedback.
3. Verwaarlozing van Efficiëntie: Voorgaande werken negeren vaak inferentielatentie en energieverbruik, wat praktische implementatie hindert.

Het kernobjectief is het herformuleren van agentic T2I als een gezamenlijke optimalisatie van generatiekwaliteit en inferentie-efficiëntie, waarbij een agent autonoom het meest geschikte hulpmiddel selecteert terwijl de computationele kosten worden geminimaliseerd.

2. Methodologie: OctoT2I Framework

OctoT2I is een nieuw agentic framework ontworpen om deze co-optimalisatie te operationaliseren. Het bestaat uit een stateful, multi-round routingstrategie en een zelf-evolverend kennisverwermingsmechanisme.

2.1 Systeemarchitectuur

Het systeem werkt via een "reason-act-reflect" loop bestaande uit drie kernmodules:

• Kennismodule ($K$): Een langetermijnrepository die tool-capaciteiten, toepasbare scenario's en inferentiekosten opslaat. Cruciaal is dat deze aanvankelijk leeg is en autonoom wordt opgebouwd.
• Geheugenmodule ($M$): Kortetermijnwerkgeheugen voor de huidige taak, waarin de geschiedenis van gebruikte tools, gegenereerde afbeeldingen en hun evaluatiescores worden bijgehouden.
• Beslissingsbeleid ($\pi$): Een LLM-gebaseerde agent die in elke ronde $r$ een tool $t_r$ selecteert op basis van de gebruikersprompt $p$, kennis $K$ en geheugen $M_{r-1}$. Het beleid streeft ernaar de tool te vinden die aan een kwaliteitstreshold $\theta$ voldoet met de minimale geschatte kosten.
• Evaluatiemodule: Scoort de gegenereerde afbeelding kwantitatief tegenover de prompt met behulp van een binaire "ja/nee" alignment check (via een MLLM), wat een continue score oplevert om de volgende beslissing te sturen.

De workflow wordt beëindigd wanneer de kwaliteitsscore de drempelwaarde $\theta$ bereikt of wanneer een maximale ronde limiet $R$ is bereikt, waarbij de afbeelding met de hoogste score wordt uitgegeven.

2.2 Zelf-evolverend Mechanisme

Om de afhankelijkheid van menselijk toezicht te overwinnen, introduceert OctoT2I een Zelf-evolverend Mechanisme dat de kennisbank autonoom opbouwt vanuit het niets via een "Propose–Solve–Evaluate–Learn" (PSEL) loop:

1. Initialisatie: De agent definieert fundamentele Conceptuele Dimensies (bijv. stijl, kleur, aantal, positie) om de promptruimte te structureren.
2. Propose (Voorstellen): De agent instantieert combinaties van deze dimensies in concrete tekstuele prompts.
3. Solve (Oplossen): Prompts worden uitgevoerd met verschillende tools in de bibliotheek.
4. Evaluate (Evalueren): Gegenereerde afbeeldingen worden gescoord op alignment met de prompt. Het systeem berekent Pass@1 (de waarschijnlijkheid dat een enkele poging aan de kwaliteitstreshold voldoet) om de betrouwbaarheid van de tool te schatten.
5. Learn (Leren): De agent werkt zijn kennisbank bij met twee soorten informatie:
   • Gedetailleerde records: Specifieke data over prompt-exploratie en succespercentages.
     {% endloop %}
   • Hoogwaardige profielen: Geabstraheerde samenvattingen van de sterktes, beperkingen en kosten van tools.

2.3 Exploratieruimte Pruning

Om te garanderen dat het zelf-evolverende proces computationeel haalbaar blijft, gebruikt het systeem een Exploratie-ruimte Pruning strategie. Het volgt een recursief vereistenprincipe: een complexe dimensiecombinatie wordt alleen verkend als de agent heeft vastgesteld dat de tool reeds alle eenvoudigere subcombinaties (subtaken) binnen deze combinatie beheerst. Dit richt middelen op het efficiënt ontdekken van de "capability frontier" van elke tool.

3. Belangrijkste Bijdragen

1. OctoT2I Framework: Een stateful, multi-round agentic router die adaptief tools selecteert op basis van real-time feedback, kennis en geheugen, waarbij zowel kwaliteit als efficiëntie worden geoptimaliseerd.
2. Zelf-evolverend Mechanisme: Een nieuwe methode die het mogelijk maakt voor agents om tool-kennis volledig te verwerven via zelf-interactie zonder externe data of menselijk toezicht, waarmee de beperkingen van handmatig vervaardigde priors worden overwonnen.
3. Balans tussen Efficiëntie en Prestaties: Het framework bereikt leidende prestaties terwijl het aanzienlijke winst boekt in inferentiesnelheid en energie-efficiëntie vergeleken met state-of-the-art baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de GenEval, T2I-CompBench++ en WISE benchmarks, samen met een gebruikersstudie.

• Prestaties: Op GenEval behaalde OctoT2I een algemene score van 0,96, waarmee het de leidende baseline (Flow-GRPO met 0,93) en alle andere agentic methoden overtrof. Op T2I-CompBench++ behaalde het een gemiddelde score van 0,6618, waarmee het alle concurrenten versloeg.
• Efficiëntie: OctoT2I demonstreerde een versnelling van 90,3% in inferentiesnelheid en een winst van 56,6% in energie-efficiëntie ten opzichte van de leidende baseline (Flow-GRPO). Het was ongeveer 45x sneller dan Idea2Img en 11x sneller dan GenArtist.
• Gebruikersstudie: In een studie met 30 onderzoekers en 30 real-world prompts kreeg OctoT2I een stempercentage van 70,4%, vergeleken met 29,6% voor ChatGen, met bijna 3x snellere generatietijden (18,45s vs. 53,34s).
• Ablatie-studies:
  • Het verwijderen van het zelf-evolverende mechanisme (leunen op de interne kennis van GPT of handmatig vervaardigde priors) resulteerde in lagere prestaties, wat de noodzaak van autonome kennisverwerving valideert.
  • De Exploratie-ruimte Pruning strategie verminderde het aantal verkende prompts met 70,9% en de exploratietijd met 66,0% zonder de uiteindelijke prestaties op te offeren.
  • Het framework toonde een sterke generalisatie naar nieuwe tools (het leren van Flux1.dev en gpt-image-1 met minimale exploratie) en robuustheid over verschillende onderliggende LLM's (Qwen, GPT-5).

5. Betekenis en Claims

Het paper claimt dat OctoT2I een belangrijke stap voorwaarts vertegenwoordigt voor agentic T2I-systemen door de "trilemma" van prestaties, adaptiviteit en efficiëntie aan te pakken. De primaire betekenis ligt in:

• Autonomie: Het elimineren van de afhankelijkheid van dure menselijke annotaties voor tool-kennis, wat het systeem schaalbaar en zelfverbeterend maakt.
• Dynamische Besluitvorming: Het bewegen voorbij statische, single-shot routing naar een multi-round, feedback-gestuurd proces dat zich aanpast aan de specifieke beperkingen van elke prompt.
• Duurzaamheid: Het demonstreren dat hoogwaardige generatie geen maximale computationele kosten vereist, wat een pad biedt naar meer duurzame en praktische AI-implementatie.

De auteurs concluderen dat zelf-evolverende mechanismen en stateful routing veelbelovende richtingen zijn voor het creëren van T2I-systemen die zowel bekwaamere als efficiëntere zijn, waarbij toekomstig werk gepland is om dit framework uit te breiden naar beeldbewerking en 3D-generatie.