Technische Samenvatting: Zoeken voorbij wat geleerd kan worden: De evolutie van de kennisgrens in agentische visuele generatie

1. Probleemstelling: De wereldkennis-bottleneck

Visuele generatoren blinken uit in het renderen van bekende concepten, maar falen catastrofaal bij verzoeken die vragen om onbegrensde, evoluerende en langverdwijnende (long-tailed) wereldkennis (bijv. recente gebeurtenissen, niche culturele symbolen of specifieke IP-personages). Dit is een structurele bottleneck: generatoren zijn getraind op vaste corpora met inherente kennislimieten, terwijl gebruikersverzoeken open einde zijn.

De paper identificeert dat huidige generatoren niet beschikken over een mechanisme om te herkennen wat ze niet weten. Als gevolg hiervan "fabriceert men met zelfvertrouwen" antwoorden, in plaats van onwetendheid toe te geven of externe informatie op te zoeken. Bestaande benchmarks falen in het vastleggen van deze dynamiek, omdat ze primair testen op het renderen binnen bekende concepten. Wanneer ze worden getest op zoekintensieve prompts, storten frontier open-weight generatoren in en scoren ze slechts 21–28 van de 100, een daling van wel 40 punten vergeleken met hun prestaties op standaard prompts.

Een naïeve oplossing — het uitrusten van generatoren met zoektools — faalt omdat het zoekruis introduceert. Het blindelings ophalen van informatie voor elke prompt degradeert de kwaliteit door irrelevante visuele details, stilistische contaminatie of spuriële structuren in de input van de generator te injecteren. De kernuitdaging is niet alleen het ophalen van kennis, maar het definiëren van een generator-specifieke, evoluerende kennisgrens: de scheidslijn tussen wat een generator kan internaliseren via training en wat in de externe context moet blijven.

2. Methodologie

De paper stelt SearchGen voor, een framework voor agentische visuele generatie dat gebruikmaakt van een ruisbestendige agentische redeneerder en een co-trainingsframework om de kennisgrens te ontdekken en te respecteren.

2.1 Dataset en Benchmark Constructie

Om dit probleem systematisch te bestuderen, hebben de auteurs de volgende constructies ontwikkeld:

• SEARCHGEN-20K: Een dataset van 20.839 wereldkennis-gegronde prompts verspreid over 12 faalcategorieën en 2-22 domeinen (bijv. temporele gebeurtenissen, entiteit/IP, culturele specificiteit). Het bevat 34.694 visuele referentieplaatsen en 16.345 tekstuele kennisplaatsen.
• SEARCHGEN-BENCH: Een benchmark afgeleid van de dataset om wereldkennis-grounding te evalueren.
• SEARCHGEN-CORPUS-1M: Een vooraf geëxecuteerd, bevroren multimodale corpus met 145.642 gearchiveerde sessies en 370.733 gecachte downloads. Dit maakt reproduceerbaar, offline onderzoek mogelijk zonder afhankelijkheid van live API's of verschuivende zoekresultaten.

2.2 Ruisbestendige Agentische Redeneerder

Om te voorkomen dat zoekruis de generatie corrumpeert, introduceren de auteurs een drie-fasen Gate–Filter–Integrate protocol:

1. Gate: De redeneerder (een VLM) analyseert de prompt om kenniskloven te identificeren. Het classificeert hiaten naar type en ernst, en triggert zoekopdrachten alleen voor "kritieke" of "belangrijke" hiaten. Het beslist de modaliteit (afbeelding vs. webtekst) voor elke query.
2. Filter: Bij het ophalen van resultaten selecteert de redeneerder referenties die specifiek het geïdentificeerde gat vullen en de overbodige inhoud minimaliseren (bijv. het filteren van volledige afbeeldingen om alleen de noodzakelijke visuele kenmerken te extraheren).
3. Integrate: In plaats van ruwe afbeeldingen direct door te geven, zet de redeneerder visuele referenties om in gegronde natuurlijke taal-citaten (bijv. "render het personage in een groenblauwe en gouden gewaad volgens Afbeelding I"). Dit behoudt de ontbrekende kennis terwijl de pixel-niveau ruis die zorgt voor stijl-lekken of identiteitsverwarring wordt weggegooid.

2.3 Co-Training Framework: "Teach, Then Search"

De auteurs definiëren de Kennisgrens $B(\theta)$ als de partitie tussen internaliseerbare kennis ($K_{int}$) en contextuele kennis ($K_{ctx}$). Deze grens is generator-specifiek en verschuift naarmate het model verbetert. Zij stellen een twee-fasen co-training loop voor om deze grens te ontdekken:

• Fase 1: Teach (Online Iteratieve DPO)
  De visuele generator wordt getraind op zoek-geaugmenteerde inputs met behulp van Direct Preference Optimization (DPO). De generator samplet meerdere afbeeldingen per prompt, en preferentie-paren worden geconstrueerd op basis van kwaliteitsscores. Deze fase dient twee doelen:

  1. Internalisatie: Het duwt de grens naar buiten, waardoor de generator stabiele visuele kennis kan internaliseren die voorheen zoekopdrachten vereiste.
  2. Ruisbestendigheid: Door te trainen op imperfecte zoek-geaugmenteerde inputs, leert de generator referenties te incorporeren zonder erdoor gedomineerd te worden door hun ruis.

• Fase 2: Search (Rejection-Sampling Finetuning)
  Zodra de grens van de generator is verschoven, wordt de redeneerder hergekalibreerd. Met behulp van Rejection Sampling Finetuning (RFT) wordt de redeneerder getraind op trajecten waarbij het zoekbeleid de output verbeterde (positief voordeel) versus trajecten waar het de output verslechterde. De redeneerder leert om zich te onthouden van het zoeken naar concepten die de generator nu heeft geïnternaliseerd, waardoor het de zoekpolicy effectief "naar binnen beweegt" om overeen te komen met de nieuwe grens.

3. Belangrijkste Resultaten

De paper valideert het framework op twee open-weight generatoren (Flux.2-Klein-4B en Bagel-7B) met behulp van de SEARCHGEN-BENCH.

• Monotone Verbetering: De progressie van Geen Zoekopdracht $\to$ Blinde Zoekopdracht (SFT redeneerder) $\to$ Generator-Adaptieve Zoekopdracht (RFT redeneerder) levert consistente, monotone winsten op over alle moeilijkheidsgraden.
• Selectiviteit: De gekalibreerde redeneerder herstelt succesvol de prestaties op prompts die geen zoekopdracht vereisen (NoSearch stratum), waar naïef zoeken eerder voor degradatie zorgde. Bijvoorbeeld, op de NoSearch set verbeterde de adaptieve redeneerder de scores van 49,9 (No Search baseline) naar 56,9, terwijl Blind Search de scores liet dalen naar 60,4.
• Generator-Specificiteit: Het optimale zoekbeleid is specif kind aan de huidige capaciteit van de generator. Een redeneerder gekalibreerd voor een DPO-versterkte generator presteert aanzienlijk slechter wanneer deze wordt gekoppeld aan de basisgenerator, wat bevestigt dat de grens een gezamenlijke eigenschap van het paar is.
• Prestatiekloof:
  • Open generatoren met naïef zoeken storten in tot ~22–28/100 op zoekintensieve prompts.
  • Het co-getrainde systeem (8B redeneerder + 4B generator) bereikt 31,8/100, wat de prestaties van een frontier oracle (Gemini-3-Flash) gekoppeld aan dezelfde generator (31,2/100) licht overtreft.
  • Hoewel nog steeds onder commerciële systemen met geïntegreerde zoekfuncties (bijv. GPT-Image-2 met 71,2), demonstreert het framework dat een kleine, co-getrainde agent de prestaties van veel grotere, generieke redeneerders kan benaderen.

4. Betekenis en Claims

De paper claimt dat de centrale uitdaging in agentische visuele generatie niet louter het ophalen van informatie is, maar weten wat men niet weet.

• Ontdekbare Grens: De kennisgrens is geen vaste eigenschap van de prompt-distributie, maar een dynamische, ontdekbare grootheid die verschuift met de training van de generator.
• Noodzaak van Co-Training: De auteurs stellen dat zoekpolicies niet kunnen worden geoptimaliseerd tegen een vaste generator; de generator moet eerst worden geleerd kennis te internaliseren, en de redeneerder moet vervolgens worden hergekalibreerd naar de nieuwe grens.
• Minimalistisch Recept: Het framework valideert dat een "minimalistisch recept" (één DPO-pass, één RFT-pass, een 8B redeneerder en een 4B generator) voldoende is om deze zelfverbeterende loop te vestigen.
• Schaalbaarheid: Het werk suggereert dat hoewel grotere modellen meer kennis kunnen internaliseren, de grens nooit zal verdwijnen vanwege de oneindige aard van de echte wereld. Co-training biedt een mechanisme om de zoekpolicy continu aan te passen aan de evoluerende capaciteit van de generator.

De auteurs publiceren de volledige dataset, het co-training corpus en het zoekcorpus om te dienen als een "reproduceerbare harness" voor toekomstig onderzoek naar tool-geaugmenteerde, met wereldkennis gegronde visuele generatie.