🤖 AI

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

Dieses Paper adressiert den strukturellen Weltwissen-Engpass in der visuellen Generierung durch die Einführung des SearchGen-Benchmarks und des dazugehörigen Korpus, demonstriert, dass naive Suche aufgrund wahlloser Abfrage fehlschlägt, und schlägt ein Teach-then-Search-Co-Training-Framework vor, das die Wissensgrenze eines Generators dynamisch entdeckt, um eine effektive agentische visuelle Generierung zu ermöglichen.

Ursprüngliche Autoren: Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Der „selbstbewusste Fälscher“-Künstler

Stellen Sie sich vor, Sie engagieren einen brillanten Künstler, der jedes Buch in einer riesigen Bibliothek auswendig gelernt hat. Er kann alles aus dieser Bibliothek perfekt zeichnen. Aber wenn Sie ihn bitten, etwas zu zeichnen, das erst gestern passiert ist (wie eine neue Berühmtheit) oder etwas sehr Spezifisches, das nie in einem Buch stand (wie ein lokales Stadtfest), sagt er nicht: „Das weiß ich nicht.“ Stattdessen erfindet er selbstbewusst eine gefälschte Version, die zwar echt aussieht, aber völlig falsch ist.

Dies ist das Problem aktueller KI-Bildgeneratoren. Sie sind großartig im Rendern (das Bild zeichnen), aber schlecht im Wissen (die Fakten kennen). Sie sind an ein „Stichtagsdatum“ in ihrem Gedächtnis gebunden. Wenn Sie nach dem Stand der Weltmeisterschaft 2025 fragen, können sie das nicht wissen, weil ihre Trainingsdaten vor 2025 endeten.

Die Lösung: Geben Sie dem Künstler eine Suchmaschine

Die offensichtliche Lösung scheint einfach zu sein: „Geben wir dem Künstler eine Suchmaschine, damit er die Fakten nachschlagen kann, bevor er zeichnet.“

Die Autoren fanden jedoch heraus, dass naives Suchen die Dinge verschlimmert.

Die Analogie: Stellen Sie sich vor, Sie bitten einen Koch, ein Steak zuzubereiten. Wenn Sie ihm einfach einen Haufen zufälliger Zutaten (Suchergebnisse) auf seinen Arbeitsplatz werfen, könnte er verwirrt werden. Er benutzt vielleicht eine Tomate, obwohl er sie gar nicht brauchte, oder kopiert das gesamte Foto eines Steaks, das Sie ihm gezeigt haben, anstatt es nur als Referenz für die Farbe zu nutzen.
Das Ergebnis: Die KI erhält „Rauschen“. Sie beginnt, die falschen Dinge zu kopieren oder durch Informationen verwirrt zu werden, die sie bereits kannte, was zu schlechteren Bildern führt, als wenn sie einfach versucht hätte, sich aus dem Gedächtnis zu erinnern.

Die Entdeckung: Die „Wissensgrenze“ (Knowledge Boundary)

Das Paper führt das clevere Konzept der Wissensgrenze ein. Betrachten Sie das Gehirn der KI als ein Haus mit zwei Räumen:

Der Gedächtnisraum (Intern): Dinge, die die KI gelernt hat und aus dem Gedächtnis zeichnen kann (z. B. wie eine Katze aussieht).
Der Referenzraum (Extern): Dinge, die die KI nachschlagen muss, weil sie zu neu, zu selten oder zu spezifisch sind (z. B. das spezifische Outfit eines Charakters aus einem Spiel, das letzte Woche veröffentlicht wurde).

Das Problem ist: Die KI weiß nicht, wo die Wand zwischen diesen beiden Räumen verläuft.

Wenn sie nach Dingen sucht, die sie bereits kennt, wird sie verwirrt (Rauschen).
Wenn sie nicht nach Dingen sucht, die sie nicht weiß, fälscht sie die Antwort.

Die Lösung: Ein Zwei-Schritte-„Erst Lehren, dann Suchen“-Team

Die Autoren entwickelten ein System mit zwei Teilen, die zusammenarbeiten:

Der Reasoner (Der Manager): Ein KI-Agent, der entscheidet, wann gesucht werden soll und wonach gesucht werden soll.
Der Generator (Der Künstler): Die KI, die tatsächlich das Bild zeichnet.

Sie verwendeten eine spezielle Trainingsmethode namens Co-Training, um ihnen beizubringen, wie sie zusammenarbeiten. Dies geschieht in zwei Phasen:

Phase 1: Den Künstler lehren (Das Gedächtnis erweitern)
Zuerst zeigen sie dem Künstler Beispiele für Dinge, die er nicht wusste, zusammen mit den korrekten Suchergebnissen. Der Künstler lernt, diese neuen Dinge auswendig zu lernen.

Ergebnis: Der „Gedächtnisraum“ wird größer. Der Künstler weiß nun mehr Dinge, ohne suchen zu müssen.

Phase 2: Den Manager trainieren (Die Suche verfeinern)
Jetzt, da der Künstler mehr weiß, muss der Manager lernen, aufzuhören, nach diesen Dingen zu suchen. Wenn der Manager weiterhin nach Dingen sucht, die der Künstler bereits kennt, verursacht das Verwirrung.

Ergebnis: Der Manager lernt zu sagen: „Ich weiß, dass der Künstler das regeln kann, kein Grund zu suchen!“ und sucht nur noch nach den wirklich schwierigen Dellen.

Die Analogie: Der Lehrling und der Meister

Stellen Sie sich einen Meistermaler (den Generator) und einen Forschungsassistenten (den Reasoner) vor.

Vorher: Der Assistent reicht dem Meister für jede einzelne Anfrage blind einen Stapel von 50 Referenzfotos. Der Meister ist überfordert und malt ein Chaos.
Nach dem Co-Training:
1. Der Meister studiert die Fotos und lernt, sie aus dem Gedächtnis zu malen.
2. Der Assistent lernt, auf die neuen Fähigkeiten des Meisters zu achten. Wenn der Meister einen „roten Drachen“ aus dem Gedächtnis malen kann, übergibt der Assistent kein Foto.
3. Der Assistent übergibt nur dann ein Foto, wenn der Meister gebeten wird, einen „Drachen aus einem Videospiel zu malen, das erst gestern veröffentlicht wurde“.

Die Ergebnisse: Warum das wichtig ist

Das Paper testete dies an einem massiven neuen Datensatz namens SEARCHGEN-20K, der 20.000 schwierige Anfragen zu neuen Ereignissen, spezifischen Charakteren und kulturellen Symbolen enthält.

Die Lücke: Standard-KI-Modelle schnitten bei diesen neuen, wissensintensiven Anfragen sehr schlecht ab (etwa 20–28 von 100 Punkten). Sie scheiterten, weil sie versuchten, die Fakten zu fälschen.
Die Verbesserung: Durch die Verwendung dieser „Erst Lehren, dann Suchen“-Methode verbesserte sich die Punktzahl der KI signifikant.
Die wichtigste Erkenntigkeit: Das System lernte, selektiv zu sein. Es hörte auf zu suchen, wenn es nicht nötig war (um Verwirrung zu vermeiden), und suchte, wenn es nötig war (um Fälschungen zu vermeiden).

Zusammenfassung

Das Paper argumentiert, dass wir nicht einfach nur größere KI-Modelle bauen sollten, die versuchen, alles auswendig zu lernen. Stattdessen sollten wir kluge Teams bauen, bei denen die KI lernt, was sie sich merken kann und was sie nachschlagen muss. Indem man den „Sucher“ und den „Zeichner“ gemeinsam trainiert, lernt das System seine eigenen Grenzen kennen, hört auf, Fakten zu erfinden, und nutzt das Internet nur dann, wenn es es wirklich braucht.

Kurz gesagt: Geben Sie der KI nicht einfach eine Suchmaschine; bringen Sie ihr bei, wann sie sie benutzen soll.

Technisches Resümee: Suche jenseits dessen, was gelehrt werden kann: Evolution der Wissensgrenze in der agentischen visuellen Generierung

1. Problemstellung: Der Weltwissen-Engpass

Visuelle Generatoren sind exzellent darin, bekannte Konzepte darzustellen, scheitern jedoch katastrophal bei Anfragen, die unbegrenztes, sich entwickelndes und Long-Tail-Weltwissen erfordern (z. B. aktuelle Ereignisse, Nischen-Kultursymbole oder spezifische IP-Charaktere). Dies ist ein struktureller Engpass: Generatoren werden auf festen Korpora trainiert, die inhärente Wissensstopps aufweisen, während Nutzeranfragen offen gestaltet sind.

Das Paper identifiziert, dass aktuelle Generatoren keinen Mechanismus besitzen, um zu erkennen, was sie nicht wissen. Infolgedessen „fabrizieren sie selbstbewusst“ Antworten, anstatt Unwissenheit zuzugeben oder externe Informationen zu suchen. Bestehende Benchmarks versagen bei der Erfassung dieser Dynamik, da sie primlich die Darstellung innerhalb bekannter Konzepte testen. Bei Tests mit suchintensiven Prompts brechen Frontier-Open-Weight-Generatoren zusammen und erreichen lediglich 21–28 von 100 Punkten, was einem Rückgang von bis zu 40 Punkten im Vergleich zu ihrer Leistung bei Standard-Prompts entspricht.

Ein naiver Lösungsansatz – die Ausstattung von Generatoren mit Suchwerkzeugen – scheitert, da dies Suchrauschen einführt. Das blinde Abrufen von Informationen für jeden Prompt verschlechtert die Qualität, indem irrelevante visuelle Details, stilistische Kontaminationen oder spurenechte Strukturen in den Input des Generators injiziert werden. Die Kernherausforderung besteht nicht nur darin, Wissen abzurufen, sondern eine generatorspezifische, sich entwickelnde Wissensgrenze zu definieren: die Trennung zwischen dem, was ein Generator durch Training internalisieren kann, und dem, was im externen Kontext verbleiben muss.

2. Methodik

Das Paper schlägt SearchGen vor, ein Framework für agentische visuelle Generierung, das einen rauschresistenten agentischen Reasoner und ein Co-Training-Framework einsetzt, um die Wissensgrenze zu entdecken und zu respektieren.

2.1 Datensatz- und Benchmark-Konstruktion

Um dieses Problem systematisch zu untersuchen, haben die Autoren folgendes konstruiert:

SEARCHGEN-20K: Ein Datensatz aus 20.839 weltwissen-fundierten Prompts, die 12 Fehlerkategorien und 22 Domänen (z. B. temporale Ereignisse, Entitäten/IP, kulturelle Spezifität) abdecken. Er umfasst 34.694 visuelle Referenz-Slots und 16.345 textuelle Wissens-Slots.
SEARCHGEN-BENCH: Eine aus dem Datensatz abgeleitete Benchmark zur Evaluierung der Weltwissen-Fundierung.
SEARCHGEN-CORPUS-1M: Ein vorab ausgeführter, statischer multimodaler Korpus, der 145.642 archivierte Suchsessions und 370.733 gecachte Downloads enthält. Dies ermöglicht reproduzierbare, Offline-Forschung ohne Abhängigkeit von Live-APIs oder driftenden Suchergebnissen.

2.2 Rauschresistenter agentischer Reasoner

Um zu verhindern, dass Suchrauschen die Generierung korrumpiert, führen die Autoren ein dreistufiges Gate–Filter–Integrate-Protokoll ein:

Gate: Der Reasoner (ein VLM) analyst den Prompt, um Wissenslücken zu identifizieren. Er klassifiziert Lücken nach Typ und Schweregrad und löst die Suche nur für „kritische“ oder „wichtige“ Lücken aus. Er entscheidet über die Modalität (Bild vs. Webtext) für jede Abfrage.
Filter: Nach dem Abrufen der Ergebnisse wählt der Reasoner Referenzen aus, die spezifisch die identifizierte Lücke füllen und gleichzeitig extrinsische Inhalte minimieren (z. B. das Filtern ganzer Bilder, um nur notwendige visuelle Merkmale zu extrahieren).
Integrate: Anstatt Rohbilder direkt weiterzugeben, konvertiert der Reasoner visuelle Referenzen in fundierte natürliche Sprach-Zitate (z. B. „generiere den Charakter in einem blaugrün-goldenen Gewand gemäß Bild I“). Dies bewahrt das fehlende Wissen, während das pixelbasierte Rauschen, das zu Style-Leakage oder Identitätsvermischung führt, verworfen wird.

2.3 Co-Training-Framework: „Lehren, dann Suchen“

Die Autoren definieren die Wissensgrenze $B(\theta)$ als Partition zwischen internalisierbarem Wissen ( $K_{int}$ ) und kontextuellem Wissen ( $K_{ctx}$ ). Diese Grenze ist generatorspezifisch und verschiebt sich, wenn sich das Modell verbessert. Sie schlagen eine zweiphasige Co-Training-Schleife vor, um diese Grenze zu entdecken:

Phase 1: Lehren (Online Iterative DPO)
Der visuelle Generator wird auf such-augmentierten Inputs mittels Direct Preference Optimization (DPO) trainiert. Der Generator sampelt mehrere Bilder pro Prompt, und Präferenzpaare werden basierend auf Qualitäts-Scores konstruiert. Diese Phase dient zwei Zwecken:
1. Internalisierung: Sie drückt die Grenze nach außen, wodurch der Generator in der Lage ist, stabiles visuelles Wissen zu internalisieren, das zuvor eine Suche erforderte.
2. Rauschresistenz: Durch das Training auf unvollkommenen, such-augmentierten Inputs lernt der Generator, Referenzen einzubeziehen, ohne von deren Rauschen dominiert zu werden.
Phase 2: Suchen (Rejection-Sampling Finetuning)
Sob wenn die Grenze des Generators verschoben wurde, wird der Reasoner rekalibriert. Mittels Rejection Sampling Finetuning (RFT) wird der Reasoner auf Trajektorien trainiert, in denen die Such-Policy die Ausgabe verbessert hat (positiver Vorteil) gegenüber jenen, in denen sie die Ausgabe verschlechtert hat. Der Reasoner lernt, die Suche für Konzepte zu unterlassen, die der Generator nun internalisiert hat, wodurch die Such-Policy effektiv „nach innen verschoben“ wird, um der neuen Grenze zu entsprechen.

3. Kernergebnisse

Das Paper validiert das Framework auf zwei Open-Weight-Generatoren (Flux.2-Klein-4B und Bagel-7B) unter Verwendung von SEARCHGEN-BENCH.

Monotonische Verbesserung: Die Progression von Keine Suche $\to$ Blinde Suche (SFT Reasoner) $\to$ Generator-Adaptive Suche (RFT Reasoner) liefert konsistente, monotone Gewinne über alle Schwierigkeitsgrade hinweg.
Selektivität: Der kalibrierte Reasoner stellt die Performance bei Prompts erfolgreich wieder her, die keine Suche erfordern (NoSearch-Stratum), wo die naive Suche zuvor eine Degradierung verursacht hatte. Beispielsweise verbesserte der adaptive Reasoner auf dem NoSearch-Set die Scores von 49,9 (No-Search-Baseline) auf 56,9, während die Blinde Suche die Scores auf 60,4 senkte.
Generatorspezifität: Die optimale Such-Policy ist spezifisch für die aktuelle Kapazität des Generators. Ein für einen DPO-gestärkten Generator kalibrierter Reasoner schneidet signifikant schlechter ab, wenn er mit dem Basis-Generator gepaart wird, was bestätigt, dass die Grenze eine gemeinsame Eigenschaft des Paares ist.
Performance-Lücken:
- Open-Generatoren mit naiver Suche brechen bei suchintensiven Prompts auf ~22–28/100 ein.
- Das co-trainierte System (8B Reasoner + 4B Generator) erreicht 31,8/100 und übertrifft damit leicht einen Frontier-Oracle (Gemini-3-Flash), der mit demselben Generator gepaart ist (31,2/100).
- Obwohl es immer noch unter kommerziellen Systemen mit integrierter Suche liegt (z. B. GPT-Image-2 bei 71,2), zeigt das Framework, dass ein kleiner, co-trainierter Agent die Leistung viel größerer, generischer Reasoner erreichen kann.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass die zentrale Herausforderung in der agentischen visuellen Generierung nicht bloß das Abrufen von Informationen ist, sondern zu wissen, was man nicht weiß.

Entdeckbare Grenze: Die Wissensgrenze ist keine feste Eigenschaft der Prompt-Distribution, sondern eine dynamische, entdeckbare Größe, die sich mit dem Training des Generators verschiebt.
Notwendigkeit des Co-Trainings: Die Autoren argumentieren, dass Such-Policies nicht gegen einen fixen Generator optimiert werden können; der Generator muss zuerst gelehrt werden, Wissen zu internalisieren, und der Reasoner muss dann auf die neue Grenze rekalibriert werden.
Minimalistisches Rezept: Das Framework validiert, dass ein „minimalistisches Rezept“ (ein DPO-Durchlauf, ein RFT-Durchlauf, ein 8B Reasoner und ein 4B Generator) ausreicht, um diesen selbstverbessernden Zyklus zu etablieren.
Skalierbarkeit: Die Arbeit legt nahe, dass größere Modelle zwar mehr Wissen internalisieren mögen, die Grenze jedoch aufgrund der unendlichen Natur der realen Welt niemals verschwinden wird. Co-Training bietet einen Mechanismus, um die Such-Policy kontinuierlich an die sich entwickelnde Kapazität des Generators anzupassen.

Die Autoren veröffentlichen den vollständigen Datensatz, den Co-Training-Korpus und den Such-Korpus, um als „reproduzierbares Gerüst“ für die zukünftige Forschung in die werkzeug-augmentierte, weltwissen-fundierte visuelle Generierung zu dienen.