🤖 AI

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

Questo articolo affronta il collo di bottiglia della conoscenza strutturata del mondo nella generazione visiva introducendo il benchmark e il corpus SearchGen, dimostrando che la ricerca ingenua fallisce a causa del recupero indiscriminato, e proponendo un framework di co-addestramento teach-then-search che scopre dinamicamente il confine della conoscenza di un generatore per abilitare una generazione visiva agentica efficace.

Autori originali: Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

Pubblicato 2026-07-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il problema centrale: L'artista "Falsario Convincente"

Immaginate di assumere un artista brillante che ha memorizzato ogni libro in una biblioteca enorme. Può disegnare qualsiasi cosa tratta da quella biblioteca alla perfezione. Ma se gli chiedete di disegnare qualcosa accaduto ieri (come una nuova celebrità) o qualcosa di molto specifico che non è mai finito in un libro (come la festa di un paese locale), non dice: "Non lo so". Invece, inventa con convinzione una versione falsa che sembra reale, ma che è completamente sbagliata.

Questo è il problema degli attuali generatori di immagini AI. Sono bravissimi nel rendere (disegnare l'immagine), ma sono terribili nella conoscenza (sapere i fatti). Sono bloccati con una "data di cutoff" nella loro memoria. Se chiedete loro la classifica della Coppa del Mondo 2025, non possono conoscerla perché i loro dati di addestramento si sono fermati prima del 2025.

La soluzione: Dare all'artista un motore di ricerca

La soluzione ovvia sembra semplice: "Diamo all'artista un motore di ricerca in modo che possa cercare i fatti prima di disegnare".

Tuttamente, gli autori hanno scoperto che una ricerca ingenua peggiora le cose.

L'analogia: Immaginate di chiedere a uno chef di cucinare una bistecca. Se scaricate semplicemente un mucchio di ingredienti casuali (risultati di ricerca) sul suo bancone, potrebbe confondersi. Potrebbe usare un pomodoro quando non ne aveva bisogno, o copiare l'intera foto di una bistecca che gli avete mostrato invece di usarla solo come riferimento per il colore.
Il risultato: L'AI riceve del "rumore". Inizia a copiare le cose sbagliate o a confondersi con le informazioni che già conosceva, portando a immagini peggiori rispetto a quelle che avrebbe prodotto se avesse solo cercato di ricordare da sola.

La scoperta: Il "Confine della Conoscenza"

Il documento introduce un concetto intelligente chiamato Confine della Conoscenza (Knowledge Boundary). Pensate al cervello dell'AI come a una casa con due stanze:

La Stanza della Memoria (Interna): Cose che l'AI ha imparato e può disegnare a memoria (ad esempio, come appare un gatto).
La Stanza del Riferimento (Esterna): Cose che l'AI deve cercare perché sono troppo nuove, troppo rare o troppo specifiche (ad esempio, l'outfit specifico di un personaggio di un gioco uscito la scorsa settimana).

Il problema è: l'AI non sa dove sia il muro tra queste due stanze.

Se cerca cose che conosce già, si confonde (rumore).
Se non cerca le cose che non conosce, inventa la risposta.

La soluzione: Un team "Insegna poi Cerca" in due fasi

Gli autori hanno creato un sistema con due parti che lavorano insieme:

Il Ragionatore (Il Manager): Un agente AI che decide quando cercare e cosa cercare.
Il Generatore (L'Artista): L'AI che disegna effettivamente l'immagine.

Hanno utilizzato un metodo di addestramento speciale chiamato Co-Training per insegnare loro come lavorare insieme. Avviene in due fasi:

Fase 1: Insegnare all'Artista (Espandere la Memoria)
Per prima cosa, mostrano all'Artista esempi di cose che non conosceva, insieme ai risultati di ricerca corretti. L'Artista impara a memorizzare queste nuove cose.

Risultato: La "Stanza della Memoria" diventa più grande. L'Artista ora conosce più cose senza dover cercare.

Fase 2: Addestrare il Manager (Raffinare la Ricerca)
Ora che l'Artista conosce più cose, il Manager deve imparare a smettere di cercare quelle cose. Se il Manager continua a cercare ciò che l'Artista conosce già, crea confusione.

Risultato: Il Manager impara a dire: "So che l'Artista può gestire questa cosa, non c'è bisogno di cercare!" e cerca solo le cose davvero difficili.

L'analogia: L'Apprendista e il Maestro

Immaginate un Maestro Pittore (il Generatore) e un Assistente alla Ricerca (il Ragionatore).

Prima: L'Assistente consegna ciecamente al Maestro una pila di 50 foto di riferimento per ogni singola richiesta. Il Maestro viene sopraffatto e dipinge un disastro.
Dopo il Co-Training:
1. Il Maestro studia le foto e impara a dipingerle a memoria.
2. L'Assistente impara a osservare le nuove abilità del Maestro. Se il Maestro sa dipingere un "drago rosso" a memoria, l'Assistente non gli consegna una foto.
3. L'Assistente consegna una foto solo se il Maestro deve dipingere un "drago di un videogioco uscito ieri".

I Risultati: Perché questo è importante

Il documento ha testato questo sistema su un nuovo dataset massiccio chiamato SEARCHGEN-20K, che contiene 20.000 richieste difficili riguardanti nuovi eventi, personaggi specifici e simboli culturali.

Il divario: I modelli AI standard hanno ottenuto punteggi molto bassi (circa 20–28 su 100) su queste richieste cariche di conoscenza. Hanno fallito perché hanno cercato di inventare i fatti.
Il miglioramento: Utilizzando questo metodo "Insegna poi Cerca", il punteggio dell'AI è migliorato significativamente.
La scoperta chiave: Il sistema ha imparato a essere selettivo. Ha smesso di cercare quando non ne aveva bisogno (prevenendo la confusione) e ha cercato quando era necessario (prevenendo l'invenzione di fatti).

Riassunto

Il documento sostiene che non dovremmo solo costruire modelli AI più grandi che tentano di memorizzare tutto. Invece, dovremmo costruire team intelligenti dove l'AI impara cosa può ricordare e cosa deve cercare. Addestrando insieme il "ricercatore" e il "disegnatore", il sistema impara i propri limiti, smette di inventare fatti e usa internet solo quando è veramente necessario.

In breve: Non limitarti a dare all'AI un motore di ricerca; insegnale quando usarlo.

Sintesi Tecnica: Cercare Oltre Ciò che Può Essere Insegnato: Evolvere il Confine della Conoscenza nella Generazione Visiva Agente

1. Problema: Il Collo di Bottiglia della Conoscenza del Mondo

I generatori visivi eccellono nel rendere concetti noti, ma falliscono catastroficamente su richieste che richiedono una conoscenza del mondo illimitata, in evoluzione e a coda lunga (ad esempio, eventi recenti, simboli culturali di nicchia o personaggi specifici di proprietà intellettuale). Questo è un collo di bottiglia strutturale: i generatori sono addestrati su corpora fissi con intranei limiti temporali della conoscenza, mentre le richieste degli utenti sono aperte.

Il documento identifica che gli attuali generatori mancano di un meccanismo per riconoscere ciò che non sanno. Di conseguenza, "fabbricano con sicurezza" risposte invece di ammettere l'ignoranza o cercare informazioni esterne. I benchmark esistenti non riescono a catturare questa dinamica, poiché testano principalmente la resa di concetti noti. Quando testati su prompt intensivi di ricerca, i generatori open-weight di frontiera collassano, ottenendo solo 21–28 su 100, un calo fino a 40 punti rispetto alle loro prestazioni su prompt standard.

Un rimedio ingenuo — dotare i generatori di strumenti di ricerca — fallisce perché introduce rumore di ricerca. Il recupero cieco di informazioni per ogni prompt degrada la qualità iniettando dettagli visivi irrilevanti, contaminazione stilistica o strutture spurie nell'input del generatore. La sfida centrale non è solo il recupero della conoscenza, ma la definizione di un confine della conoscenza specifico per il generatore ed evolutivo: la divisione tra ciò che un generatore può interiorizzare attraverso l'addestramento e ciò che deve rimanere nel contesto esterno.

2. Metodologia

Il documento propone SearchGen, un framework per la generazione visiva agente che impiega un ragionatore agente resistente al rumore e un framework di co-addestramento per scoprire e rispettare il confine della conoscenza.

2.1 Costruzione del Dataset e del Benchmark

Per studiare sistematicamente questo problema, gli autori hanno costruito:

SEARCHGEN-20K: Un dataset di 20.839 prompt radicati nella conoscenza del mondo che copre 12 categorie di fallimento e 22 domini (es. eventi temporali, entità/IP, specificità culturale). Include 34.694 slot di riferimento visivo e 16.345 slot di conoscenza testuale.
SEARCHGEN-BENCH: Un benchmark derivato dal dataset per valutare l'ancoraggio alla conoscenza del mondo.
SEARCHGEN-CORPUS-1M: Un corpus multimodale pre-eseguito e congelato contenente 145.642 sessioni di ricerca archiviate e 370.733 download memorizzati nella cache. Ciò consente una ricerca riproducibile e offline senza dipendere da API live o risultati di ricerca fluttuanti.

2.2 Ragionatore Agente Resistente al Rumore

Per evitare che il rumore di ricerca corrompa la generazione, gli autori introducono un protocollo a tre stadi Gate–Filter–Integrate (Soglia–Filtro–Integrazione):

Gate (Soglia): Il ragionatore (un VLM) analizza il prompt per identificare le lacune di conoscenza. Classifica le lacune per tipo e gravità, attivando la ricerca solo per lacune "critiche" o "importanti". Decide la modalità (immagine vs. testo web) per ogni query.
Filter (Filtro): Una volta recuperati i risultati, il ragionatore seleziona i riferimenti che colmano specificamente la lacuna identificata, minimizzando il contenuto estraneo (ad esempio, filtrando le immagini complete per estrarre solo le caratteristiche visive necessarie).
Integrate (Integrazione): Invece di passare direttamente le immagini grezze, il ragionatore le converte in citazioni di linguaggio naturale ancorate (ad esempio, "renderizza il personaggio con una veste verde acqua e oro seguendo l'Immagine I"). Ciò preserva la conoscenza mancante eliminando al contempo il rumore a livello di pixel che causa la fuga di stile o la fusione delle identità.

2.3 Framework di Co-Addestramento: "Insegna, poi Cerca"

Gli autori definiscono il Confine della Conoscenza $B(\theta)$ come la partizione tra la conoscenza interiorizzabile ( $K_{int}$ ) e la conoscenza contestuale ( $K_{ctx}$ ). Questo confine è specifico per il generatore e si sposta man mano che il modello migliora. Propongono un ciclo di co-addestramento in due fasi per scoprire questo confine:

Fase 1: Teach (DPO Iterativo Online)
Il generatore visivo viene addestrato su input aumentati dalla ricerca utilizzando la Direct Preference Optimization (DPO). Il generatore campiona più immagini per ogni prompt e le coppie di preferenza vengono costruite in base ai punteggi di qualità. Questa fase serve a due scopi:
1. Interiorizzazione: Spinge il confine verso l'esterno, permettendo al generatore di interiorizzare la conoscenza visiva stabile che precedentemente richiedeva la ricerca.
2. Robustezza al Rumore: Addestrando il generatore su input aumentati dalla ricerca imperfetti, esso impara a incorporare i riferimenti senza essere dominato dal loro rumore.
Fase 2: Search (RFT - Rejection-Sampling Finetuning)
Una volta che il confine del generatore si è spostato, il ragionatore viene ricalibrato. Utilizzando il Rejection Sampling Finetuning (RFT), il ragionatore viene addestrato su traiettorie in cui la politica di ricerca ha migliorato l'output (vantaggio positivo) rispetto a quelle in cui l'ha degradato. Il ragionatore impara ad astenersi dalla ricerca di concetti che il generatore ha ora interiorizzato, "spostando efficacementamente la politica di ricerca verso l'interno" per adattarsi al nuovo confine.

3. Risultati Chiave

Il documento valida il framework su due generatori open-weight (Flux.2-Klein-4B e Bagel-7B) utilizzando SEARCHGEN-BENCH.

Miglioramento Monotonico: La progressione da No Search $\to$ Blind Search (ragionatore SFT) $\to$ Generator-Adaptive Search (ragionatore RFT) produce guadagni consistenti e monotonici in tutti i livelli di difficoltà.
Selettività: Il ragionatore calibrato recupera con successo le prestazioni sui prompt che non richiedono ricerca (strato NoSearch), dove la ricerca ingenua causava precedentemente la degradazione. Ad esempio, sul set NoSearch, il ragionatore adattivo ha migliorato i punteggi da 49.9 (baseline No Search) a 56.9, mentre la Blind Search aveva abbassato i punteggi a 60.4.
Specificità del Generatore: La politica di ricerca ottimale è specifica per la capacità attuale del generatore. Un ragionatore calibrato per un generatore rafforzato tramite DPO performa significativamente peggio quando accoppiato con il generatore base, confermando che il confine è una proprietà congiunta della coppia.
Gap di Performance:
- I generatori open con ricerca ingenua collassano a circa 22–28/100 sui prompt intensivi di ricerca.
- Il sistema co-addestrato (ragionatore 8B + generatore 4B) raggiunge il 31.8/100, superando leggermente un oracle di frontiera (Gemini-3-Flash) accoppiato con lo stesso generatore (31.2/100).
- Sebbene sia ancora al di sotto dei sistemi commerciali con ricerca integrata (es. GPT-Image-2 a 71.2), il framework dimostra che un agente piccolo e co-addestrato può avvicinarsi alle prestazioni di ragionatori molto più grandi e generici.

4. Significato e Rivendicazioni

Il documento sostiene che la sfida centrale nella generazione visiva agente non è semplicemente il recupero di informazioni, ma sapere cosa non si sa.

Confine Scopribile: Il confine della conoscenza non è una proprietà fissa della distribuzione dei prompt, ma una quantità dinamica e scopribile che si sposta con l'addestramento del generatore.
Necessità del Co-Addestramento: Gli autori sostengono che le politiche di ricerca non possono essere ottimizzate contro un generatore fisso; il generatore deve prima essere insegnato a interiorizzare la conoscenza, e poi il ragionatore deve essere ricalibrato.
Ricetta Minimalista: Il framework valida che una "ricetta minimalista" (un passaggio DPO, un passaggio RFT, un ragionatore 8B e un generatore 4B) è sufficiente per stabilire questo ciclo di auto-miglioramento.
Scalabilità: Il lavoro suggerisce che, sebbene i modelli più grandi possano interiorizzare più conoscenza, il confine non scomparirà mai a causa della natura infinita del mondo reale. Il co-addestramento fornisce un meccanismo per adattare continuamente la politica di ricerca alla capacità in evoluzione del generatore.

Gli autori rilasciano l'intero dataset, il corpus di co-addestramento e il corpus di ricerca per servire come "impalcatura riproducibile" per la ricerca futura nella generazione visiva aumentata da strumenti e ancorata alla conoscenza del mondo.