💻 computer science

From Web to Pixels: Bringing Agentic Search into Visual Perception

Questo articolo introduce "Perception Deep Research", una nuova sfida di percezione visiva open-world in cui gli oggetti devono essere identificati tramite conoscenze esterne prima della localizzazione, e la affronta con il benchmark WebEye e il framework agenziale Pixel-Searcher, che dimostra prestazioni all'avanguardia open-source nell'ancoraggio, nella segmentazione e nella VQA basati sulla ricerca.

Autori originali: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di giocare a "Dov'è Waldo?" (o "Dov'è Wally?"), ma con un twist.

Nel gioco classico, guardi un'immagine affollata e trovi Waldo in base al suo aspetto: una maglietta a righe rosse e bianche, un cappello e gli occhiali. Non hai bisogno di sapere chi è Waldo; devi solo individuare il pattern visivo.

Questo articolo sostiene che la maggior parte dei sistemi di visione artificiale attuali è bloccata a giocare il gioco classico. Sono ottimi nel trovare cose che sembrano "un'auto rossa" o "una persona con una maglietta blu". Ma faticano quando la domanda non riguarda come qualcosa sembra, ma chi è, basandosi su fatti che non sono visibili nell'immagine.

La nuova sfida: "L'ospite misterioso"

Gli autori introducono una versione nuova e più difficile del gioco chiamata Perception Deep Research.

Immagina una foto di una festa affollata. La domanda non è "Trova la persona con la maglietta rossa". Invece, la domanda è:

"Trova la persona che è diventata ambasciatrice globale di un marchio di cosmetici nel gennaio 2026, dopo che quel marchio è stato acquistato da un'azienda per 2,7 miliardi di dollari."

Non puoi risolvere questo problema guardando solo la foto. La foto non mostra il cartellino del prezzo dell'acquisizione né la data dell'annuncio dell'ambasciatrice. Per trovare la persona giusta, l'IA deve:

Intraprendere una caccia sul Web: Cercare su internet per capire quale marchio è stato acquistato, in quale mese e chi era l'ambasciatore.
Risolvere il mistero: Capire, "Ah, la persona nella foto di nome 'Winter' è quella che stiamo cercando".
Indicare il pixel: Infine, tornare alla foto e disegnare un riquadro intorno a Winter.

L'articolo definisce questo processo "Dal Web ai Pixel". Si tratta di collegare fatti di internet a punti specifici in un'immagine.

Gli strumenti che hanno costruito

Per testare se l'IA può farlo, il team ha costruito due cose principali:

1. WebEyes (Il percorso di prova)
Pensa a questo come a un percorso a osticoli specializzato per l'IA. Contiene 120 immagini complesse e centinaia di domande insidiose.

Il twist: Ogni domanda richiede all'IA di cercare fatti nascosti (come il ruolo recente di una celebrità, la data di lancio di un prodotto o la storia di un personaggio) prima che possa anche solo indovinare dove guardare nell'immagine.
L'obiettivo: L'IA non deve solo rispondere alla domanda; deve indicare la persona o l'oggetto esatto nell'immagine che corrisponde alla risposta.

2. Pixel-Searcher (Il detective intelligente)
Questo è il nuovo agente IA creato dagli autori per sostenere il test. Invece di fissare semplicemente l'immagine e indovinare, Pixel-Searcher agisce come un detective con una lente d'ingrandimento e un laptop.

Passo 1: La ricerca. Scompone la domanda. "Chi era l'ambasciatore?" "Quando è avvenuta l'affare?" Cerca sul web e legge i risultati.
Passo 2: La deduzione. Collega i puntini. "Ok, l'affare è avvenuto a gennaio e l'ambasciatore è Winter".
Passo 3: La caccia. Torna all'immagine. Cerca una persona che sembra Winter (magari controllando vestiti o caratteristiche specifici menzionati nella ricerca) e disegna un riquadro intorno a loro.

Cosa hanno scoperto

I ricercatori hanno testato Pixel-Searcher contro altri modelli IA intelligenti. Ecco il verdetto:

Vecchi modelli IA: Di fronte a queste domande "Ospite misterioso", i modelli IA standard si sono confusi. Hanno cercato di indovinare basandosi solo su ciò che vedevano nell'immagine o su ciò che già "sapevano" dal loro addestramento. Spesso sceglievano la persona sbagliata perché non riuscivano a trovare i fatti nascosti.
Pixel-Searcher: Questo nuovo agente ha ottenuto i risultati migliori tra i modelli open-source. Cercando effettivamente sul web e ragionando attraverso gli indizi, ha trovato con successo i bersagli giusti molto più spesso.

Dove fatica ancora:
L'articolo nota che l'IA non fallisce perché non riesce a disegnare un riquadro perfetto intorno a una persona. Fallisce prima nel processo:

Ricerca scadente: A volte cerca la cosa sbagliata o perde un fatto chiave.
Identità errata: Capisce i fatti giusti ma sceglie la persona sbagliata nella foto (ad esempio, sa che l'ambasciatore è "Winter", ma indica la persona sbagliata di nome Winter).
Associazione: Fatica a collegare il "fatto" (Winter) al "visivo" (la persona nella foto).

Il quadro generale

L'articolo conclude che affinché l'IA comprenda davvero il mondo, non può essere solo una "fotocamera" che vede forme. Deve essere un "ricercatore" che può cercare informazioni, risolvere enigmi e poi usare quella conoscenza per indicare la cosa giusta in un'immagine. Chiamano questo nuovo campo Perception Deep Research e hanno fornito gli strumenti (WebEyes e Pixel-Searcher) per aiutare altri scienziati a costruire migliori IA "detective".

Riepilogo Tecnico: Dal Web ai Pixel: Portare la Ricerca Agente nella Percezione Visiva

1. Definizione del Problema: Ricerca Approfondita nella Percezione

Il documento identifica un divario critico nei sistemi attuali di percezione visiva. Sebbene i modelli linguistici multimodali su larga scala (MLLM) esistenti abbiano progredito dal riconoscere categorie visibili all'ancorare target impliciti basati su conoscenze interne, faticano in ambienti open-world. In questi scenari, l'oggetto target è visibile in un'immagine, ma le prove decisive necessarie per identificarlo risiedono al di fuori dell'immagine e oltre la conoscenza parametrica congelata del modello.

Gli autori formalizzano questa sfida come Ricerca Approfondita nella Percezione. A differenza della comprensione standard delle espressioni di riferimento o della segmentazione per ragionamento, dove gli indizi sono visivi o interni, questo scenario richiede a un modello di:

Risolvere un'identità target da fatti esterni (ad esempio, eventi recenti, entità a lunga coda, relazioni multi-hop, affiliazioni di creatori).
Legare questa identità risolta a un'istanza visiva concreta (box, maschera o risposta a livello di regione) all'interno dell'immagine.

La difficoltà fondamentale risiede nell'accoppiamento di due passaggi: trasformare indizi fattuali indiretti in un'ipotesi target esplicita e poi verificare che tale ipotesi sia compatibile con la regione visiva osservata, distinguendola da distrattori o oggetti visivamente simili.

2. Metodologia

2.1 Il Benchmark WebEyes

Per misurare i progressi in questo dominio, gli autori introducono WebEyes, un benchmark ancorato agli oggetti progettato con prove verificabili e annotazioni precise.

Costruzione: Il dataset segue un flusso di lavoro "oggetto-prima". Gli annotatori selezionano immagini con più istanze, contrassegnano gli oggetti in primo piano e utilizzano quindi un agente per eseguire ricerche web concatenate per raccogliere prove (ruoli, date di uscita, affiliazioni di marca) prima di generare query ricche di conoscenze.
Scala: Comprende 120 immagini, 473 istanze di oggetti annotate e 645 coppie uniche di domande e risposte, risultando in 1.927 campioni di attività.
Viste dell'Attività: WebEyes valuta tre attività complementari:
1. Ancoraggio basato sulla ricerca: Prevedere un bounding box da una query che richiede conoscenze esterne.
2. Segmentazione basata sulla ricerca: Prevedere una maschera a livello di pixel.
3. VQA basata sulla ricerca: Selezionare la descrizione ricca di conoscenze corretta per una regione evidenziata.
Controllo di Qualità: La pipeline include un filtraggio automatico per rimuovere "scorciatoie" (domande risolvibili con conoscenze a libro chiuso o solo visione) e una verifica manuale per garantire la correttezza delle prove e l'unicità del target.

2.2 Pixel-Searcher: Un Flusso di Lavoro Agente da Ricerca a Pixel

Gli autori propongono Pixel-Searcher, un flusso di lavoro di riferimento che scompone l'attività in un ciclo agente piuttosto che in una previsione diretta end-to-end. Opera in due fasi:

Ricerca Agente e Risoluzione del Target:
- L'agente analizza la query e la scompone in sottobiettivi ricercabili.
- Entra in un ciclo Ricerca-Ragionamento, alternando il recupero di prove esterne (tramite strumenti di ricerca), il ragionamento sui fatti accumulati e la risoluzione di un'ipotesi strutturata $h = \{e, c, K\}$ , dove $e$ è il nome dell'entità, $c$ è la categoria visiva e $K$ rappresenta indizi verificabili sull'immagine.
- L'agente verifica che l'entità risolta non sia un indizio intermedio ma il target visibile finale.
Ancoraggio Agente e Utilizzo degli Strumenti:
- Utilizzando l'ipotesi risolta $h$ , l'agente guida gli strumenti di ancoraggio visivo.
- Per l'Ancoraggio/Segmentazione: Identifica regioni candidate, le verifica rispetto alle prove risolte e invoca uno strumento di segmentazione promptabile (SAM3) per il raffinamento della maschera.
- Per la VQA: Inverte il processo, risolvendo ogni opzione di risposta in indizi consapevoli delle prove e selezionando quella che corrisponde meglio alla regione visiva ancorata.

3. Contributi Chiave

Il documento apporta tre contributi principali:

Ricerca Approfondita nella Percezione: Una nuova formulazione per la percezione visiva open-world in cui i modelli devono attivamente cercare prove esterne per risolvere identità nascoste prima di ancorarle.
Benchmark WebEyes: Un dataset caratterizzato da prove esterne verificabili, query ricche di conoscenze e annotazioni precise attraverso le viste di ancoraggio, segmentazione e VQA, progettato specificamente per testare la capacità di convertire la conoscenza web in output a livello di pixel.
Pixel-Searcher: Un flusso di lavoro agente che dimostra l'efficacia del ragionamento da ricerca a pixel. Gli autori forniscono esperimenti diagnostici che rivelano che i colli di bottiglia delle prestazioni risiedono principalmente nell'acquisizione delle prove, nella risoluzione dell'identità e nel legame dell'istanza visiva, piuttosto che nel passaggio finale di raffinamento della maschera.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su WebEyes utilizzando vari modelli open-source e closed-source senza fine-tuning specifico per l'attività.

Prestazioni: Pixel-Searcher ottiene le prestazioni più forti tra tutti i metodi open-source su tutte e tre le viste dell'attività.
- Nell'Ancoraggio basato sulla ricerca, migliora l'IoU della baseline Qwen3-VL-8B dal 26,81% al 34,17% e il Recall@0,5 dal 32,61% al 41,30%.
- Nella Segmentazione basata sulla ricerca, migliora il gIoU dal 35,78% al 39,17% e il cIoU dal 25,94% al 32,41%.
- Nella VQA basata sulla ricerca, ottiene una precisione del 42,24%, superando altri modelli open-source.
Confronto: Sebbene Pixel-Searcher guidi i metodi open-source, permane un divario di prestazioni rispetto ai modelli closed-source di fascia alta (ad esempio, Doubao-Seed, Gemini), suggerendo che la selezione delle prove e la risoluzione delle entità rimangono sfide anche per agenti avanzati.
Analisi di Ablazione e Fallimento:
- La rimozione degli indizi di localizzazione diretta causa i cali di prestazioni più significativi.
- Modalità di Fallimento: Circa il 78% dei fallimenti (304 su 389) si verifica nella fase di ricerca/risoluzione dell'entità (identificazione errata dell'entità o pianificazione della ricerca). Solo una piccola frazione (10 casi) è dovuta a errori di trasferimento da box a maschera. Ciò conferma che il collo di bottiglia principale è identificare l'entità corretta piuttosto che raffinare il confine visivo.

5. Significato e Affermazioni

Il documento afferma che WebEyes fornisce l'infrastruttura necessaria per valutare e far progredire la "Ricerca Approfondita nella Percezione", spostando la percezione visiva oltre l'analisi di immagini statiche verso un'interazione dinamica e guidata dalla conoscenza.

Il significato di Pixel-Searcher risiede nel dimostrare che la ricerca agente è un meccanismo vitale e necessario per la percezione visiva open-world. Gli autori sostengono che per attività in cui l'identità del target è nascosta dietro fatti esterni, affidarsi semplicemente ad attributi visivi o a conoscenze congelate del modello è insufficiente. Il flusso di lavoro dimostra che risolvere il "chi" (identità) prima di determinare il "dove" (posizione) è critico, e che i fallimenti in questo dominio sono prevalentemente semantici (errori di ricerca/ragionamento) piuttosto che geometrici (errori di raffinamento della maschera).

Il documento conclude che questa direzione richiede ai modelli di cercare attivamente prove esterne e verificare le identità rispetto alle istanze visive, offrendo un punto di partenza semplice ma efficace per studiare come la ricerca agente possa colmare il divario tra conoscenza web e percezione a livello di pixel.