🤖 machine learning

HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents

HyperEyes è un agente di ricerca multimodale parallelo addestrato tramite un framework di apprendimento per rinforzo efficiente e consapevole dell'efficienza a doppia granularità che fonde l'ancoraggio visivo e il recupero in azioni concorrenti, ottenendo una precisione superiore e costi di inferenza significativamente ridotti rispetto agli agenti sequenziali esistenti.

Autori originali: Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

Pubblicato 2026-05-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero coinvolgendo sei diversi sospetti in un'unica foto.

Il Vecchio Modo (Ricerca Seriale):
Gli agenti AI tradizionali funzionano come un detective molto meticoloso ma lento. Osservano la foto, scelgono la prima persona, ritagliano il suo viso, cercano quella persona su internet, leggono i risultati e poi passano alla seconda persona. Ripetono questo processo uno alla volta.

Il Problema: Se la foto contiene sei persone, il detective compie sei viaggi separati in biblioteca. Entro il momento in cui arriva alla sesta persona, i primi cinque viaggi hanno affollato il suo quaderno con troppe informazioni, rendendo difficile concentrarsi. È come cercare di cucinare un pasto di sei portate bollendo una pentola d'acqua alla volta, aspettando che finisca, per poi bollire la pentola successiva. Ci vuole un'eternità e spreca energia.

Il Nuovo Modo (HyperEyes):
Il documento introduce HyperEyes, un nuovo agente AI che segue la filosofia: "Cerca più ampio, non più a lungo."
Invece di visitare la biblioteca sei volte, HyperEyes osserva l'intera foto, identifica tutti e sei i sospetti contemporaneamente e invia sei richieste di ricerca simultaneamente in un'unica corsa. È come inviare sei ricercatori diversi in biblioteca allo stesso tempo, tutti lavorando in parallelo, e riportare un unico rapporto organizzato.

Come è stato Addestrato HyperEyes (L'Analogia della "Scuola")

I ricercatori non si sono limitati a dire all'AI di essere più veloce; hanno costruito una scuola di addestramento speciale per essa con due fasi principali:

1. La Fase del "Maestro Rigido" (Sintesi dei Dati):
Innanzitutto, hanno creato una vasta biblioteca di problemi di pratica. Ma non volevano solo qualsiasi risposta corretta; volevano la risposta corretta più veloce.

Hanno utilizzato una tecnica chiamata Progressive Rejection Sampling (Campionamento Progressivo di Rifiuto). Immagina un insegnante che somministra un test a uno studente. Se lo studente impiega 10 minuti per risolvere un problema, l'insegnante scarta quel tentativo. Se lo studente lo risolve in 2 minuti, l'insegnante lo conserva. Hanno mantenuto solo le soluzioni più veloci ed efficienti per insegnare all'AI a essere scattante fin dal primo giorno.

2. La Fase di Coaching "Doppio Livello" (Apprendimento per Rinforzo):
Una volta che l'AI conosceva le basi, hanno applicato un sistema di coaching speciale con due livelli:

Livello Macro (Il Quadro Generale): Hanno fornito all'AI un sistema di ricompense chiamato TRACE. Pensa a questo come a un allenatore che dice: "Se risolvi il mistero in 3 passaggi, ricevi una stella d'oro. Se impieghi 5 passaggi, ricevi una penalità". Crucialmente, l'allenatore diventa più severo nel tempo. Se l'AI impara a risolverlo in 3 passaggi, l'allenatore alza l'asticella a 2 passaggi. Questo costringe l'AI a diventare costantemente più efficiente, non solo accurata.
Livello Micro (I Dettagli Fini): A volte l'AI commette un errore a metà strada. La On-Policy Distillation (OPD) agisce come un "ghostwriter" che interviene solo quando l'AI fallisce. Il ghostwriter (un'AI più intelligente e grande) sussurra la parola successiva corretta all'AI studente, insegnandole esattamente dove ha sbagliato senza sprecare tempo sulle parti che aveva già corretto.

Il Nuovo Punteggio (IMEB)

I ricercatori hanno realizzato che i vecchi test si preoccupavano solo se l'AI otteneva la risposta giusta, ignorando quanto tempo ci metteva o quante "corse in biblioteca" (chiamate agli strumenti) compiva.
Hanno creato un nuovo benchmark chiamato IMEB (Image Multi-Entity Benchmark).

L'Analogia: Immagina di valutare una gara. I vecchi test guardavano solo chi attraversava per primo la linea del traguardo. Il nuovo test (IMEB) guarda chi attraversa la linea del traguardo e chi ha utilizzato la minor quantità di carburante. Hanno introdotto un Punteggio Consapevole dei Costi che premia l'accuratezza ma penalizza pesantemente lo spreco di tempo ed energia.

I Risultati

Quando hanno sottoposto HyperEyes alla prova contro i migliori agenti AI esistenti:

Accuratezza: Ha ottenuto la risposta giusta più spesso dei suoi concorrenti (in particolare, il 9,9% meglio del miglior rivale open-source).
Efficienza: È stato drasticamente più veloce. Ha avuto bisogno di 5,3 volte meno "corse in biblioteca" per risolvere gli stessi problemi.

Sintesi

HyperEyes è come passare da una strada a una sola corsia con ingorghi a un'autostrada a più corsie. Insegnando all'AI a guardare tutti gli indizi contemporaneamente e punendola per prendere deviazioni non necessarie, i ricercatori hanno creato un agente che non è solo più intelligente, ma anche significativamente più efficiente, risolvendo puzzle visivi complessi in una frazione del tempo.

Riepilogo Tecnico: HyperEyes

Enunciato del Problema

Gli agenti di ricerca multimodali esistenti si basano prevalentemente su un paradigma sequenziale, elaborando le entità target una alla volta. Sebbene efficace per il ragionamento multi-hop, questo approccio comporta una severa ridondanza di interazione quando le query si decompongono naturalmente in sotto-recuperi indipendenti (ad esempio, identificare multiple entità in una singola immagine). Gli agenti convenzionali soffrono di pipeline "ritaglia-poi-cerca" in cui errori di localizzazione iniziali corrompono i risultati a valle, e la natura sequenziale costringe le query multi-entità in round di interazione verbosi e ridondanti. Inoltre, i paradigmi di formazione attuali ottimizzano principalmente per l'accuratezza della risposta finale, mancando di incentivi per preferire traiettorie parallele compatte rispetto a quelle verbose. Di conseguenza, le capacità parallele spesso degenerano in una ricerca eccessiva per forza bruta, aumentando latenza e consumo di token senza migliorare l'accuratezza.

Metodologia

Gli autori propongono HyperEyes, un agente di ricerca multimodale parallelo progettato attorno al principio di "cercare più ampio, non più a lungo". Il sistema fonde l'ancoraggio visivo e il recupero in un'unica azione atomica, consentendo la ricerca concorrente su multiple entità all'interno di un singolo turno.

1. Ricerca Ancorata Unificata (UGS)

HyperEyes riformula l'ancoraggio visivo da un passo prerequisito a un parametro dell'azione di recupero. Invece di un processo in due fasi (ritagliare poi cercare), l'agente prevede simultaneamente i riquadri di delimitazione per tutte le entità target e invia query di ricerca parallele (sia immagini che testo) all'interno di un singolo turno. Questo disaccoppia l'identificazione dell'entità dal ragionamento a valle.

2. Pipeline di Formazione

Il processo di formazione consiste in due fasi:

Fase 1: Sintesi di Dati Adatti al Parallelo e Supervisione Cold-Start
- Sintesi dei Dati: Gli autori curano un dataset di 271.000 task dipendenti da strumenti, inclusi 20.000 query visive multi-entità (sintetizzate tramite aumento a mosaico di dataset di classificazione fine-granularità) e 5.000 query testuali multi-vincolo.
- Campionamento di Rifiuto Progressivo (PRS): Per generare traiettorie di Alta Qualità per il Fine-Tuning Supervisionato (SFT), gli autori impiegano PRS. Questo algoritmo campiona traiettorie attraverso budget di turno crescenti, trattenendo rigorosamente solo la traiettoria di successo più breve per ogni query. Questo filtra le chiamate agli strumenti ridondanti e le riformulazioni iterative, distillando 30.000 traiettorie cold-start orientate all'efficienza.
Fase 2: Apprendimento per Rinforzo (RL) Consapevole dell'Efficienza a Doppia Granularità
Per ottimizzare sia l'accuratezza che l'efficienza, gli autori introducono un framework RL a due livelli:
- Livello Macro (TRACE): Un meccanismo di ricompensa a livello di traiettoria chiamato Tool-use Reference-Adaptive Cost Efficiency (TRACE). Utilizza una soglia di riferimento per i round di chiamata agli strumenti ( $\hat{t}_c$ ) che si stringe monotonicamente durante la formazione basandosi sui roll-out migliori dell'epoca corrente. Questo crea un curricolo implicito che sopprime le chiamate agli strumenti superflue senza sovrarestringere le ricerche multi-hop genuine. La ricompensa penalizza le traiettorie che superano il riferimento o non soddisfano l'accuratezza, premiando quelle entro i limiti efficienti.
- Livello Micro (OPD): Per affrontare la carenza di assegnazione del credito delle ricompense esito sparse sui roll-out falliti, gli autori adattano la Distillazione On-Policy (OPD). Un modello "insegnante" più forte (HyperEyes-235B) fornisce segnali correttivi densi a livello di token esclusivamente al modello "studente" (HyperEyes-30B) sulle traiettorie fallite. Questo permette allo studente di imparare da passaggi di ragionamento intermedi validi senza ereditare il costo di inferenza dell'insegnante.

3. Benchmark di Valutazione (IMEB)

Riconoscendo che i benchmark esistenti valutano l'accuratezza ignorando l'efficienza, gli autori introducono IMEB (Image Multi-Entity Benchmark). Questo dataset curato manualmente comprende 300 istanze che richiedono localizzazione e recupero concorrenti su multiple entità. Propongono inoltre il Cost-Aware Score (CAS), una metrica che quantifica congiuntamente la correttezza del ragionamento e l'efficienza della ricerca penalizzando il consumo di token e i round di chiamata agli strumenti.

Contributi Chiave

Agente HyperEyes: Un agente di ricerca multimodale parallelo che opera su uno spazio di azioni di Ricerca Ancorata Unificata, raggiungendo alta efficienza ancorando e cercando multiple entità concorrentemente.
Framework RL a Doppia Granularità: Un approccio di formazione innovativo che combina vincoli di efficienza adattivi a livello macro (TRACE) con distillazione a livello di token a livello micro (OPD) per ottimizzare il comportamento di ricerca.
Benchmark Consapevole dell'Efficienza (IMEB): Il primo benchmark a valutare congiuntamente l'accuratezza della risposta e l'efficienza della ricerca in scenari visivi multi-entità, accompagnato dalla metrica CAS.
Pipeline di Sintesi dei Dati: Un metodo per generare dati di formazione adatti al parallelo utilizzando il Campionamento di Rifiuto Progressivo per distillare traiettorie a ridondanza zero.

Risultati Sperimentali

HyperEyes è stato valutato su sei benchmark di ricerca multimodale (MMSearch, FVQA, LiveVQA, BCVL, MMSearch+ e IMEB) utilizzando backbones Qwen3-VL (30B e 235B).

Accuratezza ed Efficienza: HyperEyes-30B (RL) supera il più forte agente open-source di scala comparabile (VDR) del 9,9% in accuratezza richiedendo 5,3× meno round di chiamata agli strumenti in media.
Prestazioni all'Avanguardia: HyperEyes-235B (RL) si avvicina alle prestazioni del proprietario Gemini-3.1-Pro, superando altri agenti open-source e commerciali (ad esempio, Claude-Opus-4.6, Kimi-K2.5) nell'impostazione del workflow agentic.
Cost-Aware Score: Sotto la metrica CAS, HyperEyes-30B ottiene un punteggio 4,3× più alto del secondo miglior concorrente open-source su benchmark multi-hop complessi e 7,6× più alto sul benchmark multi-entità IMEB.
Studi di Ablazione: Gli esperimenti confermano che un filtraggio rigoroso della qualità (riducendo il volume dei dati del 75%) migliora significativamente l'accuratezza rispetto al volume grezzo dei dati. Inoltre, la ricompensa TRACE adattiva e l'insegnante allineato all'efficienza per OPD sono critici per ridurre la ridondanza delle chiamate agli strumenti e aumentare l'accuratezza.

Significato e Affermazioni

Il documento afferma che HyperEyes stabilisce un nuovo standard per gli agenti di ricerca open-source, dimostrando che accuratezza ed efficienza operativa sono obiettivi complementari piuttosto che conflittuali nella ricerca multimodale agentic. Spostandosi dalla ricerca sequenziale "più a lungo" alla ricerca parallela "più ampia", il framework elimina la ridondanza e l'accumulo di rumore intrinseci nelle pipeline convenzionali "ritaglia-poi-cerca". Gli autori affermano che il loro lavoro fornisce una base riproducibile per costruire assistenti multimodali ancorati ed efficienti, in particolare in domini dove risposte verificabili e ancorate alla fonte sono essenziali. Il rilascio di IMEB e della pipeline di formazione mira ad abbassare la barriera all'ingresso per la ricerca su agenti multimodali consapevoli dell'efficienza.