Sintesi Tecnica: SearchEyes

Problematica

L'addestramento di agenti di ricerca multimodali capaci di un ragionamento multi-hop a lungo raggio affronta un disconnessione strutturale fondamentale negli attuali processi di pipeline. Gli approcci esistenti costruiscono i dati di addestramento, gli ambienti di ricerca e i segnali di ricompensa in modo indipendente, portando a tre criticità fondamentali:

1. Disaccoppiamento Dati-Ambiente: La sintesi dei dati di addestramento spesso scarta i metadati strutturali intermedi (es. struttura del percorso, ID delle entità), mentre gli ambienti di ricerca si affidano a motori esterni irriproducibili con API non deterministiche.
2. Scarsità di Ricompensa: I segnali di apprendimento per rinforzo (RL) sono tipicamente calcolati solo a livello di traiettoria (basandosi sulla risposta finale). Per il ragionamento multi-hop, la probabilità di una risposta finale corretta diminuisce drasticamente con il numero di hop, rendendo le ricompense a livello di traiettoria troppo scarse per un'ottimizzazione efficace della policy.
3. Fallimento dell'Assegnazione del Credito: Senza segnali a livello di step, gli agenti faticano a imparare quali azioni specifiche in una lunga catena abbiano contribuito al successo o al fallimento, specialmente in compiti multimodali complessi che richiedono sia la percezione visiva che il recupero di conoscenze testuali.

Metodologia: SearchEyes

SearchEyes affronta questi colli di bottiglia unificando la sintesi dei dati, la simulazione dell'ambiente e l'addestramento RL attraverso un mondo di ricerca simulato costruito su un grafo di conoscenza tipizzato (Wikidata5M). Il framework è composto da tre componenti strettamente accoppiate:

1. Simulazione di un Mondo di Ricerca Unificato

Il sistema costruisce un ambiente di ricerca autocontenuto utilizzando un grafo di conoscenza tipizzato $G = (V, R, T, \phi)$ derivato da Wikidata5M, Wiki6M (testo) e immagini di Wikipedia.

• Recupero Autocontenuto: Invece di API esterne, l'ambiente utilizza un motore di recupero ibrido (embedding densi + BM25) fuso tramite Reciprocal Rank Fusion (RRF) su una collezione di documenti pre-indicizzata. Ciò garantisce un recupero deterministico, riproducibile e verificabile.
• Set di Strumenti: Gli agenti interagiscono tramite strumenti deterministici: text_search, visual_search (ritaglio dell'immagine + recupero embedding), lookup, summarize e python_interpreter.

2. Sintesi della Catena Percezione-Conoscenza (PKC)

Per generare dati di addestramento di alta qualità, SearchEyes introduce una pipeline che campiona percorsi multi-hop vincolati sull'intersezione di entità visive e di conoscenza:

• Campionamento di Percorsi Vincolati: I percorsi vengono campionati tramite cammini casuali vincolati con rigidi vincoli:
  • Alternanza P-K: Imporre l'alternanza tra hop di Percezione (identificazione di entità visive da immagini) e hop di Conoscenza (ricerca basata su testo).
  • Vincoli di Disambiguazione: Introduzione di predicati "uno-a-pochi" e archi di vincolo per prevenire soluzioni a percorso singolo banali, aumentando la larghezza di tre (treewidth) del grafo di ragionamento.
  • Diversità di Dominio: Garantire che i percorsi attraversino molteplici domini semantici (Persona, Opera, Organizzazione, Geografia).
  • Filtraggio Anti-Shortcut: Escludere entità hub e predicati di alto livello per evitare percorsi facilmente indovinabili.
• Occultamento delle Informazioni: Le domande sono generate in modo che i nomi delle entità e le sequenze complete di relazioni siano nascosti. L'entità ancora viene presentata solo tramite un'immagine, e le relazioni intermedie sono offuscate a suggerimenti di dominio, costringendo l'agente a eseguire un vero ragionamento multi-step.
• Distillazione dei Dati SFT: Le traiettorie esperte vengono sintetizzate utilizzando un ambiente "privilegiato" con boost di recupero e denoising delle osservazioni. Queste traiettorie vengono poi esportate con osservazioni grezze e rumorose per il Supervised Fine-Tuning (SFT), insegnando al modello a ragionare su risultati di recupero realistici.

3. Ottimizzazione della Policy Ancorata agli Hop (HaPO)

Per risolvere il problema della scarsità di ricompensa, SearchEyes propone HaPO, un algoritmo di post-training che riutilizza la sequenza d'oro delle entità derivata dalla sintesi PKC per l'assegnazione del credito a livello di step senza un processo separato di modello di ricompensa (process reward model).

• Gruppi Ancorati agli Hop: Le traiettorie sono raggruppate in base alle entità d'oro intermedie che riescono a recuperare con successo. All'interno di questi gruppi, i vantaggi (advantages) sono calcolati rispetto all'esito del gruppo, isolando l'effetto delle azioni intraprese dopo aver raggiunto uno specifico stato intermedio.
• Vantaggio Combinato: Il segnale di vantaggio finale interpola tra i vantaggi a livello di traiettoria e quelli a livello di step ancorati agli hop.
• Mascheramento Sensibile ai Fallimenti (Fatal-Aware Masking): L'algoritmo rileva e maschera i suffissi degeneri delle traiettorie causati da errori consecutivi degli strumenti, evitando che il rumore del gradiente corrompa gli aggiornamenti della policy.
• Gating Asimmetrico Fluido: Sostituisce il clipping rigido con un gate basato su sigmoide per stabilizzare l'ottimizzazione a lungo raggio, applicando un maggiore smorzamento ai vantaggi negativi.

Contributi Chiave

1. Simulazione di un Mondo di Ricerca Unificato: Un nuovo framework che utilizza un grafo di conoscenza tipizzato per co-progettare la sintesi dei dati, la simulazione dell'ambiente e l'addestramento RL, eliminando il disconnessione tra dati-ambiente-ricompensa.
2. Sintesi della Catena Percezione-Conoscenza (PKC): Una pipeline guidata da KG che genera domande visivo-linguistiche multi-hop vincolate con garanzie strutturali rigorose (alternanza P-K, disambiguazione) e occultamento delle informazioni.
3. Pipeline di Post-Training Agente (HaPO): Un algoritmo di addestramento che sfrutta i metadati strutturali conservati (ID delle entità d'oro) per consentire l'assegnazione del credito a livello di step, combinando segnali ancorati agli hop e a livello di traiettoria senza richiedere un modello di ricompenza di processo addestrato.
4. VisSearch Bench: Un nuovo benchmark introdotto per valutare la ricerca visiva multi-hop con strutture di alternanza P-K.

Risultati Sperimentali

SearchEyes è stato valutato su sei benchmark multimodali intensivi di conoscenza (SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA) e sul nuovo VisSearch Bench.

• Performance: SearchEyes-27B ha raggiunto prestazioni state-of-the-art tra gli agenti di ricerca multimodali open-source, migliorando la baseline open-source più forte di 6,2 punti in media.
• Efficienza dei Parametri: SearchEyes-9B ha eguagliato le prestazioni di baseline su scala 30B (es. OpenSearch-VL-30B) utilizzando 3,3 volte meno parametri, dimostrando una superiore efficienza dei dati.
• Studi di Ablazione:
  • Rimuovere i vincoli PKC (es. alternanza P-K, filtraggio anti-shortcut) ha causato cali significativi di performance (fino a -7,7 punti medi), confermando la necessità dei vincoli strutturali per apprendere un vero ragionamento multi-step.
  • Sostituire HaPO con lo standard GRPO ha comportato un calo di -4,0 punti medi, validando che l'assegnazione del credito a livello di step è il collo di bottiglia principale.

Significato

Il lavoro sostiene che il limite principale degli attuali agenti di ricerca multimodale non sia la capacità del modello, ma la disconnessione strutturale tra dati, ambiente e ricompensa. Trattando il grafo di conoscenza come un backbone unificato, SearchEyes dimostra che la co-progettazione di dati-ambiente-algoritmo è essenziale per addestrare agenti efficaci a lungo raggio. I risultati suggeriscono che conservare i metadati strutturali durante l'intera pipeline di addestramento consente un'assegnazione del credito a livello di step precisa, permettendo a modelli più piccoli di raggiungere prestazioni competitive con sistemi proprietari molto più grandi. Il lavoro fornisce una ricetta open-source riproducibile per costruire forti agenti di ricerca multimodale senza dipendere da API esterne e non deterministiche.