Sintesi Tecnica: UniHEAR

Problematica

La Visual Question Answering basata sulla conoscenza (KB-VQA) richiede che i modelli recuperino conoscenze esterne relative alle entità (ad esempio, da Wikipedia) per rispondere a domande fondate su input visivi. I sistemi di recupero esistenti con aumento tramite l'uso di informazioni esterne affrontano due criticità fondamentali:

1. Collo di bottiglia del recupero a sorgente singola: I sistemi attuali si affidano tipicamente a una singola modalità di recupero, ovvero Image-to-Image (I2I) o Image-to-Text (I2T). Queste modalità divergono significativamente; l'I2I privilegia la somiglianza morfologica (colore, forma), mentre l'I2T enfatizza la coerenza semantica. Di conseguenza, sotto budget di recupero limitati, le entità di verità fondamentale (ground-truth) sono spesso catturate da una sola fonte, rendendo il recupero a sorgente singola intrinsecamente incompleto e limitando il limite superiore dell'accuratezza della VQA.
2. Reranking cieco rispetto alla sorgente di recupero: I reranker esistenti spesso assegnano un'attenzione uniforme alla modalità tra tutti i candidati, ignorando le origini della modalità e i priori a livello di candidato stabiliti durante la fase di recupero grossolano (coarse retrieval). Ciò porta a una dipendenza ridondante da modalità che sono già state sfruttate dai grandi recuperatori grossolani, riducendo la discriminabilità del processo di reranking e causando un errato posizionamento (misranking) delle entità di verità fondamentale.

Metodologia: UniHEAR

Gli autori propongono UniHEAR (Unified Heterogeneous-Source Attentive Retrieval), un framework leggero progettato per colmare il divario tra il recupero grossolano e il reranking fine-grained attraverso un'architettura unificata. Il framework opera in tre fasi:

1. Recupero grossolano eterogeneo da sorgenti multiple

Il sistema confronta simultaneamente l'immagine query contro due fonti di conoscenza complementari: immagini delle entità (I2I) e riassunti testuali (I2T).

• Pool di candidati: L'unione dei top-$k$ candidati da entrambe le fonti forma un pool di candidati unificato, garantendo una copertura complementare.
• Descrittore di Recupero Grossolano (CRD): Ogni entità candidata è caratterizzata da un descrittore $D(e)$ che codifica l'evidenza del recupero come guida a priori. Questo descrittore include:
  • Rango normalizzato ($r_s$) all'interno di ciascuna sorgente.
  • Punteggi di somiglianza grezzi ($sim_s$) e somiglianza z-normalizzata ($z_s$).
  • Gap di somiglianza rispetto all'entità con il rango più alto ($\delta_s$).
  • Entropia a livello di pool ($H_s$) per misurare la concentrazione della distribuzione di recupero e l'affidabilità della sorgente.
    Questo descrittore colma il divario tra i grandi recuperatori grossolani e il reranker leggero.

2. Reranking di entità multimodale guidato dal recupero

Questa fase impiega un reranker leggero basato sull'architettura VISTA, potenziato da due nuovi moduli:

• Gating della Modalità Attentiva Guidato dal Recupero (RAMG): Invece di trattare tutti i candidati allo stesso modo, RAMG condiziona i pesi dell'attenzione della modalità sul Coarse Retrieval Descriptor. Utilizza parametri di modulazione affine ($\gamma, \beta$) derivati dal descrittore per regolare i logit dell'attenzione. Ciò consente al modello di ridurre la dipendenza dalle modalità già sfruttate durante il recupero grossolano (ad esempio, riducendo l'attenzione visiva per i candidati già confermati tramite I2I) e di aggregare le rappresentazioni specifiche della modalità ($C_{it}, C_t, C_i$) in una rappresentazione fusa unificata.
• Fusione della Sorgente Pesata sull'Entropia (EWSF): Questo modulo re-incorpora i priori del recupero grossolano come complemento privo di addestramento al punteggio di reranking appreso. Pesa i punteggi specifici della sorgente in base al rango normalizzato e all'entropia del pool, quindi li calibra tramite un rapporto della media del pool prima di fonderli con il punteggio di reranking appreso.

3. Generazione aumentata da sezioni di più entità

Per la generazione della risposta finale, il framework aggrega le sezioni attraverso le top-$k_e$ entità reranked.

• Selezione delle sezioni: Combina la somiglianza IT2T a livello di sezione fine-grained con i punteggi di recupero a livello di entità.
• Allocazione proporzionale al rango: Le sezioni sono allocate proporzionalmente al rango dell'entità (ad esempio, l'entità con il rango più alto riceve più sezioni rispetto a quelle con rango inferiore) per concentrare il budget di contesto sulle entità più affidabili.
• Generazione: Un Modello di Linguaggio Multimodale (MLLM) genera la risposta finale condizionata dall'immagine di input, dalla domanda e dalle sezioni recuperate aggregate.

Strategia di Addestramento

UniHEAR impiega una strategia di addestramento ibrida per unificare il recupero a livello di entità e a livello di sezione all'interno di un singolo modello:

• Perdita Contrastiva ($L_{con}$): Ottimizza le rappresentazioni fuse per distinguere le coppie positive dai negativi difficili (hard negatives).
• Perdita Ausiliaria di Preservazione della Modalità ($L_{aux}$): Una perdita ausiliaria preserva le capacità di matching cross-modale (IT2T, I2T, I2I) richieste per il successivo recupero a livello di sezione. Include una maschera binaria per filtrare la supervisione positiva inaffidabile (ad esempio, quando le etichette delle immagini di verità fondamentale sono mancanti o gli URL sono inaccessibili), prevenendo il collasso della modalità.

Contributi Chiave

1. Framework Unificato: Propone UniHEra, un framework leggero che unifica il recupero e il reranking di entità da sorgenti eterogenee, costruendo un Coarse Retrieval Descriptor per codificare l'evidenza da più sorgenti.
2. Meccanismo di Gating Innovativo: Introduce il Retrieval-Guided Attentive Modality Gating (RAMG), che condiziona l'attenzione della modalità sui descrittori di recupero per mitigare la ridondanza della dipendenza dalla modalità.
3. Fusione Senza Addestramento: Implementa l'Entropy-Weighted Source Fusion (EWSF) per re-incorporare i priori del recupero grossolano calibrati senza costi di addestramento aggiuntivi.
4. Obiettivo di Addestramento Unificato: Progetta una strategia di addestramento che combina l'apprendimento contrastivo con una perdita ausiliaria di preservazione della modalità per consentire un passaggio fluido dal recupero a livello di entità a quello a livello di sezione all'interno di un singolo modello.

Risultati Sperimentali

Sono stati condotti estesi esperimenti sui dataset E-VQA e InfoSeek.

• Performance di Recupero: UniHEAR raggiunge prestazioni di recupero allo stato dell'arte. Su E-VQA, migliora il Recall@1 di 6,7 punti rispetto al baseline più forte (OMGM) e di 33,9 punti rispetto ai baseline basati su MLLM (ReflectiVA). Su InfoSeek, migliora il Recall@1 di 1,2 punti rispetto a OMGM.
• Performance di VQA: Senza fine-tuning della generazione, UniHEAR con Qwen2.5-VL-7B raggiunge il 53,2% di accuratezza su E-VQA, superando tutti i baseline di recupero aumentato sotto lo stesso generatore. Con un generatore sottoposto a fine-tuning, raggiunge il 50,4% su E-VQA e il 44,1% su InfoSeek, superando tutti i baseline.
• Efficienza: Nonostante l'unificazione di sorgenti eterogenee e la gestione di un pool di candidati più ampio, UniHEAR mantiene un'architettura leggera con soli 197M di parametri (rispetto a 1,2B–1,7B per i competitor basati su BLIP-2). Il modulo RAMG aggiunge solo 0,59M di parametri (0,3% di overhead), dimostrando che il gating guidato dal recupero migliora le prestazioni con un costo di parametri trascurabile.

Significato

Il paper afferma che UniHEAR stabilisce il recupero da sorgenti eterogenee con reranking guidato dal recupero come un paradigma promettente per la futura ricerca nella KB-VQA. Affrontando esplicitamente il Collo di Bottiglia del Recupero a Sorgente Singola e il Reranking Cieco rispetto alla Sorgente, il framework dimostra che sfruttare segnali complementari da più fonti, guidati dai priori del recupero grossolano, può migliorare significativamente sia l'accuratezza del recupero che le prestazioni della VQA a valle, mantenendo un'alta efficienza. I risultati suggeriscono che modelli unificati e leggeri possono superare sistemi più grandi, a sorgente singola o multistadio, utilizzando efficacemente la ricca evidenza già emersa durante il recupero grossolano.