💻 computer science

SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval

SeCo-SBIR è un framework di apprendimento di prompt semanticamente coerente che risolve la tensione tra adattamento al dominio e generalizzazione zero-shot nel recupero di immagini basato su schizzi iniettando conoscenza semantica guidata dal testo nell'encoder visivo e imponendo la coerenza con un riferimento CLIP congelato tramite vincoli basati sulla perturbazione, raggiungendo prestazioni allo stato dell'arte attraverso molteplici benchmark.

Autori originali: Long Hoang Dang, Tuan Nguyen Huu, Nguyen Minh Hieu, Tu Minh Phuong

Pubblicato 2026-08-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Long Hoang Dang, Tuan Nguyen Huu, Nguyen Minh Hieu, Tu Minh Phuong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come riconoscere le cose, ma con un colpo di scena: puoi mostrargli solo foto di animali reali, eppure vuoi che comprenda i disegni fatti dagli esseri umani. Questo è il mondo dello Zero-Shot Sketch-Based Image Retrieval. È un ramo dell'intelligenza artificiale dove un computer deve far corrispondere uno schizzo rudimentale e scarabocchiato (come un omino stilizzato che rappresenta un cane) a una fotografia ad alta definizione di un vero cane, anche se non ha mai visto quel tipo specifico di cane prima d'ora.

Per capire la sfida, pensa al cervello del robot come se avesse due "sensi" principali: uno per vedere (foto) e uno per leggere (testo). Uno strumento potente chiamato CLIP ha già insegnato a questo robot che la parola "cane" e la foto di un cane sono correlate. Tuttavia, quando chiedi al robot di guardare uno schizzo disordinato in bianco e nero, esso si confonde. Lo schizzo è troppo diverso dalla foto. La soluzione abituale è "affinare" (fine-tune) il robot, insegnandogli nuovi trucchi per colmare il divario. Ma ecco il problema: se gli insegni troppo a fondo i cani specifici che gli mostri durante l'addestramento, il robot rimane bloccato in un vicolo cieco. Diventa così ossessionato dagli esempi di addestramento da dimenticare come riconoscere nuovi tipi di cani che non ha ancora visto. È come uno studente che impara a memoria le risposte di un test di pratica così perfettamente da fallire l'esame vero perché le domande sono leggermente diverse.

Questo è esattamente il problema che i ricercatori del Posts and Telecommunications Institute of Technology hanno cercato di risolvere. Hanno introdotto un nuovo metodo chiamato SeCo-SBIR, che agisce come un astuto traduttore e un insegnante severo tutto in uno. Invece di costringere semplicemente il robot a memorizzare gli schizzi, hanno trovato un modo per usare la conoscenza linguistica esistente del robot per guidare la sua visione. Hanno anche aggiunto una rete di sicurezza per assicurarsi che il robot non diventi troppo sicuro dei suoi nuovi trucchi e dimentichi la sua conoscenza originale e generale.

Il Trucco Magico in Due Parti

Il documento propone un framework che risolve la confusione del robot usando due idee principali, che gli autori chiamano "text-guided prompting" (prompting guidato dal testo) e "consistency constraints" (vincoli di coerenza).

1. Il Traduttore di Lingua (Text-Guided Prompting)
Immagina che il robot abbia una biblioteca di libri sugli animali. Quando vede una foto, di solito guarda solo l'immagine. Ma con SeCo-SBIR, i ricercatori dicono al robot: "Prima di guardare lo schizzo, leggi prima la parola 'cane' nella tua biblioteca".

In termini tecnici, il robot utilizza il suo encoder testuale (la parte che comprende le parole) per elaborare un prompt. Inveve di imparare nuovi schemi visivi da zero, il robot prende il significato della parola "cane" dal lato del testo e lo trasmette al lato della visione, livello dopo livello. Immagina che sia una guida (il testo) che sussurra la storia di un monumento a un fotografo (l'encoder visivo) prima che scatti una foto. Poiché la guida conosce già il concetto generale di "cane" avendo letto milioni di libri, il fotografo non ha bisogno di memorizzare ogni singolo cane che abbia mai visto. Deve solo comprendere l'idea di un cane. Questo aiuta il robot a riconoscere lo schizzo di un nuovo tipo di razza canina che non ha mai visto, perché la "guida" sa come sono fatti i cani in generale, indipendentemente dalla foto specifica.

2. L'Insegnante Severo (Consistency Constraint)
Ora, immagina che il robot stia imparando questi nuovi trucchi. C'è il rischio che possa eccitarsi troppo e iniziare ad allucinare, pensando che ogni animale a quattro zampe sia un "golden retriever" perché è quello che ha visto più spesso durante l'addestramento. Per evitare questo, i ricercatori hanno aggiunto un "Insegnante Severo".

Questo insegnante lavora mostrando al robot due versioni della stessa foto: una leggermente rovinata (aumentata/augmented) e una pulita. Il cervello "congelato" del robot (la versione originale, non addestrata) guarda la foto rovinata, mentre il cervello in fase di "apprendimento" guarda quella pulita. L'insegnante esige che entrambi i cervelli concordino su cosa sia l'oggetto, anche se stanno guardando versioni diverse di esso. Se il cervello in apprendimento inizia a deviare e dire: "Questo è un gatto!", solo perché ha visto un gatto durante l'addestramento, l'insegnante dice: "No, guarda il cervello originale; vede ancora un cane. Devi rimanere coerente". Questo mantiene il robot ancorato alla sua conoscenza originale e generale, impedendo che vada in overfitting rispetto ai dati di addestramento specifici.

Cosa hanno scoperto

I ricercatori hanno testato questo nuovo sistema su tre diversi "esami" (dataset) che sono standard nel settore: Sketchy-Ext, TU-Berlin-Ext e QuickDraw-Ext. Questi test prevedono l'abbinamento di schizzi a foto attraverso diverse categorie, incluse alcune che il robot non aveva mai visto prima.

I risultati sono stati piuttosto impressionanti. Nel test TU-Berlin-Ext, noto per essere molto complicato perché presenta molte categorie simili tra loro, SeCo-SBIR ha migliorato l'accuratezza del 5,6% rispetto al precedente miglior metodo. Nel test "cross-dataset", dove il robot è stato addestrato su un set di disegni ed è stato testato su un set completamente diverso, ha migliorato l'accuratezza del 6,8%.

Il documento suggerisce che questo approccio funziona perché bilancia due esigenze opposte: adatta il robot abbastanza da fargli comprendere il mondo disordinato degli schizzi, ma mantiene intatta la sua conoscenza generale affinché non dimentichi come gestire nuove categorie. Gli autori hanno scoperto che ogni parte del loro sistema — il traduttore di lingua, l'insegnante severo e la matematica specifica che utilizzano per combinare queste idee — ha contribuito al successo. Quando hanno rimosso anche solo una parte, le prestazioni del robot sono diminuite.

In breve, SeCo-SBIR dimostra che, usando il linguaggio per guidare la visione e aggiungendo un "controllo di realtà" per evitare l'apprendimento eccessivo, possiamo costruire un'IA che è molto più capace di riconoscere il mondo attraverso schizzi rudimentali, anche quando sta vedendo quegli oggetti per la prima volta.

Riepilogo Tecnico: SeCo-SBIR

Definizione del Problema

Il recupero di immagini basato su schizzi a zero colpi (Zero-Shot Sketch-Based Image Retrieval - ZS-SBIR) mira a recuperare immagini naturali da un database utilizzando query sotto forma di schizzi fatti a mano, mirando specificamente a categorie non viste durante l'addestramento. Questo compito affronta una tensione fondamentale: il modello deve adattarsi abbastanza profondamente da colmare l'importante divario cross-modale tra schizzi astratti e fotografie dettagliate, ma qualsiasi ulteriore flessibilità introdotta per l'adattamento rischia di causare overfitting sulle categorie viste durante l'addestramento, erodendo le capacità di generalizzazione zero-shot intrinseche ai Modelli Vision-Language (VLM) pre-addestrati come CLIP.

Gli esistenti metodi di prompt learning per lo ZS-SBIR spesso faticano con questo compromesso. Approcci come CLIP-AT trattano i rami testuale e visivo in isolamento, mentre i metodi bidirezionali come SpLIP scambiano i token ma mancano di una regolazione esplicita contro l'overfitting delle classi viste. Di conseguenza, le rappresentazioni adattate tendono a deviare verso la distribuzione delle categorie viste, fallendo nel generalizzare alle classi non viste, in particolare nei contesti di ZS-SBIR Generalizzato (GZS-SBIR) dove le classi viste e non viste coesistono nella galleria di recupero.

Metodologia: SeCo-SBIR

Gli autori propongono SeCo-SBIR (Semantically Consistent Prompt Learning), un framework progettato per risolvere la tensione tra adattamento e generalizzazione attraverso due meccanismi complementari: il prompting multi-modale guidato dal testo e un vincolo di consistenza basato sulla perturbazione.

1. Prompting Multi-Modale Guidato dal Testo

A differenza del tipico visual prompt tuning che apprende i token puramente all'interno dell'encoder visivo, SeCo-SBIR instrada i vettori di prompt apprendibili attraverso l'encoder testuale per primo.

Meccanismo: I vettori di prompt apprendibili sostituiscono i token iniziali di un template testuale fisso (ad esempio, "una foto di un [categoria]"). Questi vettori passano attraverso i livelli transformer dell'encoder testuale.
Accoppiamento Cross-Modale: Ad ogni livello $l$ dell'encoder testuale, le rappresentazioni intermedie del prompt vengono proiettate nello spazio di embedding dell'encoder visivo tramite una funzione di accoppiamento apprendibile ( $F_l$ ).
Iniezione Profonda: Queste rappresentazioni proiettate vengono iniettate come prompt visivi nei corrispondenti livelli dell'encoder visivo (sia per il ramo foto che per quello schizzo).
Razionale: Poiché l'encoder testuale ha appreso rappresentazioni semantiche a livello di categoria robuste e astratte grazie alla supervisione linguistica su larga scala, questo meccanismo inietta conoscenze semantiche intrinsecamente trasferibili direttamente nel percorso visivo. Ciò consente al modello di adattarsi al divario di dominio tra schizzo e foto, radicando l'adattamento nel linguaggio piuttosto che nelle statistiche visive delle classi viste.

2. Vincolo di Consistenza Basato sulla Perturbazione

Per evitare che le componenti apprendibili (prompt e funzioni di accoppiamento) vadano in overfitting sulle categorie viste, gli autori introducono una strategia di regolarizzazione che allinea il modello adattato con un riferimento CLIP congelato.

Design Asimmetrico: Per un dato input, una vista aumentata (tramite random erasing, cropping, flipping) viene fornita a un encoder visivo CLIP congelato, mentre l'input pulito viene fornito all'encoder addestinabile (con prompt + adattamento).
Obiettivo InfoNCE: Il modello è addestrato utilizzando una perdita InfoNCE asimmetrica. Il ramo addestinabile deve produrre embedding che siano più vicini alla rappresentazione dell'input aumentato del ramo congelato rispetto alle rappresentazioni di altri campioni nel batch.
Razionale: Questo evita soluzioni banali (dove il modello addestinabile si limita a copiare il modello congelato) costringendo il ramo addestinabile a imparare rappresentazioni invarianti rispetto all'input che rimangano strutturalmente compatibili con lo spazio delle feature generalizzabili di CLIP sotto perturbazione.

3. Obiettivo di Addestramento

Il framework impiega una funzione di perdita multi-obiettivo che combina:

Cross-Modal Triplet Loss: Avvicina le coppie schizzo-foto corrispondenti e allontana le coppie non corrispondenti.
NT-Xent Loss: Fornisce una supervisione contrastiva densa a livello di batch sia per le direzioni schizzo-a-foto che foto-a-schizzo.
Loss di Classificazione: Allinea le feature visive con i prototipi di classe derivati dall'encoder testuale potenziato dai prompt.
Loss di Consistenza: La perdita InfoNCE basata sulla perturbazione descritta sopra.

Contributi Chiave

Prompting Multi-Modale Guidato dal Testo: Un meccanismo innovativo che deriva i prompt visivi dalle rappresentazioni intermedie dell'encoder testuale tramite funzioni di accoppiamento apprendibili. Questo sfrutta le conoscenze semantiche preesistenti e radicate nel linguaggio per adattare il percorso visivo, favorendo intrinsecamente la generalizzazione alle classi non viste.
Vincolo di Consistenza Basato sulla Perturbazione: Una tecnica di regolarizzazione che utilizza un obiettivo InfoNCE asimmetrico per allineare gli embedding adattati con un riferimento CLIP congelato. Questo mitiga efficacementamente il rischio di overfitting sulle categorie viste introdotto dai parametri apprendibili aggiuntivi.
Prestazioni allo Stato dell'Arte: L'integrazione di questi componenti con adapter leggeri raggiunge risultati superiori in tutti gli standard benchmark di ZS-SBIR.

Risultati Sperimentali

Gli autori hanno valutato SeCo-SBIR su tre benchmark standard: Sketchy-Ext, TU-Berlin-Ext e QuickDraw-Ext, in contesti categorici, generalizzati (GZS-SBIR) e cross-dataset.

Categorical ZS-SBIR: SeCo-SBIR ha ottenuto i punteggi più alti su tutte le metriche in tutti i dataset. In particolare, su TU-Berlin-Ext (sensibile all'overfitting a causa delle categorie fine-grained), ha superato il precedente migliore (SpLIP) di +5,6% mAP@all e +6,5% P@100. Su QuickDraw-Ext, ha migliorato mAP@all di +1,8%.
Generalized ZS-SBIR (GZS-SBIR): In contesti in cui le classi viste e non viste sono mescolate nella galleria, SeCo-SBIR ha dimostrato guadagni significativi, migliorando mAP@all di +4,6% e P@100 di +7,5% su TU-Berlin-Ext rispetto a SpLIP, indicando una mitigazione efficace del bias delle classi viste.
Across-Dataset ZS-SBIR: Quando addestrato su Sketchy-Ext e testato su TU-Berlin-Ext e QuickDraw-Ext senza fine-tuning, il modello ha migliorato mAP@all di +6,8% su QuickDraw-Ext, evidenziando la robustezza ai cambiamenti di dominio.
Studi di Ablazione: Gli esperimenti hanno confermato che ogni componente contribuisce in modo non ridondante. Il coupling guidato dal testo ha fornito un guadagno di +1,4% rispetto al prompting indipendente, e il vincolo di consistenza è stato critico, prevenendo un calo delle prestazioni del 2,6% quando rimosso. Il design della perturbazione asimmetrica è stato inoltre validato come superiore all'uso di input puliti per entrambi i rami.

Significato e Rivendicazioni

Il paper sostiene che SeCo-SBIR risolva con successo la tensione centrale in ZS-SBIR: la necessità di un adattamento profondo rispetto alla necessità di una generalizzazione zero-shot. Canalizzando l'adattamento attraverso la conoscenza radicata nel linguaggio (tramite l'encoder testuale) e vincolando esplicitamente le componenti apprendibili (tramite il vincolo di consistenza), il framework adatta il modello al dominio schizzo-foto senza sacrificare le capacità di generalizzazione del backbone CLIP pre-addestrato.

Gli autori posizionano questo lavoro come un approccio principato per l'impiego di modelli vision-language in scenari che richiedono la generalizzazione a categorie non viste, dimostrando che la consistenza semantica e la regolarizzazione basata sulla perturbazione sono strategie efficaci per superare i limiti degli attuali paradigmi di prompt learning nella ricerca cross-modale.