Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

Sintesi Tecnica: CLARA per la Ricerca di Immagini Composta

Definizione del Problema
La Ricerca di Immagini Composta (Composed Image Retrieval - CIR) consente agli utenti di cercare in un corpus utilizzando un'immagine di riferimento e un testo di modifica (ad esempio, "un outfit come questo, ma più formale"). I sistemi attuali assumono tipicamente che una query corrisponda a una singola immagine target, valutata tramite Recall@K rispetto a un'unica annotazione. Gli autori sostengono tuttavia che questa assunzione sia fallace: una query composta raramente specifica un'immagine univoca, ma definisce piuttosto una "regione del corpus". Il membro specifico che l'utente intende è sottodeterminato dalla sola query.

I recenti tentativi di affrontare questa ambiguità avvolgono un sistema di recupero in uno strato di previsione conforme per restituire un insieme di candidati con una probabilità di copertura garantita, utilizzando domande testuali per risolvere l'incertezza residua. Gli autori identificano due fallimenti critici in questo approccio esistente:

1. Perdita della Garanzia di Copertura: Le garanzie di copertura conforme si basano sulla scambiabilità dei dati. Quando un sistema pone una domanda in modo adattivo e aggiorna la propria convinzione in base alla risposta, induce uno shift dei covariate di feedback (feedback covariate shift). L'applicazione della soglia di calibrazione originale alla convinzione aggiornata invalida la garanzia di copertura, causando una deriva significativa della copertura effettiva al di sotto del livello nominale dopo il primo turno.
2. Chiarimento Inefficiente e Circolare: Le domande testuali sono un canale a bassa larghezza di banda per trasmettere distinzioni visive fini (punto di vista, texture, stile). Inoltre, le attuali politiche basate sul testo utilizzano un modello multimodale per predire le risposte dell'utente al fine di selezionare le domande, creando una valutazione circolare in cui il modello pone e risponde contemporaneamente, potenzialmente ottimizzando per un simulatore piuttosto che per utenti reali.

Metodologia: CLARA
Gli autori propongono CLARA (CLArification by Rendering Alternatives), un framework che sostituisce il questioning testuale con la disambiguazione visiva generativa, mantenendo una garanzia di copertura matematicamente valida attraverso i round di interazione.

1. Convinzione Calibrata e Insiemi Confori:
   Il sistema mantiene una distribuzione di convinzione $p(I|q, h_m)$ su un corpus, condizionata alla query e alla cronologia dell'interazione. Utilizza la previsione conforme adattiva per generare un insieme di candidati $C$ tale che la probabilità che il vero target sia nell'insieme sia almeno $1-\alpha$. La dimensione di questo insieme funge da misura diretta dell'ambiguità.

2. Disambiguazione Visiva Generativa (Mostra, non Chiedere):
   Quando l'insieme dei candidati è troppo grande (indicando un'alta ambiguità), CLARA non pone una domanda testuale. Inveve:

   • Partizione dei Modi: Raggruppa l'insieme dei candidati in $k$ modi basati su assi di ambiguità interpretabili (attributi preservati, attributi modificati, punto di vista, sfondo).
   • Generazione per Copertura (Generate-to-Cover): Seleziona un sottoinsieme di modi per massimizzare un obiettivo di copertura-diversità submodulare, assicurando che il pannello rappresenti l'intero spazio di convinzione senza ridondanze.
   • Rendering e Snapping: Un modello di diffusione condizionale renderizza un'immagine prototipo per ogni modo selezionato. Fondamentalmente, ogni prototipo renderizzato è "agganciato" (snapped) all'esemplare del corpus reale più vicino (il medoide del modo). L'utente vede l'immagine renderizzata ma seleziona il sottoinsieme reale del corpus. Ciò assicura che gli artefatti di generazione non possano gonfiare l'insieme di previsione o violare la garanzia di copertura.
   • Interazione Utente: L'utente seleziona semplicemente il prototipo più vicino alla sua intenzione. Questo fornisce un segnale ad alta larghezza di banda e indipendente dal modello.

3. Copertura Valida per Turno tramite Ripesatura della Selezione:
   Per affrontare lo shift dei covariate di feedback causato dalla selezione dell'utente, CLARA tratta ogni round di chiarimento come uno shift esplicito nella distribuzione della query.

   • Calcola un peso di rapporto di verosimiglianza $w_m$ basato sulla cronologia di selezione dell'utente e sul modello di selezione $\pi$.
   • Applica la previsione conforme split pesata (weighted split conformal prediction), rypesando i punteggi di non conformità durante la calibrazione.
   • La Proposizione 1 dimostra che con questa ripesatura, la garanzia di copertura ($Pr(IT \in C) \geq 1-\alpha$) è valida a ogni round impegnato, non solo al primo.

4. Aggiornamento della Convinzione:
   Al termine di una scelta dell'utente, la convinzione viene aggiornata tramite una ripesatura logica che moltiplica la convinzione precedente per una verosimiglianza di appartenenza "soft" (con un limite inferiore per evitare di scartare il vero target in caso di scelta errata) e un aggiornamento semantico che appende il modo scelto alla query testuale.

Contributi Chiave

• Identificazione dello Shift dei Covariate di Feedback: Il paper dimostra che la copertura conforme interattiva nella CIR standard fallisce dopo il primo turno a causa della selezione adattiva e propone un framework teorico per correggerlo tramite la previsione conforme pesata per la selezione.
• Disambiguazione Visiva Generativa: CLARA sostituisce le domande testuali con il rendering dei modi candidati guidato dalla copertura. Ciò elimina la circolarità "modello-risposta" e sfrutta il canale ad alta larghezza di banda dei segnali visivi per distinzioni fini.
• Garanzia Valida per Turno: Gli autori forniscono una prova che il loro approccio conforme pesato mantiene la garanzia di copertura nominale attraverso tutti i round di interazione.
• AmbiCIR-V: Un nuovo protocollo di valutazione e un'estensione del dataset che unifica i benchmark open-domain e fashion con metriche di chiarimento visivo, inclusi la copertura attraverso i turni e le annotazioni degli assi di ambiguità.

Risultati
Gli esperimenti sono stati condotti sui benchmark open-domain (CIRR), multi-positivo (CIRCO) e fashion (FashionIQ).

• Performance a Turno Singolo: CLARA è statisticamente in linea con i metodi allo stato dell'arte a turno singolo, confermando che lo strato di risoluzione non ha costi in termini di precisione per le query precise.
• Stabilità della Copertura: A differenza dei metodi conformi interattivi "naïve" che derivano fino a 10 punti percentuali al di sotto della copertura nominale entro il terzo round, CLARA mantiene la copertura nominale (circa il 90%) in tutti i round e per tutti gli assi di ambiguità.
• Efficienza dell'Interazione: CLARA raggiunge il target in meno round rispetto alla politica di domande testuali più forte (EIG-TEXT). Il vantaggio è più pronunciato sull'ambiguità di punto di vista e di attributo, dove la selezione visiva supera il questioning testuale.
• Studio Umano: Uno studio con 30 partecipanti ha confermato che gli utenti reali preferiscono i pannelli visivi alle domande testuali e ottengono tassi di successo più elevati con meno turni, validando i risultati simulati.
• Robustezza: Il sistema rimane robusto agli errori dell'utente (aggiornamenti di verosimiglianza soft) e alle scelte avversarie, con una degradazione della copertura che è graduale anziché catastrofica.

Significatività e Rivendicazioni
Il paper sostiene di far avanzare il campo riformulando la CIR da un compito "una-query-un-target" a un problema di "risoluzione calibrata dell'intento". La significatività risiede in:

1. Rigore Teorico: Stabilire che la ricerca interattiva è un problema di feedback covariate shift e fornire il primo metodo per garantire una copertura valida a ogni turno di interazione.
2. Usabilità Pratica: Dimostrare che "mostrare" (rendering visivo) è un canale superiore a "chiedere" (testo) per risolvere l'ambiguità visiva, eliminando la necessità di complessi modelli di risposta potenzialmente distorti.
3. Sintesi Fedele: Introdurre un meccanismo di "snap-to-corpus" che permette l'uso di modelli generativi per la visualizzazione senza compromettere le garanzie statistiche del sistema di recupero.

Gli autori concludono che trattare il recupero come un processo visivamente interattivo e calibrato — misurare l'ambiguità, impegnarsi quando si è fiduciosi e mostrare alternative quando non lo si è — rappresenta un passo necessario oltre le attuali assunzioni a turno singolo.