Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

Resumo Técnico: CLARA para Recuperação de Imagens Composta

Declaração do Problema
A Recuperação de Imagem Composta (CIR) permite que usuários busquem em um corpus usando uma imagem de referência e um texto de modificação (ex: "um traje como este, mas mais formal"). Os sistemas atuais tipicamente assumem que uma consulta mapeia para uma única imagem alvo, avaliada via Recall@K contra uma única anotação. Os autores argumentam que essa premissa é falha: uma consulta composta raramente especifica uma imagem única, mas sim define uma "região do corpus". O membro específico que o usuário pretende está subdeterminado pela consulta isoladamente.

Tentativas recentes de abordar essa ambiguidade envolvem um recuperador em uma camada de predição conformal para retornar um conjunto de candidatos com uma probabilidade de cobertura garantida, utilizando perguntas de texto para resolver a incerteza residual. Os autores identificam duas falhas críticas nesta abordagem existente:

1. Perda de Garantia de Cobertura: As garantias de cobertura conformal dependem da intercambialidade dos dados. Quando um sistema faz uma pergunta adaptativamente e atualiza sua crença com base na resposta, ele induz um deslocamento de covariável de feedback (feedback covariate shift). Reaplicar o limiar de calibração original à crença atualizada invalida a garantia de cobertura, fazendo com que a cobertura real derive significamente abaixo do nível nominal após o primeiro turno.
2. Esclarecimento Ineficiente e Circular: Perguntas de texto são um canal de baixa largura de banda para transmitir distinções visuais refinadas (ponto de vista, textura, estilo). Além disso, as políticas baseadas em texto atuais usam um modelo multimodal para prever as respostas do usuário para selecionar perguntas, criando uma avaliação circular onde o modelo tanto propõe quanto responde, potencialmente otimizando para um simulador em vez de usuários reais.

Metodologia: CLARA
Os autores propõem o CLARA (CLArification by Rendering Alternatives), um framework que substitui o questionamento baseado em texto por uma desambiguação visual generativa, mantendo uma garantia de cobertura matematicamente válida através das rodadas de interação.

1. Crença Calibrada e Conjuntos Conformes:
   O sistema mantém uma distribuição de crença $p(I|q, h_m)$ sobre o corpus, condicionada à consulta e ao histórico de interação. Ele utiliza predição conformal adaptativa para gerar um conjunto de candidatos $C$ tal que a probabilidade de o verdadeiro alvo estar no conjunto seja de pelo menos $1-\alpha$. O tamanho deste conjunto serve como uma medida direta de ambiguidade.

2. Desambiguação Visual Generativa (Mostrar, Não Perguntar):
   Quando o conjunto de candidatos é muito grande (indicando alta ambiguidade), o CLARA não faz uma pergunta de texto. Em vez disso:

• Particionamento de Modos: Ele agrupa o conjunto de candidatos em $k$ modos baseados em eixos de ambiguidade interpretáveis (atributos preservados, atributos alterados, ponto de vista, plano de fundo).
• Gerar-para-Cobrir: Seleciona um subconjunto de modos para maximizar um objetivo de cobertura-diversidade submodular, garantindo que o painel represente o espaço total de crença sem redundância.
• Renderização e Ajuste (Snapping): Um modelo de difusão condicional renderiza uma imagem protótipo para cada modo selecionado. Crucialmente, cada protótipo renderizado é "ajustado" (snapped) ao exemplar mais próximo do corpus real (o medoide do modo). O usuário vê a imagem renderizada, mas seleciona o subconjunto real do corpus. Isso garante que artefatos de geração não inflem o conjunto de predição ou violem a garantia de cobertura.
• Interação do Usuário: O usuário simplesmente escolhe o protótipo mais próximo de sua intenção. Isso fornece um sinal de alta largura de banda e livre de modelos (model-free).

3. Cobertura Válida por Turno via Reponderação de Seleção:
   Para abordar o deslocamento de covariável de feedback causado pela seleção do usuário, o CLARA trata cada rodada de esclarecimento como um deslocamento explícito na distribuição da consulta.

• Ele computa um peso de razão de verossimilhança $w_m$ baseado no histórico de seleção do usuário e no modelo de seleção $\pi$.
• Aplica predição conformal de divisão ponderada (weighted split conformal prediction), reponderando os escores de não conformidade durante a calibração.
• A Proposição 1 prova que, com esta reponderação, a garantia de cobertura ($Pr(IT \in C) \geq 1-\alpha$) mantém-se em cada rodada comprometida, não apenas na primeira.

4. Atualização de Crença:
   Após uma escolha do usuário, a crença é atualizada via uma reponderação lógica que multiplica a crença anterior por uma verossimilhança de pertinência suave (com um limite inferior para evitar o descarte do alvo verdadeiro em caso de erro de seleção) e uma atualização semântica anexando o modo escolhido à consulta de texto.

Principais Contribuições

• Identificação do Deslocamento de Covariável de Feedback: O artigo demonstra que a cobertura conformal interativa em CIR falha após o primeiro turno devido à seleção adaptativa e propõe um framework teórico para corrigir isso via predição conformal reponderada pela seleção.
• Desambiguação Visual Generativa: O CLARA substitui perguntas de texto por uma renderização de modos de candidatos impulsionada pela cobertura. Isso elimina a circularidade "modelo-resposta" e aproveita o alto canal de banda visual para distinções finas.
• Garantia Válida por Turno: Os autores fornecem uma prova de que sua abordagem de conformal ponderada mantém a garantia de cobertura nominal em todas as rodadas de interação.
• AmbiCIR-V: Um novo protocolo de avaliação e extensão de dataset que unifica benchmarks de domínio aberto e moda com métricas de esclarecimento visual, incluindo cobertura através de turnos e anotações de eixos de ambiguidade.

Resultados
Experimentos foram conduzidos nos benchmarks de domínio aberto (CIRR), multi-positivo (CIRCO) e moda (FashionIQ).

• Desempenho de Turno Único: O CLARA está estatisticamente empatado com métodos de turno único de estado da arte, confirmando que a camada de resolução não tem custo para consultas precisas.
• Estabilidade de Cobertura: Diferente de métodos conformais interativos "naïve" que derivam até 10 pontos percentuais abaixo da cobertura nominal na 3ª rodada, o CLARA mantém a cobertura nominal (aprox. 90%) em todas as rodadas e eixos de ambiguidade.
• Eficiência de Interação: O CLARA atinge o alvo em menos rodadas do que a política de pergunta de texto mais forte (EIG-TEXT). A vantagem é mais pronunciada em ambiguidade de ponto de vista e atributo, onde a seleção visual supera o questionamento de texto.
• Estudo Humano: Um estudo com 30 participantes confirmou que usuários reais preferem painéis visuais a perguntas de texto e alcançam taxas de sucesso mais altas com menos turnos, validando os resultados simulados.
• Robustez: O sistema permanece robusto a erros do usuário (atualizações de verossimilhança suave) e escolhas adversariais, com a cobertura degradando de forma graciosa em vez de catastrófica.

Significância e Alegações
O artigo afirma avançar o campo ao reformular a CIR de uma tarefa de "uma-consulta-um-alvo" para um problema de "resolução de intenção calibrada". A significância reside em:

1. Rigor Teórico: Estabelecer que a recuperação interativa é um problema de deslocamento de covariável de feedback e fornecer o primeiro método para garantir cobertura válida em cada turno de interação.
2. Usabilidade Prática: Demonstrar que "mostrar" (renderização visual) é um canal superior a "perguntar" (texto) para resolver ambiguidade visual, eliminando a necessidade de modelos de resposta complexos e potencialmente enviesados.
3. Síntese Fiel: Introduzir um mecanismo de "ajuste ao corpus" (snap-to-corpus) que permite o uso de modelos generativos para visualização sem comprometer as garantias estatísticas do sistema de recuperação.

Os autores concluem que tratar a recuperação como um processo visualmente interativo e calibrado — medindo a ambiguidade, comprometendo-se quando confiante e mostrando alternativas quando não — representa um passo necessário além das premissas atuais de turno único.