Retrieving Counterfactuals Improves Visual In-Context Learning

O artigo apresenta o CIRCLES, um novo framework que melhora a aprendizagem em contexto visual em modelos de linguagem e visão ao recuperar exemplos contrafactuais que permitem ao modelo raciocinar sobre relações causais, superando as limitações das abordagens baseadas apenas em similaridade superficial.

O essencial

Imagine que você está tentando ensinar um robô muito inteligente, mas um pouco "ingênuo", a identificar pássaros. Você mostra uma foto de um pássaro e pergunta: "Que tipo de pássaro é este?".

O robô olha para a foto e, em vez de analisar cuidadosamente as cores e marcas, ele diz: "Ah, todos os pássaros que vi antes com essa cor de peito eram do tipo 'Canário'". Ele está apenas imitando padrões superficiais que viu no passado, sem entender realmente o que faz um pássaro ser um "Canário" ou um "Pardal".

É aqui que entra o problema que o artigo CIRCLES tenta resolver.

O Problema: O Robô que Só Vê Semelhanças

Atualmente, quando usamos Inteligência Artificial (IA) para aprender novas tarefas, nós usamos um método chamado "Aprendizado em Contexto". Basicamente, mostramos ao robô alguns exemplos de como resolver o problema antes de pedir a resposta.

O método tradicional (chamado de RICES no texto) funciona assim:

• Você mostra uma foto de um pássaro.
• O sistema procura no banco de dados as fotos que mais se parecem visualmente com aquela.
• Ele entrega essas fotos como exemplos.

A analogia: Imagine que você está tentando aprender a cozinhar um prato específico. O método tradicional te mostra 10 fotos de pratos que parecem iguais ao seu. O problema é que, se todos esses pratos tiverem um ingrediente errado (por exemplo, todos têm pimenta, mas o seu não deveria ter), o robô vai achar que a pimenta é essencial. Ele aprende uma correlação falsa: "Parece igual + tem pimenta = resposta certa".

A Solução: O Detetive de "E Se?" (CIRCLES)

Os autores criaram o CIRCLES. A ideia genial é não mostrar apenas exemplos que se parecem, mas sim exemplos que mostram o que acontece quando você muda uma coisa específica.

O CIRCLES usa uma técnica chamada "Recuperação de Imagem Composta" (CIR). Funciona assim:

1. Identifica o detalhe: O robô olha para a foto e diz: "O que define este pássaro? Ah, é a mancha preta na cabeça".
2. Cria o "E Se?": O robô pergunta: "E se eu tirar essa mancha preta? O pássaro ainda seria o mesmo?"
3. Busca o contrafactual: O sistema vai ao banco de dados e procura uma foto de um pássaro que é igualzinho ao original, exceto que ele não tem a mancha preta na cabeça.
4. Ensina a diferença: Ele mostra ao robô: "Veja, quando o pássaro tem a mancha, é um 'Pardal'. Quando a mancha some, vira um 'Canário'. A mancha é o que importa, não a cor do bico ou o tamanho da asa".

A analogia do Detetive:
Imagine que você é um detetive tentando descobrir quem roubou um bolo.

• O método antigo (RICES): Ele te mostra fotos de 10 pessoas que vestem roupas parecidas com as do suspeito. Você acha que o ladrão é alguém que usa chapéu vermelho.
• O método CIRCLES: Ele te mostra uma foto do suspeito, e depois te mostra uma foto da mesma pessoa tirando o chapéu. "Veja", diz o detetive, "mesmo sem o chapéu, é a mesma pessoa. O chapéu não é a prova. Agora, olhe para outra pessoa que usa chapéu vermelho, mas tem uma cicatriz diferente. Essa não é a pessoa."
  O CIRCLES ensina o robô a focar no que realmente importa (a cicatriz, a mancha), ignorando o que é apenas coincidência (o chapéu, a cor do peito).

Por que isso é incrível?

1. Funciona melhor com pouca informação: Se o robô tiver poucos exemplos para estudar (como em situações de emergência ou dados raros), o método antigo falha porque ele se confunde com coincidências. O CIRCLES, ao mostrar as "variações controladas", ensina a regra de forma clara, mesmo com poucos dados.
2. Robôs menores aprendem mais: Robôs menores (com menos "cérebro" ou memória) geralmente são mais ingênuos. O CIRCLES dá a eles a "lógica" que faltava, permitindo que eles performem quase tão bem quanto robôs gigantes.
3. Não é apenas "chutar": Em vez de o robô chutar baseado em "parece com", ele começa a raciocinar: "Ah, a resposta muda quando eu mudo X, então X é a chave".

Resumo da Ópera

O papel CIRCLES diz: "Pare de mostrar para a IA apenas fotos que se parecem. Mostre para ela fotos que são iguais, exceto por uma pequena mudança, e explique como essa mudança altera a resposta."

É como ensinar uma criança a distinguir um gato de um cachorro não mostrando 100 fotos de gatos e 100 de cachorros misturados, mas sim mostrando um gato e, em seguida, mostrando um gato onde você trocou a cauda por uma orelha de cachorro, perguntando: "O que mudou? O que define o animal?".

Isso torna a Inteligência Artificial mais inteligente, mais justa e menos propensa a cometer erros bobos baseados em preconceitos visuais.

Resumo técnico

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) têm alcançado desempenho impressionante em tarefas de raciocínio multimodal. No entanto, eles frequentemente lutam para:

• Desemaranhar atributos visuais de alta granularidade: Diferenciar características sutis que definem classes ou respostas.
• Raciocinar sobre relações causais: Em vez de identificar a causa real de uma resposta, os modelos tendem a aprender correlações espúrias (associações superficiais) presentes nos dados de treinamento.

A Aprendizagem em Contexto (ICL - In-Context Learning) permite que os VLMs se adaptem a novas tarefas usando exemplos de demonstração. Contudo, os métodos atuais de seleção de exemplos baseiam-se quase exclusivamente em recuperação passiva baseada em similaridade (ex: encontrar os vizinhos mais próximos no espaço de embeddings).

• Limitação Principal: A similaridade visual pura tende a selecionar exemplos que compartilham atributos irrelevantes ou confusos (ruído), reforçando associações espúrias em vez de relações causais. Isso limita a robustez do modelo, especialmente em cenários de escassez de informações ou mudanças de distribuição.

2. Metodologia: O Framework CIRCLES

Os autores propõem o CIRCLES (Composed Image Retrieval for Causal Learning Example Selection), um novo framework que enriquece os conjuntos de demonstração ao incorporar exemplos contrafactuais através de Recuperação de Imagem Composta (CIR).

O pipeline do CIRCLES consiste em três componentes principais:

A. Compreensão Causal via Recuperação de Imagem Composta (CIR)

Em vez de apenas buscar imagens similares, o CIRCLES intervém ativamente nos atributos da imagem de consulta:

1. Identificação de Atributos Chave: O VLM é solicitado a extrair pares atributo-valor decisivos para responder à pergunta (ex: "cor do peito: cinza").
2. Geração de Legendas Contrafactuais: Para cada atributo identificado, o modelo gera uma legenda contrafactual que descreve a imagem original com uma única alteração nesse atributo (ex: mudar "cor do peito" para "preto"), mantendo tudo o mais constante. Isso simula uma intervenção causal $do(a_i = v'_i)$.
3. Recuperação Híbrida: O sistema busca no conjunto de treinamento imagens que correspondam visualmente a essa nova descrição (legenda contrafactual), mas que também mantenham alta similaridade semântica com a pergunta original.
   • Score de Pontuação: Combina similaridade imagem-legenda (fidelidade visual à intervenção) e similaridade pergunta-pergunta (contexto semântico).
   • O objetivo é encontrar exemplos que isolem o efeito de um atributo específico na resposta.

B. Compreensão Correlacional via Recuperação Padrão

Para complementar a compreensão causal, o CIRCLES mantém uma etapa de recuperação tradicional baseada em similaridade imagem-imagem (semelhante ao RICES). Isso fornece contexto visual geral e padrões comuns do dataset.

C. Inferência Aumentada por Recuperação

O contexto final para a inferência do modelo é a união dos exemplos recuperados causalmente ($R_{causal}$) e correlacionalmente ($R_{corr}$). Ao expor o modelo a ambos os tipos de exemplos, o CIRCLES incentiva o raciocínio que vai além das associações de superfície, permitindo que o modelo aprenda estratégias de raciocínio mais robustas e interpretáveis.

3. Contribuições Principais

1. Novo Framework CIRCLES: Uma abordagem inovadora para ICL visual que substitui a seleção puramente baseada em similaridade por uma seleção ativa que incorpora exemplos contrafactuais.
2. Validação Empírica: Demonstrações consistentes de melhoria em quatro conjuntos de dados diversos (classificação de imagens de alta granularidade e VQA) e em múltiplas arquiteturas de VLM.
3. Análise de Cenários de Escassez: Evidência de que o CIRCLES é particularmente eficaz quando os dados relevantes são limitados (escassez de informações), superando significativamente os métodos tradicionais nesse regime.
4. Insights Qualitativos: Análise que mostra como os exemplos recuperados pelo CIRCLES são mais diversos e informativos, esclarecendo atributos críticos e melhorando a interpretabilidade do processo de ICL.

4. Resultados Experimentais

Os experimentos foram realizados em quatro datasets: CUB e Flowers (classificação de alta granularidade), OK-VQA e VizWiz (perguntas visuais abertas). Os modelos base incluíram Gemma3 (4B, 12B) e Qwen2.5-VL (3B, 7B).

• Desempenho Geral: O CIRCLES superou consistentemente os baselines (RICES, MUIER, MMICES) e a seleção aleatória em quase todas as configurações.
• Ganhos em Modelos Pequenos: As melhorias foram mais pronunciadas em modelos de menor escala (ex: Gemma3-4B), onde o conhecimento interno é limitado e a dependência de exemplos de contexto é maior.
• Escassez de Informação: Em testes onde até 75% dos dados de treinamento foram removidos, o CIRCLES manteve uma vantagem significativa sobre o RICES, demonstrando maior robustez.
• Ablação de CIR vs. IR:
  • Apenas CIR (sem recuperação padrão) funcionou bem em VQA, mas falhou em classificação de alta granularidade (onde exemplos prototípicos são necessários).
  • A combinação IR + CIR (CIRCLES completo) sempre produziu o melhor resultado, indicando que os dois métodos são complementares: IR fornece o "protótipo" da classe, enquanto CIR esclarece as variações causais.
• Qualidade dos Atributos: O uso de atributos extraídos pelo próprio VLM funcionou bem, mas o uso de anotações de ground-truth (se disponíveis) melhorou ainda mais o desempenho, confirmando que a precisão na identificação de atributos é crucial.

5. Significado e Impacto

O trabalho CIRCLES representa um avanço significativo na forma como os modelos de visão e linguagem utilizam exemplos de contexto.

• Mudança de Paradigma: Move o foco da simples "busca por similaridade" para a "busca por causalidade" e "intervenção controlada".
• Robustez: Oferece uma solução prática para mitigar o viés de correlações espúrias, um problema fundamental nos VLMs atuais.
• Eficiência: Embora introduza um custo computacional adicional (geração de legendas e recuperação composta), o ganho de desempenho justifica o custo, especialmente em cenários onde a precisão é crítica e os dados são limitados.
• Futuro: Sugere que a integração de mecanismos de raciocínio causal (via contrafactuais) é um caminho promissor para tornar os ICLs mais interpretáveis e confiáveis em aplicações do mundo real.

Em resumo, o CIRCLES demonstra que retrair exemplos que mostram "o que aconteceria se" (contrafactuais) é tão importante quanto retrair exemplos que mostram "o que é similar", permitindo que os modelos aprendam a verdadeira estrutura causal das tarefas visuais.