Resumo Técnico: SpurLens: Detecção Automática de Pistas Espúrias em LLMs Multimodais

Declaração do Problema

Embora se saiba que modelos de visão unimodais dependem de correlações espúrias (atributos de entrada não essenciais), o alcance com que os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) exibem vieses semelhantes permanece incerto, apesar de sua supervisão linguística. Os autores hipotetizam que muitas falhas críticas em MLLMs, especificamente a alucinação de objetos (geração de conteúdo factualmente incorreto) e as falhas de reconhecimento de objetos, decorrem da dependência de pistas espúrias em vez do verdadeiro reconhecimento de objetos.

Os métodos existentes para detectar esses vieses geralmente exigem supervisão humana, são limitados a características predefinidas ou dependem de análises de coocorrência de legendas computacionalmente caras. Além disso, não está claro se esses vieses são fundamentais ao codificador de visão, ao modelo de linguagem ou à sua fusão, e se estratégias simples de prompting podem mitigá-los.

Metodologia: Pipeline SpurLens

O artigo apresenta o SpurLens, um pipeline automatizado e não supervisionado projetado para identificar pistas visuais espúrias e quantificar seu impacto no desempenho dos MLLMs. O pipeline opera em três etapas principais:

1. Proposição de Características Espúrias:

   • Para um objeto alvo $t$ dado, o sistema utiliza o GPT-4 para gerar uma lista de potenciais pistas espúrias (objetos ou elementos de fundo) que comumentamente coocorrem com $t$.
   • A lista gerada passa por uma filtragem rigorosa via GPT-4 para garantir que as características sejam:
     • Físicas e visualmente discerníveis.
     • Não façam parte do próprio objeto alvo (ex: "tela" não é uma pista para "laptop").
     • Não sejam inseparáveis do objeto alvo.
     • Detectáveis por detectores de objetos de conjunto aberto (open-set).

2. Identificação e Classificação de Imagens:

   • Um detector de objetos de conjunto aberto (OWLv2) é usado para escanear um grande conjunto de imagens em busca da presença das pistas espúrias propostas.
   • As imagens são classificadas com base nos escores de confiança das pistas espúrias detectadas. Isso cria uma classificação de "espuridade" para cada característica, permitindo que o sistema selecione imagens com a maior presença de uma pista (Top-K) e a menor presença (Bottom-K).

3. Cálculo de Lacunas Espúrias (Spurious Gaps):

   • As imagens classificadas são enviadas ao MLLM alvo com prompts binários (ex: "Existe um [objeto alvo] na imagem?").
   • Duas métricas principais são calculadas:
     • Lacuna de Precisão de Percepção (PA Gap): A diferença na precisão de reconhecimento entre imagens contendo a pista espúria e aquelas sem ela. Uma lacuna positiva grande indica dependência excessiva da pista.
     • Lacuna de Taxa de Alucinação (HR Gap): A diferença nas taxas de alucinação (falsos positivos) entre imagens contendo a pista e imagens de linha de base. Uma lacuna positiva grande indica que a pista desencadeia alucinações.
   • A característica que gera a maior lacuna é identificada como a pista espúria mais influente para aquela classe.

Principais Contribuições

• Descoberta Automatizada: Ao contrário de trabalhos anteriores que exigem anotação humana ou conjuntos de características fixos, o SpurLens descobre automaticamente pistas espúrias interpretáveis através de uma ampla gama de objetos e conjuntos de dados sem supervisão humana.
• Análise de Modo de Falha Dupla: O estudo quantifica sistematicamente dois modos de falha distintos causados pelo viés espúrio:
  1. Dependência Excessiva: O desempenho cai significativamente quando as pistas espúrias são removidas.
  2. Amplificação de Alucinação: Pistas espúrias desencadeiam alucinações de objetos em taxas significativamente maiores do que a linha de base.
• Profundidade Diagnóstica: O framework isola a origem do viés através de estudos de ablação, examinando se o viés se origina no codificador de visão, no modelo de linguagem ou no processo de fusão, e testa a eficácia de várias estratégias de mitigação.

Resultados Experimentais

Os autores avaliaram cinco MLLMs (Qwen2-VL, Qwen-3.5, Llama-3.2, LLaVA-v1.6 e GPT-4o-mini) em três conjuntos de dados (HardImageNet, Subconjunto ImageNet e COCO).

1. Falhas de Reconhecimento de Objetos

• A remoção de pistas espúrias leva a quedas significativas de precisão em todos os modelos.
• Exemplo: A precisão do GPT-4o-mini no COCO caiu de 88,0% (com pistas) para 67,6% (sem pistas), uma diminuição de 20,4%.
• A magnitude da queda varia por modelo e conjunto de dados, com o LLaVA-v1.6 mostrando uma lacuna de 16,0% no COCO.

2. Alucinação de Objetos

• Pistas espúrias amplificam dramaticamente as taxas de alucinação.
• Exemplo: No COCO, a taxa de alucinação do GPT-4o-mini aumentou de 1,4% (sem pistas) para 11,2% (com pistas), um aumento de 9,8x.
• No subconjunto ImageNet, o aumento foi ainda mais pronunciado, com alguns modelos mostrando até um aumento de 18 vezes nas taxas de alucinação quando as pistas espúrias estavam presentes.

3. Estudos de Ablação e Mitigação

• Descarte de Tokens (Token Dropping): Mesmo quando os tokens visuais correspondentes ao objeto alvo eram artificialmente removidos, os modelos continuavam a alucinar a presença do objeto em taxas elevadas (ex: HR > 30% para alguns modelos), sugerindo que o viés não depende exclusivamente de evidências visuais.
• Isolamento do Codificador de Visão: O treinamento de classificadores binários apenas com os embeddings do codificador de visão revelou lacunas espúrias significativas, indicando que o viés existe dentro da própria representação visual, independentemente do modelo de linguagem.
• Estratégias de Prompting: Os autores testaram várias técnicas de mitigação, incluindo ensembling de prompts, raciocínio de Cadeia de Pensamento (CoT) e informar explicitamente o modelo sobre possíveis pistas espúrias.
  • Resultado: Embora algumas estratégias tenham oferecido pequenas melhorias situacionais, nenhuma reduziu significativamente a Lacuna Espúria. Mesmo "trapacear" fornecendo ao modelo a exata pista espúria mais forte identificada pelo SpurLens falhou em eliminar o viés.

Significância e Alegações

O artigo afirma que o viés espúrio é um problema profundamente enraizado e fundamental nos atuais MLLMs, que persiste através de diferentes arquiteturas e conjuntos de dados. Os autores afirmam que:

1. Os atuais MLLMs são altamente suscetíveis a correlações espúrias, levando a falhas sistemáticas tanto no reconhecimento quanto na geração.
2. Estratégias simples de mitigação são insuficientes. Intervenções baseadas em linguagem (prompting) não podem resolver totalmente a dependência subjacente de pistas visuais, pois o viés parece estar incorporado no espaço de características do codificador de visão.
3. Uma avaliação rigorosa é necessária. A persistência desses vieses exige métodos de avaliação mais robustos e estratégias de mitigação que vão além das atuais técnicas de prompting para garantir a confiabilidade dos MLLMs em aplicações do mundo real.

O estudo conclui que o SpurLens fornece uma ferramenta escalável e interpretável para diagnosticar essas falhas, mas as causas raízes exigem mais do que apenas ajustes superficiais no prompting do modelo.