Resumo Técnico: Uma Boa Inicialização é Tudo o que Você Precisa para uma Atribuição Visual Fiel

1. Formulação do Problema

A atribuição visual fiel visa identificar quais regiões da imagem suportam causalmente a previsão de um modelo. Embora os benchmarks tradicionais frequentemente assumam um "contrato de ordenação total" — exigindo que um método classifique todas as regiões da imagem para gerar curvas de inserção e deleção — muitas aplicações práticas, particularmente em Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para atribuição e reparo de alucinações, requerem apenas uma máscara de evidência compacta top-k.

O artigo identifica uma lacuna nos métodos de busca existentes:

• Busca Gananciosa (Greedy Search): Embora eficaz, requer $O(n^2)$ passagens de ida (forward passes) e frequentemente fica presa em ótimos locais, perdendo combinações de alto valor de regiões que só emergem através da interação.
• Agrupamento Grosseiro (Coarse Grouping): Métodos como o PhaseWin reduzem o custo ao particionar regiões, mas podem agregar conteúdo redundante ou perder interações finas.
• Pontuação de Passo Único (One-Step Scoring): A pontuação independente de regiões falha em capturar interações onde a evidência só é valiosa em combinação.

O desafio central é encontrar um conjunto esparso e de alto valor de exatamente $k$ regiões finas sob um orçamento de avaliação de caixa-preta e de via única (forward-only), sem necessariamente gerar uma classificação completa de todas as regiões.

2. Metodologia

O artigo introduz dois métodos de via única projetados para abordar o problema de atribuição de "máscara primeiro": COPAIR e TRACE.

COPAIR: Inicializador de Atribuição Pareada Grosseiro com Liberação

O COPAIR é um inicializador determinístico derivado da análise da lacuna entre o PhaseWin e a Busca Gananciosa. Ele opera sob a hipótese de que a qualidade da evidência precoce é um problema de granularidade; regiões finas podem fragmentar evidências que são mais estáveis em uma escala mais grosseira.

• Mecanismo: Ele agrupa regiões finas em grupos espaciais grosseiros. Avalia todos os singletos grosseiros e realiza uma busca exaustiva pelos melhores pares grosseiros dentro de um pool de alta suficiência.
• Lógica de Seleção: Seleciona um candidato inicial ($C_0$) com base em uma margem de ganho de par ($\delta$) e um limiar de suficiência ($\tau$). Se um único grupo grosseiro for suficiente, ele é selecionado; caso contrário, o melhor par é escolhido. Se a pontuação ainda for baixa, ele absorve um grupo adicional.
• Saída: O candidato grosseiro selecionado é ordenado internamente e parcialmente liberado (mantendo os 80% superiores da pontuação) para servir como um prefixo de aquecimento (warm-start) para a continuação da busca por Greedy ou PhaseWin.
• Limitação: O COPAIR não é uma solução direta para o problema da máscara de região fina de tamanho $k$ fixo, pois grupos grosseiros podem fundir partes de objetos e fragmentos de fundo, falhando em fornecer uma explicação compacta mínima.

TRACE: Atribuição de Região Top-k via Entropia Cruzada

O TRACE visa diretamente o problema da máscara de região fina de cardinalidade fixa, contornando a necessidade de uma ordenação completa.

• Mecanismo: Adapta o método de entropia cruzada para o espaço discreto $k$-hot. Mantém logits $\theta$ sobre todas as regiões finas e amostra máscaras candidatas usando perturbação Gumbel-top-k.
• Ciclo de Otimização:
  1. Amostragem: Gera $M$ máscaras candidatas de tamanho $k$ por rodada.
  2. Avaliação: Pontua as máscaras usando a resposta do modelo (suficiência ou proxy de suficiência-necessidade combinada).
  3. Retenção de Elite: Mantém a fração $\rho_e$ de amostras superiores (conjunto de elite).
  4. Atualização de Distribuição: Estima a frequência de inclusão empírica de regiões no conjunto de elite. Suaviza essa frequência e atualiza os logits $\theta$ para aumentar a massa de probabilidade em regiões que aparecem em máscaras de alta pontuação.
• Saídas:
  • Modo Direto: Retorna a melhor máscara observada $S^*$ diretamente como a saída de atribuição.
  • Modo de Inicialização: Usa $S^*$ como semente para inicializar Greedy ou PhaseWin para tarefas que exigem uma classificação completa.
• Garantia Teórica: O artigo fornece uma análise de recuperação de orçamento finito mostrando que as atualizações de entropia cruzada aumentam a massa de probabilidade em "bacias de evidência próximas do ideal" definidas por partições de blocos semânticos, melhorando a probabilidade de recuperação em relação à busca aleatória.

3. Principais Contribuições

1. Reenquadramento do Problema: Os autores formulam a máscara de evidência compacta top-k como um contrato de saída primário para atribuição visual fiel, distinto, mas compatível, com a avaliação de ordenação total.
2. COPAIR: Um inicializador baseado em princípios derivado do diagnóstico da lacuna PhaseWin–Greedy, utilizando agrupamento espacial grosseiro e enumeração pareada para aquecer buscas de ordenação total.
3. TRACE: Um novo método de busca por entropia cruzada que otimiza diretamente máscaras de regiões finas de tamanho fixo, capaz de operar como uma ferramenta de atribuição autônoma ou como um inicializador.
4. Desempenho de Estado da Arte: Os métodos estabelecem novas fronteiras para a atribuição visual fiel sob contabilidade de chamadas de ida inclusivas em tarefas de classificação de imagem e MLLM.

4. Resultados Experimentais

Classificação de Imagem (ImageNet)

Avaliado em CLIP ViT-L/14, CLIP RN101 e ResNet-101 usando 64 regiões SLICO:

• Ordenação Total: Métodos de busca inicializados (TRACE+Greedy, COPAIR+Greedy) superam consistentemente o Greedy puro e o PhaseWin em AUC de inserção e métricas de pontuação alta nos divisões Correct, Cause e Repair.
• Eficiência: O TRACE+Greedy alcança esses ganhos com chamadas de avaliação de modelo (MEC) menores ou comparáveis ao Greedy puro, demonstrando que uma melhor inicialização reduz o custo da busca de continuação.
• Sensibilidade do Backbone: No CLIP RN101, o COPAIR+Greedy mostrou ligeiras vantagens em algumas métricas, sugerindo que o pareamento grosseiro é valioso para backbones convolucionais, enquanto o TRACE+Greedy se destacou no ResNet-101 e ViT.

Atribuição e Reparo de MLLM (POPE e RePOPE)

Avaliado em Qwen2.5-VL-3B-Instruct e LLaVA-v1.5-7B:

• Atribuição: O TRACE+Greedy alcançou a maior fidelidade de inserção (Ins) e as maiores pontuações de pico (High) entre os métodos de busca tanto no POPE (fidelidade de decisão) quanto no RePOPE (recuperação orientada ao reparo).
• Reparo Direto (Ponto Único): No cenário de reparo RePOPE, onde uma intervenção de máscara única é aplicada para corrigir uma alucinação:
  • O TRACE Direct reparou 94,44% dos casos do Qwen e 96,00% dos casos do LLaVA.
  • Isso superou significativamente as linhas de base de curva total (LLaVA-CAM, IGOS++) e o COPAIR Direct, validando que máscaras de evidência compactas podem ser saídas acionáveis em vez de apenas prefixos de classificações.

5. Significância e Alegações

O artigo afirma que uma boa inicialização é suficiente para expandir a fronteira da atribuição fiel, mas, mais importante, que a busca direta por máscaras compactas é uma estratégia viável e superior para tarefas específicas de downstream, como o reparo de MLLM.

• Mudança de Paradigma: O trabalho desloca o foco da geração de curvas de inserção completas para a identificação de conjuntos de evidência compactos e acionáveis.
• Acionabilidade: Os resultados demonstram que uma única máscara bem escolhida (TRACE Direct) pode reparar alucinações de forma mais eficaz do que métodos que exigem a avaliação de curvas completas, tornando a atribuição mais prática para o debug de MLLMs no mundo real.
• Agnosticismo de Modelo: Tanto o COPAIR quanto o TRACE são agnósticos ao modelo, dependendo apenas de passagens de ida, o que os torna aplicáveis a modelos de fundação de caixa-preta onde gradientes não estão disponíveis ou são pouco confiáveis.
• Modéstia: Os autores reconhecem limitações, incluindo o overhead de inicialização para $n$ muito pequeno, a variância estocástica na amostragem do TRACE e o requisito de pré-seleção do tamanho da máscara $k$. Eles não afirmam resolver o ótimo global para todas as máscias possíveis, mas sim fornecer um procedimento de busca orçado que concentra amostras em bacias de evidência de alto valor.