Resumo Técnico: Alinhamento de Modelos Visuais Específicos de Tarefa com Auxílio de LVLM

Declaração do Problema

Em domínios de alto risco, como medicina e manufatura, modelos visuais específicos de tarefa, pequenos, são frequentemente preferidos em relação aos Modelos Visuais e Linguísticos de Grande Escala (LVLMs) devido às suas menores exigências computacionais e métodos de explicabilidade estabelecidos. No entanto, esses modelos frequentemente falham em alinhar-se com o conhecimento de domínio humano. Em vez de aprender características centrais robustas, eles frequentemente dependem de correlações espúrias (atalhos) presentes nos dados de treinamento. Embora técnicas de IA Explicável (XAI) possam identificar esses atalhos, a interpretação dos mapas de calor resultantes é difícil para especialistas de domínio. Além disso, os métodos existentes para corrigir esses modelos geralmente exigem feedback granular, por instância (por exemplo, máscaras em nível de pixel) de especialistas, o que é proibitivamente demorado para profissionais especializados, como médicos.

Metodologia: Alinhamento Visual com Auxílio de LVLM (LVLM-VA)

Os autores propõem o LVLM-VA, uma abordagem inovadora em duas etapas que aproveita as capacidades de generalização de um LVLM para atuar como um tradutor bidirecional entre o conhecimento de domínio humano e o comportamento do modelo. O método alinha modelos visuais pequenos com especificações humanas sem exigir anotações granulares.

1. Detecção de Correlações Espúrias

O processo começa identificando amostras de treinamento onde o modelo depende de atalhos.

• Estratégia de Amostragem: Em vez de processar todo o conjunto de dados, o método emprega uma estratégia de amostragem não supervisionada baseada em entropia de saída. Os autores hipotetizam que os modelos aprendem atalhos mais facilmente do que características robustas, resultando em menor entropia de saída em amostras dependentes de atalhos. O conjunto de dados de alinhamento ($D_{align}$) consiste nas $N$ amostras com a menor entropia.
• PPEPS-WGM (Segmentação Probabilística de Efeito Preditivo Positivo via Misturas Gaussianas Ponderadas): Para facilitar a análise do LVLM, o método gera mapas de explicação (usando DeepLIFT-SHAP) e aplica uma técnica de segmentação personalizada. Diferentemente da segmentação padrão (por exemplo, SAM), que segue os limites dos objetos, o PPEPS-WGM agrupa regiões com base em seu efeito preditivo positivo. Ele ajusta uma mistura gaussiana ponderada à distribuição de atribuição positiva, direcionando a segmentação para as regiões que mais influenciam a previsão do modelo, independentemente dos limites dos objetos.
• Par Crítico e Juiz:
  • O Crítico (LVLM): Recebe a imagem original, o rótulo de verdade fundamental, uma especificação humana em nível de classe ($V_k$) e o mapa de segmentação PPEPS-WGM. Usando um prompt de Cadeia de Pensamento, o Crítico analisa se agrupamentos específicos correspondem a características centrais relevantes ou atalhos espúrios (por exemplo, etiquetas de hospital ou bandagens coloridas).
  • O Juiz (LLM): Toma o raciocínio livre do Crítico e mapeia-o para um veredito binário ($R_j$) para cada agrupamento, determinando se é espúrio. Esta etapa padroniza a saída para treinamento automatizado.

2. Alinhamento Visual

Uma vez que os agrupamentos espúrios são identificados, o método corrige o modelo usando a função de perda Certo pelas Razões Certas (RRR).

• Máscaras de Correção: Os vereditos binários do Juiz são automaticamente traduzidos em máscaras de correção por instância ($A$). Pixels pertencentes a agrupamentos considerados espúrios são mascarados.
• Treinamento: O modelo original é ajustado finamente usando uma combinação de perda de entropia cruzada padrão e a perda RRR. A perda RRR penaliza gradientes em regiões identificadas como espúrias, forçando o modelo a depender de características relevantes.
• Eficiência: Este processo elimina a necessidade de geração manual de máscaras por instância, exigindo apenas descrições de classe de alto nível de especialistas humanos.

Principais Contribuições

1. Estrutura LVLM-VA: Uma abordagem inovadora para alinhar modelos visuais pequenos com conhecimento de domínio humano, traduzindo especificações humanas em nível de classe em correções por instância via um LVLM.
2. PPEPS-WGM: Um método de segmentação projetado especificamente para suportar a detecção de características espúrias, agrupando com base no efeito preditivo positivo em vez de limites de objetos visuais.
3. Redução do Esforço Humano: O método demonstra que um alinhamento eficaz pode ser alcançado sem feedback granular, confiando em vez disso em descrições de classe escaláveis.

Resultados Experimentais

Os autores avaliaram o LVLM-VA em três conjuntos de dados: um conjunto de dados sintético DecoyMNIST e dois conjuntos de dados médicos do mundo real (lesões cutâneas ISIC e radiografias de osteoartrite do joelho).

• Cenário Sintético (DecoyMNIST): O método deslocou com sucesso a atenção do modelo de iscas espúrias artificiais (manchas cinzas) para os dígitos reais. A métrica de alinhamento mostrou que a massa de atribuição do modelo moveu-se significativamente em direção a características relevantes, aproximando-se do desempenho de modelos treinados com máscaras de verdade fundamental por instância.
• Conjuntos de Dados Médicos:
  • Lesões Cutâneas: O modelo aprendeu a ignorar bandagens coloridas (características espúrias) que estavam correlacionadas com malignidade no conjunto de treinamento, mas não no conjunto de teste.
  • Radiografias de Joelho: O modelo aprendeu a ignorar etiquetas de hospital (marcadores L/R) que estavam correlacionados com condições específicas do joelho nos dados de treinamento.
• Métricas de Desempenho: Em ambos os conjuntos de dados médicos, o LVLM-VA melhorou significativamente a Precisão do Grupo Mais Pior (WGA) — uma métrica padrão para robustez contra correlações espúrias —, mantendo ou melhorando ligeiramente a Precisão Média do Grupo (AGA).
• Comparações: O LVLM-VA superou métodos de base não centrados no humano, como Subamostragem de Grupos (SUBG), Reponderação de Características Profundas (DFR) e Apenas Treinar Duas Vezes (JTT). Embora o SUBG tenha melhorado a WGA, ele degradou severamente a precisão geral. O LVLM-VA foi o único método a melhorar a WGA sem sacrificar o desempenho geral.
• Estudo com Usuários: Um estudo com 18 especialistas de domínio mostrou uma taxa de concordância de 88% com a identificação de agrupamentos espúrios pelo LVLM e 87% de concordância com o raciocínio do LVLM, validando o alinhamento do método com as expectativas humanas.

Significado e Alegações

O artigo afirma que o LVLM-VA fornece uma interface sinérgica entre IA generativa (LVLMs) e modelos discriminativos específicos de tarefa. Ao traduzir o conhecimento de domínio humano em linguagem natural e, em seguida, em críticas em nível de instância, o método permite que especialistas orientem os modelos de forma eficaz, sem o custo proibitivo de anotação em nível de pixel.

Os autores enfatizam que essa abordagem aborda o "comportamento frágil" de modelos implantados no mundo real, reduzindo a dependência de características espúrias e vieses específicos de grupo. Eles posicionam o LVLM-VA como uma solução prática para domínios de alto risco, onde a interpretabilidade e a confiança são primordiais, oferecendo uma alternativa escalável aos métodos atuais que dependem de feedback manual extensivo ou balanceamento de grupos puramente estatístico. O método mostrou-se adaptável a diferentes LVLMs (incluindo modelos de código aberto) e robusto a variações em hiperparâmetros, como o número de agrupamentos.