Evian: Towards Explainable Visual Instruction-tuning Data Auditing

1. O Problema

Os Modelos de Linguagem Visuais Grandes (LVLMs) dependem criticamente da qualidade dos dados de treinamento para alinhar a percepção visual com a compreensão de linguagem. No entanto, os conjuntos de dados existentes e os métodos de filtragem atuais apresentam limitações graves:

• Qualidade Inconsistente: Dados sintetizados em larga escala frequentemente introduzem ruído, enquanto métodos de filtragem baseados em similaridade (como pontuações CLIP) são muito grosseiros.
• Falhas de Granularidade: As abordagens atuais não conseguem identificar nuances semânticas sutis, como falácias lógicas, erros factuais ou inconsistências entre imagem e texto, pois colapsam todos os tipos de erro em uma única pontuação opaca.
• Gargalo no Desenvolvimento: A falta de auditoria fina impede o desenvolvimento de modelos mais confiáveis, levando a problemas como alucinações de objetos, atribuição incorreta de atributos e raciocínio falho.

2. Metodologia: O Framework EVIAN

O artigo propõe o EVIAN (Explainable Visual Instruction-tuning Data AuditiNg), um pipeline automatizado e interpretável baseado em uma nova filosofia: "Decomposição-então-Avaliação". Em vez de tratar a resposta do modelo como um bloco indivisível, o EVIAN a decompõe em componentes cognitivos verificáveis.

O processo ocorre em duas fases principais:

Fase 1: Decomposição da Resposta (Chain-of-Thought)

Utilizando um modelo de linguagem grande (Qwen3-235B), a resposta bruta é analisada e decomposta em três etapas:

1. Marcação Semântica: O texto é parseado para isolar e marcar explicitamente:
   • Inferências Subjetivas: Julgamentos ou conclusões (marcadas com <INFER>).
   • Reivindicações Fáticas: Conhecimento externo ou fatos (marcados com <KNOW>).
   • Descrições Visuais Puras: O texto não marcado é tratado como descrição objetiva da imagem.
2. Destilação Visual: As partes marcadas são reescritas de forma neutra ou removidas se não forem verificáveis visualmente, criando um rascunho contendo apenas conteúdo fundamentado na imagem.
3. Síntese Fluente: O rascunho é reorganizado em um parágrafo coeso e puramente visual, sem adicionar novos conteúdos.

Fase 2: Avaliação Multifacetada

Um auditor automatizado (Qwen2.5-VL-7B) avalia os componentes decompostos ao longo de três eixos ortogonais, atribuindo pontuações de 1 a 5 e justificativas textuais:

• Consistência Imagem-Texto ($S_V$): Avalia a fidelidade da descrição visual purificada em relação à imagem. Penaliza contradições, mas aceita omissões.
• Coerência Lógica ($S_L$): Avalia se as inferências (<INFER>) seguem logicamente das evidências visuais. Penaliza especulações sem base e recompensa conclusões inegáveis.
• Precisão Factual ($S_K$): Verifica as reivindicações de conhecimento (<KNOW>) contra o conhecimento interno do auditor. Penaliza erros factuais graves.

A pontuação final é uma média ponderada desses três eixos, permitindo a seleção de dados de alta qualidade.

3. Contribuições Principais

1. Benchmark de 300K Amostras: Os autores construíram um conjunto de dados de referência massivo, injetando sistematicamente defeitos sutis e diversos (perceptivos, lógicos e factuais) em amostras limpas. Isso cria um "campo de testes" desafiador para validar a capacidade de auditoria fina.
2. Paradigma "Decomposição-então-Avaliação": Introduz uma nova abordagem que separa a descrição visual, a inferência e o fato, permitindo diagnósticos de erro direcionados em vez de pontuações holísticas.
3. Framework EVIAN: A implementação prática desse paradigma, que demonstra que a curadoria de dados interpretável supera a simples escala de dados.

4. Resultados Experimentais

Os experimentos foram conduzidos ajustando modelos (Qwen2-VL-2B) em subconjuntos de 10.000 amostras selecionados pelo EVIAN e comparando-os com baselines (amostragem aleatória, filtros de similaridade como CLIPScore/BLIP, e o método SCALE).

• Desempenho Superior: O modelo ajustado no subconjunto curado pelo EVIAN alcançou a melhor pontuação média (70.20), superando significativamente o modelo treinado no conjunto de dados completo de 300K não filtrado (63.77) e o estado da arte anterior (SCALE, 67.41).
• Princípio "Menos é Mais": Um pequeno conjunto de dados de alta qualidade, rigorosamente auditado, supera conjuntos de dados muito maiores e mais ruidosos.
• Importância da Coerência Lógica: A análise de ablação revelou que a Coerência Lógica ($S_L$) é o fator mais crítico. Remover a avaliação de coerência lógica causou uma queda drástica no desempenho (para 57.27), indicando que dados visualmente corretos e factualmente precisos, mas logicamente inconsistentes, prejudicam severamente o raciocínio do modelo.
• Generalização: Os benefícios do EVIAN foram validados em uma arquitetura diferente (InternVL2-2B), provando que a qualidade dos dados identificada não é um viés específico da arquitetura do auditor.

5. Significado e Conclusão

O trabalho desafia o paradigma atual centrado apenas na escala de dados para LVLMs. Ele demonstra que:

• A auditoria interpretável e de granularidade fina é essencial para o avanço dos modelos.
• Dividir a auditoria complexa em sub-tarefas verificáveis (visão, lógica, fato) permite uma curadoria robusta.
• A integridade lógica dos dados de treinamento é um determinante mais decisivo para o desempenho downstream do que a riqueza puramente informacional ou a escala bruta.

O EVIAN oferece um caminho para criar sistemas de visão-linguagem mais confiáveis, reduzindo alucinações e erros de raciocínio através da seleção inteligente de dados, em vez de apenas acumular mais dados.