Evian: Towards Explainable Visual Instruction-tuning Data Auditing

1. Problema y Motivación

Los Modelos de Lenguaje y Visión Grandes (LVLMs) dependen críticamente de la calidad de sus datos de entrenamiento para alinear la percepción visual con la comprensión del lenguaje. Sin embargo, los conjuntos de datos actuales y los métodos de filtrado existentes presentan limitaciones severas:

• Calidad inconsistente: Los datos sintetizados a gran escala a menudo introducen ruido.
• Filtrado grosero: Los métodos actuales (como los puntajes de similitud CLIP o modelos "LLM-as-a-Judge" monolíticos) dependen de puntuaciones unidimensionales y opacas. Estos enfoques carecen de la granularidad necesaria para detectar defectos semánticos sutiles, como falacias lógicas, errores factuales o inconsistencias visuales específicas.
• Cuello de botella: Esta falta de auditoría fina limita el desarrollo de modelos más fiables, ya que los errores sutiles en los datos de instrucción se propagan a los modelos finales, causando alucinaciones y razonamiento deficiente.

2. Metodología: El Framework EVIAN

Para abordar esto, los autores proponen EVIAN (Explainable Visual Instruction-tuning Data AuditiNg), un pipeline automatizado e interpretable basado en un nuevo paradigma: "Descomposición-luego-Evaluación".

El proceso se divide en dos fases principales:

Fase 1: Descomposición de la Respuesta (Chain-of-Thought)

En lugar de evaluar la respuesta completa como un bloque indivisible, EVIAN utiliza un modelo de lenguaje grande (Qwen3-235B) para descomponer la respuesta generada en componentes cognitivos verificables mediante un proceso de tres pasos:

1. Etiquetado Semántico: Se identifican y envuelven las juicios subjetivos en etiquetas <INFER> y las afirmaciones de conocimiento externo en <KNOW>. El texto sin etiquetas se trata como descripción visual pura.
2. Destilación Visual: Se transforma la respuesta para eliminar o neutralizar los segmentos inferidos y de conocimiento, dejando solo una descripción objetiva y verificable basada en la imagen (R_visual).
3. Síntesis Fluida: Se reorganiza el contenido visual puro en un párrafo coherente sin añadir nueva información.

Fase 2: Evaluación Multifacética

Una vez descompuestos los datos, se evalúan a lo largo de tres ejes ortogonales utilizando un auditor automatizado (Qwen2.5-VL-7B) con rúbricas detalladas:

1. Coherencia Lógica ($S_L$): Evalúa si las inferencias (<INFER>) siguen lógicamente de la evidencia visual. Penaliza la especulación infundada.
2. Precisión Factual ($S_K$): Verifica las afirmaciones de conocimiento (<KNOW>) contra hechos externos. Penaliza errores factuales graves.
3. Consistencia Imagen-Texto ($S_V$): Evalúa la fidelidad de la descripción visual purificada (R_visual) con la imagen. Prioriza la consistencia sobre la completitud (las omisiones son aceptables, pero las contradicciones no).

Finalmente, los tres puntajes se agregan (con pesos ajustables) para obtener una puntuación global que guía la selección de datos.

3. Contribuciones Clave

El artículo presenta tres contribuciones fundamentales:

1. Benchmark de 300K muestras: Se construyó un conjunto de datos masivo inyectando sistemáticamente defectos sutiles y diversos (falacias lógicas, errores factuales, inconsistencias visuales) para crear un entorno de prueba desafiante que simula errores del mundo real.
2. Paradigma "Descomposición-luego-Evaluación": Un marco teórico y práctico que transforma la auditoría de respuestas complejas en sub-tareas verificables, permitiendo diagnósticos granulares en lugar de puntuaciones globales opacas.
3. Implementación de EVIAN: Un framework completo que demuestra que la curación de datos interpretables y de alta calidad supera a la simple escala de datos.

4. Resultados Experimentales

Los experimentos validan la eficacia de EVIAN en varios frentes:

• Superioridad sobre Baselines: Un modelo (Qwen2-VL-2B) fine-tuneado con un subconjunto de 10K muestras curadas por EVIAN superó consistentemente a modelos entrenados en conjuntos de datos mucho más grandes (300K sin filtrar) y a otros métodos de selección de datos (como CLIPScore, BLIP-2, SCALE y evaluaciones directas de LLM).
  • Puntuación promedio: EVIAN alcanzó 70.20, superando a SCALE (67.41) y al conjunto completo de datos (63.77).
• Discriminación de Defectos: EVIAN logró separar claramente las muestras limpias de las inyectadas con defectos (AUC de 0.86), detectando no solo inconsistencias obvias sino también errores lógicos y factuales sutiles.
• Importancia de la Coherencia Lógica: Los experimentos de ablación revelaron que la Coherencia Lógica ($S_L$) es el factor más crítico. Eliminar este componente provocó un colapso en el rendimiento (de 70.20 a 57.27), indicando que la precisión visual y factual sin lógica coherente es insuficiente para tareas de razonamiento complejo.
• Generalización: Los resultados se mantuvieron al probar con una arquitectura diferente (InternVL2-2B), demostrando que la calidad de los datos identificada por EVIAN es agnóstica a la arquitectura del modelo.

5. Significado e Impacto

Este trabajo desafía el paradigma actual centrado en la "escala" (más datos = mejor modelo) en favor de la "calidad interpretable".

• Menos es más: Demuestra que un conjunto de datos pequeño pero rigurosamente auditado puede superar a conjuntos masivos y ruidosos.
• Auditoría Estructurada: Establece que dividir la auditoría en componentes verificables (visual, lógico, factual) es esencial para curar datos robustos.
• Dirección Futura: Sugiere que el avance de los LVLMs dependerá menos de aumentar el volumen de datos y más de desarrollar mecanismos de auditoría fina que garanticen la fidelidad visual, la precisión factual y, sobre todo, la integridad lógica.

En resumen, EVIAN proporciona una herramienta fundamental para la próxima generación de modelos de visión-lenguaje, priorizando la fiabilidad y el razonamiento correcto sobre la mera cantidad de datos de entrenamiento.