Vision Verification Enhanced Fusion of VLMs for Efficient Visual Reasoning

Resumen Técnico: V3Fusion

1. Planteamiento del Problema

Los Modelos de Lenguaje y Visión (VLMs) modernos han demostrado capacidades notables en tareas de razonamiento visual y respuesta a preguntas visuales (VQA). Sin embargo, existen desafíos críticos:

• Heterogeneidad de Capacidades: Los VLMs tienen fortalezas y debilidades diversas dependiendo de su arquitectura, conjunto de datos de entrenamiento y tamaño. Un modelo puede ser excelente extrayendo información visual pero fallar en el razonamiento lógico, o viceversa.
• Alucinaciones e Incertidumbre: Los VLMs a menudo generan respuestas incorrectas (alucinaciones) o fallan en detectar objetos, incluso cuando la información está presente.
• Limitaciones de los Ensamblajes Actuales: Los métodos existentes de ensamblaje (como la votación mayoritaria o la creación de entornos de debate) suelen centrarse únicamente en la salida de texto, ignorando la diversidad en la comprensión visual. Además, muchos métodos dependen de prompts costosos, requieren un LLM externo para la evaluación o no escalan eficientemente al combinar múltiples modelos.
• Selección de Modelos: Seleccionar la mejor combinación de modelos de un gran grupo candidato es un problema de complejidad exponencial ($2^N$), y las métricas de diversidad tradicionales a menudo no capturan la complementariedad real en el error.

2. Metodología Propuesta: V3Fusion

El autores presentan V3Fusion, un marco de fusión de VLMs optimizado para la diversidad visual y lingüística. El enfoque consta de cinco componentes principales:

A. Métricas de Diversidad Focal (Focal Diversity)
Para seleccionar y evaluar modelos, se introducen dos métricas clave basadas en la diversidad de errores y la comprensión visual:

1. Focal-CKA (Central Kernel Alignment): Mide la similitud promedio entre las incrustaciones visuales (embeddings) de los encodadores visuales de los modelos. Utiliza CKA para comparar la estructura interna de los espacios de incrustación de diferentes modelos, incluso si tienen dimensiones o arquitecturas distintas. Un valor bajo de similitud (alta diversidad) indica que los modelos "ven" la imagen de manera diferente, lo cual es deseable para un ensamblaje.
2. Diversidad de Error Focal ($\lambda^{focal}_{error}$): Cuantifica la diversidad de errores entre los modelos. Se calcula analizando los episodios donde un modelo "focal" falla y midiendo la correlación negativa con los errores de los otros modelos en el conjunto. El objetivo es maximizar la probabilidad de que, si un modelo falla, otro en el conjunto tenga éxito.

B. Poda de Ensamblaje con Algoritmo Genético
Dado que el número de combinaciones posibles crece exponencialmente, el método utiliza un Algoritmo Genético (GA) para buscar eficientemente el sub-ensamblaje óptimo.

• Función de Aptitud: Combina las puntuaciones de Focal-CKA y Diversidad de Error Focal.
• Eficiencia: Reduce drásticamente el tiempo de búsqueda (hasta un 99.66% de reducción en latencia comparado con la fuerza bruta) identificando el "punto óptimo" en la superficie de rendimiento del ensamblaje.

C. Mecanismos de Fusión (Action)
Dependiendo del tipo de tarea, se utilizan dos estrategias de fusión distintas:

1. V3Fusion-MLP (Para Preguntas de Opción Múltiple - MCQ):
   • Utiliza una red neuronal de múltiples capas (MLP) que toma las distribuciones de probabilidad de las opciones asignadas por cada modelo candidato.
   • Aprende a detectar patrones en los logits de los modelos para corregir errores, incluso cuando la mayoría de los modelos votan incorrectamente.
2. V3Fusion-LED (Para Preguntas Abiertas - OEQ):
   • Utiliza un modelo Longformer Encoder-Decoder (LED) de secuencia a secuencia.
   • Concatena las salidas de texto de los modelos base junto con la consulta original.
   • Aprende a sintetizar y generar una respuesta final coherente, aprovechando la sabiduría complementaria de los modelos base.

D. Verificación y Rectificación (Uncertainty & Verification)
El sistema implementa un mecanismo de rechazo y corrección basado en la incertidumbre epistémica:

• Calcula la incertidumbre del sistema utilizando la entropía de los logits de los modelos.
• Utiliza una selección de umbral adaptativo (basada en pruebas de razón de verosimilitud y modelos de mezcla gaussiana) para distinguir entre muestras seguras e inciertas.
• Si la incertidumbre supera el umbral, la muestra se rechaza y se "rectifica" promediando los logits de todos los modelos base para generar una respuesta más robusta, sin necesidad de intervención externa.

3. Contribuciones Clave

1. Métricas de Diversidad Híbridas: Introducción de Focal-CKA y Focal-Diversity para capturar tanto la diversidad en la percepción visual (embeddings) como en la salida lingüística, superando las métricas de correlación de error tradicionales.
2. Poda Eficiente: Desarrollo de un algoritmo de poda basado en diversidad que selecciona sub-ensamblajes óptimos de un grupo grande de modelos, mejorando el rendimiento y reduciendo la redundancia computacional.
3. Arquitectura de Fusión Especializada: Creación de modelos de fusión específicos (MLP para clasificación, LED para generación) que aprenden a combinar la información de modelos heterogéneos.
4. Sistema Autónomo de Verificación: Un mecanismo de rechazo y rectificación basado en la incertidumbre epistémica que mitiga las alucinaciones sin depender de LLMs externos costosos.

4. Resultados Experimentales

El método se evaluó en cuatro benchmarks populares: A-OKVQA, MMMU, MMMU-Pro y OCR-VQA.

• Rendimiento Superior:
  • En MMMU, V3Fusion superó al mejor VLM individual (Qwen2.5-VL-7b) en un 8.09% de precisión.
  • En MMMU-Pro, logró una mejora del 4.87%.
  • En tareas generativas (A-OKVQA y OCR-VQA), superó a los modelos de punta Intern-VL2-8b y Qwen2.5-VL-7b.
• Robustez: El sistema es capaz de producir predicciones correctas incluso cuando la mayoría de los modelos base fallan o no hay consenso (casos donde la votación mayoritaria fallaría).
• Eficiencia:
  • Logra un rendimiento superior con un tiempo de inferencia razonable (ej. 768ms vs 551ms para un modelo individual de alto rendimiento, pero con una ganancia de precisión significativa).
  • La fase de poda reduce el tiempo de búsqueda de combinaciones óptimas en órdenes de magnitud.
• Comparación con Baselines: Supera a métodos de routing (RouteLLM), debate multi-agente (MAD) y fusión supervisada (LLM-Blender), tanto en precisión como en costo de inferencia.

5. Significado e Impacto

El trabajo V3Fusion representa un avance significativo en el campo del razonamiento visual multimodal al demostrar que:

• La diversidad visual es tan crucial como la diversidad lingüística para construir sistemas robustos.
• Es posible crear un sistema de ensamblaje auto-sostenido que detecte y corrija sus propias alucinaciones mediante el análisis de la incertidumbre epistémica, sin depender de modelos externos o anotaciones humanas adicionales.
• La combinación inteligente de modelos heterogéneos (diferentes arquitecturas y tamaños) puede superar a los modelos individuales más grandes y costosos, ofreciendo una vía más eficiente para alcanzar capacidades de AGI (Inteligencia Artificial General) en tareas visuales complejas.

En resumen, V3Fusion establece un nuevo estándar para la fusión de VLMs, priorizando la complementariedad visual y la gestión de la incertidumbre para lograr un razonamiento visual más preciso y fiable.