Resumen Técnico: Una buena inicialización es todo lo que necesitas para una atribución visual fiel

1. Formulación del Problema

La atribución visual fiel busca identificar qué regiones de la imagen apoyan causalmente la predicción de un modelo. Mientras que los benchmarks tradicionales suelen asumir un "contrato de orden completo" —que requiere que un método clasifique todas las regiones de la imagen para generar curvas de inserción y eliminación—, muchas aplicaciones prácticas, particularmente en Modelos de Lenguaje de Gran Escala Multimodales (MLLM) para la atribución y reparación de alucinaciones, solo requieren una máscara de evidencia top-k compacta.

El artículo identifica una brecha en los métodos de búsqueda existentes:

• Búsqueda Voraz (Greedy Search): Aunque es efectiva, requiere $O(n^2)$ pasadas hacia adelante y a menudo queda atrapada en óptimos locales, perdiendo combinaciones de regiones de alto valor que solo emergen mediante la interacción.
• Agrupación Gruesa (Coarse Grouping): Métodos como PhaseWin reducen el costo particionando regiones, pero pueden agregar contenido redundante o perder interacciones finas.
• Puntuación de un Solo Paso (One-Step Scoring): La puntuación independiente de regiones no logra capturar interacciones donde la evidencia solo es valiosa en combinación.

El desafío central es encontrar un conjunto disperso y de alto valor de exactamente $k$ regiones finas bajo un presupuesto de evaluación de solo ida (forward-only) de caja negra, sin necesidad de generar un ranking completo de todas las regiones.

2. Metodología

El artículo introduce dos métodos de solo ida diseñados para abordar el problema de la atribución de "primero la máscara": COPAIR y TRACE.

COPAIR: Inicializador de Atribución de Pares Gruesos con Liberación

COPAIR es un inicializador determinista derivado del análisis de la brecha entre PhaseWin y la búsqueda voraz. Opera bajo la hipótesis de que la calidad de la evidencia temprana es un problema de granularidad; las regiones finas pueden fragmentar la evidencia que es más estable a una escala más gruesa.

• Mecanismo: Agrupa regiones finas en grupos espaciales gruesos. Evalúa todos los singulares gruesos y busca exhaustivamente los mejores pares gruesos dentro de un pool de suficiencia elevada.
• Lógica de Selección: Selecciona un candidato inicial ($C_0$) basado en un margen de ganancia de par ($\delta$) y un umbral de suficiencia ($\tau$). Si un solo grupo grueso es suficiente, se selecciona; de lo contrario, se elige el mejor par. Si la puntuación sigue siendo baja, absorbe un grupo adicional.
• Salida: El candidato grueso seleccionado se ordena internamente y se libera parcialmente (manteniendo el 80% de la puntuación) para servir como un prefijo de arranque en caliente para la continuación de la búsqueda de Greedy o PhaseWin.
• Limitación: COPAIR no es una solución directa para el problema de la máscara de regiones finas de cardinalidad fija, ya que los grupos gruesos pueden fusionar partes de objetos y fragmentos de fondo, fallando en proporcionar una explicación mínima y compacta.

TRACE: Atribución de Regiones Top-k mediante Entropía Cruzada

TRACE apunta directamente al problema de la máscara de regiones finas de cardinalidad fija, evitando la necesidad de un ordenamiento completo.

• Mecanismo: Adapta el método de entropía cruzada al espacio discreto $k$-hot. Mantiene logits $\theta$ sobre todas las regiones finas y muestrea máscaras candidatas usando perturbación Gumbel-top-k.
• Bucle de Optimización:
  1. Muestreo: Genera $M$ máscaras candidatas de tamaño $k$ por ronda.
  2. Evaluación: Puntuación de las máscaras usando la respuesta del modelo (suficiencia o proxy combinado de suficiencia-necesidad).
  3. Retención de Élite: Mantiene la fracción superior $\rho_e$ de las muestras (conjunto de élite).
  4. Actualización de la Distribución: Estima la frecuencia de inclusión empírica de las regiones en el conjunto de élite. Suaviza esta frecuencia y actualiza los logits $\theta$ para aumentar la masa de probabilidad en las regiones que aparecen en las máscaras de alta puntuación.
• Salidas:
  • Modo Directo: Devuelve la mejor máscara observada $S^*$ directamente como la salida de atribución.
  • Modo de Inicialización: Utiliza $S^*$ como semilla para inicializar Greedy o PhaseWin para tareas que requieren un ranking completo.
• Garantía Teórica: El artículo proporciona un análisis de recuperación de presupuesto finito que muestra cómo las actualizaciones de entropía cruzada aumentan la masa de probabilidad en "cuencas de evidencia cercanas al óptimo" definidas por particiones de bloques semánticos, mejorando la probabilidad de recuperación sobre la búsqueda aleatoria.

3. Contribuciones Clave

1. Reencuadre del Problema: Los autores formulan la máscara de evidencia top-k compacta como un contrato de salida primario para la atribución visual fiel, distinto pero compatible con la evaluación de ordenamiento completo.
2. COPAIR: Un inicializador basado en principios derivado del diagnóstico de la brecha PhaseWin–Greedy, utilizando agrupación espacial gruesa y enumeración de pares para arrancar en caliente las búsquedas de ordenamiento completo.
3. TRACE: Un novedoso método de búsqueda de entropía cruzada que optimiza directamente máscaras de regiones finas de tamaño fijo, capaz de operar como una herramienta de atribución independiente o como un inicializador.
4. Rendimiento de Vanguardia: Los métodos establecen nuevas fronteras para la atribución visual fiel bajo una contabilidad de llamadas hacia adelante inclusiva a través de tareas de clasificación de imágenes y MLLM.

4. Resultados Experimentales

Clasificación de Imágenes (ImageNet)

Evaluado en CLIP ViT-L/14, CLIP RN101 y ResNet-101 usando regiones SLICO-64:

• Ordenamiento Completo: Los métodos de búsqueda inicializados (TRACE+Greedy, COPAIR+Greedy) superan consistentemente a Greedy puro y PhaseWin en AUC de inserción y métricas de puntuación alta en los divisiones de Correcto, Causa y Reparación.
• Eficiencia: TRACE+Greedy logra estas ganancias con un número de Llamadas de Evaluación del Modelo (MEC) menor o comparable al de Greedy puro, demostando que una mejor inicialización reduce el costo de la búsqueda de continuación.
• Sensibilidad del Backbone: En CLIP RN101, COPAIR+Greedy mostró ligeras ventajas en algunas métricas, sugiriendo que el emparejamiento grueso es valioso para backbones convolucionales, mientras que TRACE+Greile excels en ResNet-101 y ViT.

Atribución y Reparación de MLLM (POPE y RePOPE)

Evaluado en Qwen2.5-VL-3B-Instruct y LLaVA-v1.5-7B:

• Atribución: TRACE+Greedy logró la mayor fidelidad de inserción (Ins) y las puntuaciones pico más altas (High) entre los métodos de búsqueda tanto en POPE (fidelidad de decisión) como en RePOPE (recuperación orientada a la reparación).
• Reparación Directa (Punto Único): En el entorno de reparación RePOPE, donde se aplica una intervención de máscara única para corregir una alucinación:
  • TRACE Direct reparó el 94.44% de los casos de Qwen y el 96.00% de los casos de LLaVA.
  • Esto superó significativamente a las líneas base de curva completa (LLaVA-CAM, IGOS++) y a COPAIR Direct, validando que las máscaras de evidencia compactas pueden ser salidas accionables en lugar de solo prefijos de rankings.

5. Significado y Reivindicaciones

El artículo afirma que una buena inicialización es suficiente para empujar la frontera de la atribución fiel, pero más importante aún, que la búsqueda directa de máscas compactas es una estrategia viable y superior para tareas específicas de downstream como la reparación de MLLM.

• Cambio de Paradigma: El trabajo desplaza el enfoque de generar curvas de inserción completas hacia la identificación de conjuntos de evidencia compactos y accionables.
• Accionabilidad: Los resultados demuestran que una sola máscara bien elegida (TRACE Direct) puede reparar alucinaciones de manera más efectiva que los métodos que requieren la evaluación de la curva completa, haciendo que la atribución sea más práctica para la depuración de MLLM en el mundo real.
• Agnosticismo del Modelo: Tanto COPAIR como TRACE son agnósticos al modelo, dependiendo solo de las pasadas hacia adelante, lo que los hace aplicables a modelos fundacionales de caja negra donde los gradientes no están disponibles o son poco fiables.
• Modestia: Los autores reconocen las limitaciones, incluyendo la sobrecarga de la inicialización para $n$ muy pequeños, la varianza estocástica en el muestreo de TRACE y el requisito de preseleccionar el tamaño de la máscara $k$. No pretenden resolver el óptimo global para todas las posibles máscas, sino proporcionar un procedimiento de búsqueda con presupuesto que concentra las muestras en cuencas de evidencia de alto valor.