UNBOX: Unveiling Black-box visual models with Natural-language

Resumen Técnico: UNBOX

1. El Problema: La Opacidad de los Modelos Visuales Modernos

El reconocimiento visual en el mundo real depende cada vez más de modelos propietarios de gran escala ofrecidos exclusivamente a través de APIs de inferencia. En este escenario de "caja negra" estricta:

• Los usuarios solo tienen acceso a las probabilidades de salida (confianza de la clase).
• No hay acceso a la arquitectura, parámetros, pesos, gradientes, activaciones internas ni datos de entrenamiento.
• Esta opacidad impide la auditoría significativa, la detección de sesgos y el análisis de fallos, ya que los métodos de explicación existentes (como los basados en gradientes, mapas de saliencia o descomposición de neuronas) requieren acceso interno o conocimiento de la distribución de entrenamiento.

El desafío central es: ¿Puede descubrirse el razonamiento de un clasificador visual cuando solo se dispone de sus probabilidades de salida, sin acceso a su interior?

2. Metodología: UNBOX

UNBOX es un marco de trabajo para la disección de modelos a nivel de clase que opera bajo restricciones totalmente libres de datos, gradientes y retropropagación. Su enfoque principal es reformular la maximización de activación (típicamente un problema de optimización en el espacio de características) como un problema de búsqueda semántica en el espacio del texto.

El sistema se compone de los siguientes elementos clave:

• Optimización Semántica en Espacio de Texto:

  • En lugar de ajustar pesos, UNBOX itera sobre descriptores de lenguaje natural (prompts).
  • Un modelo de difusión de texto a imagen (ej. FLUX) genera una imagen sintética a partir del prompt actual.
  • Esta imagen se envía al clasificador de caja negra para obtener la probabilidad de la clase objetivo.
  • Este valor escalar es la única señal de retroalimentación disponible.

• Mecanismo de Guía Semántica (Tendencia e Intensidad):

  • Para transformar la probabilidad escalar en una instrucción de actualización, UNBOX calcula dos métricas:
    1. Tendencia ($T_t$): Compara la puntuación actual con un promedio móvil exponencial para determinar si el prompt está mejorando, empeorando o estancándose.
    2. Intensidad ($I_t$): Mide qué tan lejos está la puntuación de un umbral alto, determinando la magnitud del cambio necesario (modificaciones gruesas vs. refinamientos finos).
  • Estas métricas se discretizan en estados semánticos (ej. "arriba", "abajo", "fuerte", "micro") que se convierten en instrucciones de texto.

• Agentes LLM Cooperativos:

  • Agente de Retroalimentación ($A_f$): Recibe el prompt actual, la señal semántica y el contexto, y genera una crítica estructurada sobre cómo modificar el descriptor.
  • Agente Actualizador ($A_u$): Aplica la crítica para generar el siguiente prompt refinado, asegurando fluidez lingüística y preservación del sujeto.

• Contexto de Optimización (Global y Local):

  • Contexto Global: Mantiene un registro de los prompts con mayor puntuación y sus unidades léxicas atómicas más efectivas ($D_{best}$). Esto evita que el algoritmo olvide conceptos clave descubiertos anteriormente y captura la naturaleza multifacética de una clase.
  • Contexto Local: Almacena las interacciones recientes (prompt-crítica) para evitar oscilaciones a corto plazo y guiar la trayectoria de búsqueda.

3. Contribuciones Clave

1. Marco de Disección Global sin Datos ni Gradientes: Es el primer método capaz de realizar una disección global de modelos visuales utilizando únicamente las probabilidades de salida, sin necesidad de datos de entrenamiento, pesos o acceso a la arquitectura.
2. Mecanismo de Optimización Textual Principista: Introduce un bucle de refinamiento iterativo guiado por LLMs que utiliza señales de tendencia e intensidad para navegar el espacio semántico, reemplazando la optimización basada en gradientes.
3. Validación Exhaustiva: Demuestra que es posible recuperar conceptos semánticos coherentes, alineados con la distribución de entrenamiento y útiles para la auditoría de sesgos, incluso en el escenario más restrictivo de caja negra.
4. Descubrimiento de Sesgos (Slice Discovery): Muestra que los descriptores recuperados pueden utilizarse para identificar correlaciones espurias y realizar debiasing (reducción de sesgos) en benchmarks estándar.

4. Resultados Experimentales

El método se evaluó en ImageNet-1K, Waterbirds y CelebA, comparándose con métodos de caja blanca (CLIPDissect, WWW) y gris (DEXTER).

• Fidelidad Semántica: UNBOX logró recuperar descriptores que coinciden significativamente con las etiquetas de clase reales (ImageNet). En modelos ViT, superó a los métodos de caja blanca, obteniendo una puntuación de 0.49 frente a 0.27 de CLIPDissect, demostrando una mayor generalización arquitectónica.
• Recuperación de Semántica Latente: Los descriptores encontrados reflejaron fielmente la distribución de datos de entrenamiento y las señales visuales que el modelo utiliza realmente, no solo conceptos plausibles.
• Descubrimiento de Sesgos y Debiasing:
  • En Waterbirds (correlación espuria entre pájaro y fondo), UNBOX identificó correctamente los atributos de fondo ("tierra" vs. "agua").
  • Al utilizar estos descriptores para reentrenar un clasificador con Optimización Robusta Distribucional (DRO), UNBOX alcanzó una precisión del grupo más desfavorado (worst-group accuracy) del 88.6%, compitiendo con métodos que requieren acceso total a los datos y pesos (como DRO con etiquetas de grupo óptimas).
  • En CelebA, alcanzó un 90.01%, igualando el rendimiento de la solución óptima (Oracle DRO).
• Ablación: Se demostró que tanto el contexto de optimización global como el estado de intensidad son esenciales; sin ellos, el rendimiento cae drásticamente y la convergencia se vuelve inestable.

5. Significado e Impacto

UNBOX representa un cambio de paradigma en la interpretabilidad de IA:

• Democratización de la Auditoría: Permite auditar, detectar sesgos y entender el razonamiento de modelos visuales propietarios (APIs) sin necesidad de acceso interno, algo crucial para la regulación y la confianza en la IA en entornos de producción.
• Independencia Arquitectónica: Al no depender de gradientes o estructuras internas, el método es aplicable a cualquier clasificador visual, independientemente de si es una CNN (ResNet) o un Transformador (ViT).
• Transparencia sin Datos: Demuestra que se puede inferir la lógica interna de un modelo y sus sesgos sistémicos utilizando únicamente su comportamiento de inferencia, abriendo nuevas vías para el análisis de modelos "caja negra" en un mundo donde la mayoría de los sistemas de visión por computadora son servicios cerrados.

En conclusión, UNBOX prueba que la disección de modelos significativa es posible sin acceso interno, utilizando la optimización semántica guiada por lenguaje natural como un lente universal para inspeccionar el razonamiento de los modelos visuales modernos.