Resumen Técnico: OCCAM – Explicación de Conceptos Causales de Conjunto Abierto e Inducción de Ontología para Modelos de Visión de Caja Negra

Declaración del Problema

Los clasificadores de imágenes profundas han alcanzado un rendimiento cercano al humano, sin embargo, sus procesos de toma de decisiones siguen siendo opacos, particularmente en entornos de caja negra donde los gradientes internos, las activaciones y los detalles arquitectónicos son inaccesibles (por ejemplo, sistemas desplegados y APIs de terceros). Los métodos de explicación existentes enfrentan dos limitaciones principales en este régimen:

1. Los métodos basados en atribución (por ejemplo, mapas de saliencia, LIME, SHAP) operan sobre unidades espaciales (píxeles/parches) en lugar de conceptos semánticos, produciendo mapas de relevancia continuos que carecen de estructura semántica explícita y requieren interpretación manual.
2. Los métodos basados en conceptos dependen típicamente de vocabularios predefinidos de conjunto cerrado o bancos de conceptos curados, lo que limita su capacidad para explicar entidades novedosas o de granularidad fina encontradas en escenarios de conjunto abierto del mundo real. Además, la mayoría de las técnicas operan localmente, explicando predicciones individuales sin proporcionar un mecanismo principiado para derivar conocimientos globales consistentes o descubrir sesgos sistemáticos del modelo.

Existe una necesidad crítica de marcos de explicación que sean simultáneamente de caja negra, de conjunto abierto y causales.

Metodología

OCCAM (Explicación de Conceptos Causales de Conjunto Abierto e Inducción de Ontología para Modelos de Visión de Caja Negra) reformula la interpretación del modelo como un proceso de poda interventional estructurada. El marco opera estrictamente bajo acceso solo de consultas, sin requerir pesos internos del modelo. Consiste en tres etapas principales:

1. Análisis Conceptual Intervencional Local

Para una imagen de entrada $x$ dada y un clasificador preentrenado $f$:

• Propuesta de Conceptos de Conjunto Abierto ($\Phi$): Un Modelo de Lenguaje Multimodal Grande (MLLM) propone un conjunto de conceptos semánticos específicos de la instancia $\{k_1, ..., k_N\}$ desde un universo abierto, en lugar de un vocabulario fijo.
• Anclaje de Conceptos ($\Psi$): Un modelo de segmentación condicionado por texto (por ejemplo, SAM) mapea cada concepto propuesto a una máscara de segmentación binaria $m_i$, identificando su soporte espacial. Los conceptos que no producen máscaras válidas se descartan.
• Poda Causal ($R$): Un modelo de inpainting (por ejemplo, LaMa) elimina el soporte visual de cada concepto anclado de forma independiente, creando una imagen intervenida $\tilde{x}_i$.
• Estimación de Contribución Causal: El marco mide el cambio en la confianza del clasificador para la clase predicha originalmente $\hat{y}$:
  $$s_{x, k_i} = f_{\hat{y}}(x) - f_{\hat{y}}(\tilde{x}_i)$$
  Una puntuación mayor indica que el concepto proporciona un soporte causal positivo más fuerte para la decisión.

2. Inducción de Ontología Global

Más allá de las explicaciones locales, OCCAM agrega evidencia interventional a través de todo el conjunto de datos para inducir una ontología conceptual estructurada.

• Estructura: La ontología se formaliza como un grafo de conocimiento (RDF/OWL) donde los nodos representan clases, imágenes, conceptos y entidades de evidencia causal (que contienen puntuaciones y artefactos).
• Emergencia: Las dependencias globales entre conceptos y clases, y entre conceptos, no se imponen de arriba hacia abajo, sino que emergen de la agregación de los atributos interacionales almacenados.
• Razonamiento: Esta ontología permite consultas estructuradas y razonamiento sobre el comportamiento global del modelo, revelando dependencias estables, patrones composicionales y relaciones causales latentes que las explicaciones aisladas por imagen podrían pasar por alto.

3. Métricas de Evaluación

El marco se evalúa utilizando:

• Métricas de Poda Causal: Porcentaje de Caída Promedio (ADP), Porcentaje de Caída Máxima (MDP) y Caída Máxima Absoluta de Logit (MAD) para cuantificar el impacto de la eliminación de conceptos en la confianza del modelo.
• Métricas de Anclaje: Juego de Puntuación basado en Energía (EPG), Precisión de Región Normalizada (NRA) y Tasa de Acierto para evaluar la alineación espacial con las máscaras de verdad fundamental.
• Calidad del Razonamiento: Los informes generados por LLMs utilizando resúmenes no estructurados, JSON plano y razonamiento fundamentado en ontología son calificados por LLMs independientes y evaluadores humanos en cuanto a coherencia y fidelidad.

Contribuciones Clave

1. Marco OCCAM: Un marco estrictamente de caja negra para explicación causal de conjunto abierto mediante intervenciones estructuradas a nivel de objeto, que requiere solo acceso de consultas al clasificador visual.
2. Construcción de Ontología Principiada: Un procedimiento que agrega efectos causales a nivel de concepto a través de imágenes para construir una ontología conceptual global emergente sin depender de vocabularios predefinidos o representaciones internas.
3. Razonamiento Impulsado por Ontología: Demostración de que el razonamiento sobre la ontología inducida permite explicaciones más profundas, descubriendo dependencias conceptuales estables y relaciones causales latentes no detectadas por análisis aislados por imagen.
4. Rendimiento de Vanguardia: Logro de resultados competitivos o superiores en los conjuntos de datos Broden e ImageNet-S bajo condiciones estrictas de conjunto abierto y caja negra, superando a competidores de caja blanca y conjunto cerrado en efectividad de poda causal.
5. Extensibilidad Multimodal: Validación de que el marco se extiende naturalmente a clasificadores visión-lenguaje (por ejemplo, CLIP, SigLIP), proporcionando un mecanismo de explicación unificado a través de arquitecturas unimodales y multimodales.

Resultados Experimentales

Los experimentos se realizaron en ResNet18, ResNet50, ViT-B/16 y varias variantes de CLIP/SigLIP utilizando los conjuntos de datos Broden e ImageNet-S.

• Poda Causal: OCCAM indujo consistentemente reducciones de confianza más fuertes que el método de conjunto cerrado de vanguardia CE-FAM. Por ejemplo, en ResNet50, OCCAM logró un Porcentaje de Caída Promedio (ADP) de 47.19% en comparación con el 44.18% de CE-FAM, y un Porcentaje de Caída Máxima (MDP) de 93.89% frente a 84.14%. Esto indica que OCCAM identifica evidencia más crítica para la toma de decisiones.
• Validez del Anclaje: A pesar de operar en un régimen de caja negra y conjunto abierto, OCCAM logró puntuaciones de localización competitivas (por ejemplo, EPG de 0.65 en ResNet50 para ImageNet-S) frente a métodos de caja blanca, demostrando que el anclaje interventional a nivel de objeto produce regiones espacialmente alineadas y semánticamente significativas.
• Razonamiento de Ontología: En las evaluaciones de explicación global, el razonamiento fundamentado en ontología obtuvo las puntuaciones más altas (promedio 4.78/5) en comparación con resúmenes no estructurados (4.31) y JSON plano (4.23). Esto sugiere que estructurar formalmente la evidencia causal mejora significativamente la coherencia y la fidelidad de las explicaciones globales del modelo.
• Robustez Multimodal: Al aplicarse a CLIP y SigLIP, la eliminación progresiva de los 3 conceptos más influyentes causó una disminución monótona en la precisión de cero disparos. Notablemente, SigLIP demostró ser más robusto que las variantes de CLIP, lo que sugiere que sus decisiones dependen de evidencia más distribuida en lugar de un pequeño conjunto de regiones de alto impacto.

Significado y Afirmaciones

El artículo afirma que OCCAM ofrece un cambio de paradigma en la interpretación de modelos al reformularlo como poda interventional estructurada. Su significado principal radica en:

• Cerrar la Brecha: Aborda con éxito el trilema de "caja negra, conjunto abierto, causal", un régimen donde los métodos existentes luchan.
• Conocimiento Global: Al ir más allá de la atribución por imagen, proporciona un mecanismo para derivar conocimientos globales consistentes y descubrir sesgos sistemáticos del modelo a través de una ontología emergente.
• Conocimiento Fundamentado en el Comportamiento: La ontología inducida no se impone externamente, sino que se deriva directamente de los efectos causales medidos, ofreciendo una representación interrogable de cómo los clasificadores organizan la evidencia visual.
• Mecanismo Unificado: Demuestra que las intervenciones a nivel de entrada proporcionan un mecanismo de explicación unificado aplicable tanto a modelos de visión tradicionales como a arquitecturas multimodales modernas, sin requerir acceso a representaciones internas.

Los autores concluyen que esta perspectiva fomenta el trabajo futuro sobre la inducción de conocimiento fundamentado en el comportamiento y el razonamiento estructurado para la IA explicable.