Explaining BiomedCLIP with Weighted Banzhaf Interactions Supported by Tree-Gram Parsing

Resumen Técnico: ParseFIxLIP para la interpretabilidad de BiomedCLIP

Planteamiento del problema
Los Modelos de Visión y Lenguaje (VLM), como BiomedCLIP, han demostrado sólidas capacidades de cero disparos (zero-shot) en tareas médicas como el análisis radiológico. Sin embargo, su despliegue en entornos clínicos se ve obstaculizado por la falta de explicaciones fieles e interpretables. Los marcos de explicación de juegos existentes, específicamente FIxLIP, presentan dificultades al aplicarse a los VLM modernos debido a la dependencia de tokenizadores de subpalabras (p. ej., BPE, WordPiece).

En el dominio médico, este enfoque de tokenización provoca una fragmentación de conceptos. Los términos clínicos precisos (p. ej., "saddle embolus") se dividen en subpalabras arbitrarias y semánticamente carentes de sentido (p. ej., "sad", "dle", "embol", "us"). Esta fragmentación conduce a dos problemas críticos:

1. Incoherencia semántica: Las explicaciones resultan ilegibles para los clínicos, ya que la importancia se distribuye en fragmentos dispersos en lugar de conceptos médicos unificados.
2. Inestabilidad estadística: La fragmentación crea un espacio de características de alta dimensión con una multicolinealidad severa. Al analizar informes radiológicos extensos, la explosión combinatoria de posibles máscaras de tokens activa la "maldición de la dimensionalidad", lo que provoca que los métodos estándar de estimación de interacciones fallen al intentar aislar señales significativas del ruido, resultando a menudo en métricas de bondad de ajuste deficientes (p. ej., un $R^2$ ajustado negativo).

Metodología: ParseFIxLIP
Para abordar estos desafíos, los autores introducen ParseFIxLIP, una extensión agnóstica al modelo del marco FIxLIP que integra el Análisis de Gramática de Árbol (Tree-Gram Parsing) en el juego de interacción de Banzach ponderado.

En lugar de tratar los tokens de subpalabras brutos como jugadores individuales en el juego cooperativo, ParseFIxLIP proyecta la tarea de explicación en un espacio de menor dimensión utilizando una función de mapeo suprayectiva $\pi: N \to N'$. Este mapeo agrupa los tokens brutos en "macro-jugadores" semánticamente coherentes basados en árboles de análisis de dependencia generados por spaCy. Los autores proponen cuatro estrategias de agrupación:

1. Raw (Bruto): El mapeo de identidad base (tokenización estándar).
2. Words (Palabras): Fusión de subpalabras en palabras completas del diccionario.
3. Noun_chunks (Fragmentos nominales): Agrupación de frases nominales de varias palabras en entidades únicas.
4. Smart_depth (Profundidad inteligente): Una estrategia sintáctica novedosa que agrupa recursivamente las cabezas de los árboles de dependencia con sus modificadores, asegurando que los conceptos médicos complejos se unifiquen.

Teóricamente, esta formulación define un juego cociente $\mathcal{G}' = (N', \nu')$. Al reducir el número de jugadores ($|N'| \ll |N|$) manteniendo la parsimonia semántica, el método elimina estructuralmente el ruido causado por la fragmentación de subpalabras antes de que se computen las interacciones. Esta reducción estabiliza la estimación de Banzach ponderada bajo un presupuesto de muestreo fijo, mitigando la multicolinealidad y la maldición de la dimensionalidad.

Contribuciones clave
El artículo hace avanzar la interpretabilidad de los VLM a través de tres contribuciones principales:

1. Explicación de teoría de juegos informada lingüísticamente: ParseFIxLIP se presenta como el primer trabajo en abordar la fragmentación de tokens en la XAI de teoría de juegos mediante el uso de árboles de análisis de dependencia para agrupar tokens en conceptos clínicos coherentes.
2. Mitigación teórica de la dimensionalidad: Se demuestra que la formulación del juego cociente resuelve inherentemente los problemas de multicolinealidad y alta dimensionalidad, estabilizando la estimación de los valores de Banzach ponderados.
3. Validación empírica en datos médicos: El enfoque se evalúa en el conjunto de datos ROCOv2, demostrando que la agrupación semántica mantiene la robustez estadística donde los modelos de referencia estándar fallan, particularmente en subtítulos radiológicos extensos.

Resultados experimentales
Los autores evaluaron el método utilizando la Correlación de Rango de Spearman y el $R^2$ ajustado como métricas de fidelidad, junto con curvas de Inserción/Eliminación (Área entre Curvas - AID).

• Hallazgos cuantitativos:

  • En subtítulos cortos, las estrategias de agrupación semántica (noun_chunks y smart_depth) alcanzaron valores medianos de $R^2$ ajustado superiores a 0.7, superando significativamente a los modelos de referencia de tokens brutos.
  • En subtítulos largos (>30 palabras), el modelo de referencia de tokens brutos sufrió la maldición de la dimensionalidad, arrojando valores de $R^2$ ajustado negativos para algunas muestras debido al sobreajuste en conjuntos de tokens ruidosos y de alta dimensión. En contraste, smart_depth mantuvo la robustez estadística al condensar las entradas en menos de 15 conceptos semánticos.
  • Aunque los modelos de referencia brutos mostraron ocasionalmente puntuaciones de AID ligeramente más altas en textos largos (al rastrear la atención dispersa hacia el ruido de fondo), la agrupación semántica proporcionó señales clínicamente más relevantes.

• Hallazgos cualitativos:

  • Unificación de conceptos: Las visualizaciones confirmaron que smart_depth unificó con éxito términos fragmentados como "saddle embolus" y "left parotiditis" en conceptos únicos de alta importancia, mientras que los métodos brutos distribuyeron la importancia a través de fragmentos sin sentido.
  • Pruebas de robustez: Las pruebas de estrés revelaron que el propio BiomedCLIP carece de robustez ante transformaciones espaciales (p. ej., rotación invertida) y depende fuertemente de anotaciones explícitas (flechas, texto) en lugar de la patología. ParseFIxLIP capturó fielmente estas limitaciones, mostrando que la atención del modelo se desplaza hacia artefactos robustos a la transformación (como números impresos) cuando la anatomía se rota, y pondera desproporcionadamente los marcadores explícitos sobre la enfermedad real.

Significancia y afirmaciones
El artículo afirma que ParseFIxLIP ofrece un paso crítico hacia el despliegue responsable de los VLM en medicina al proporcionar percepciones intuitivas y clínicamente relevantes. Al unificar conceptos médicos complejos, el método cumple con la necesidad de explicaciones coherentes en las que los clínicos puedan confiar.

Crucialmente, el trabajo no solo mejora la calidad de la explicación; también sirve como una herramienta de diagnóstico que expone las limitaciones fundamentales de los VLM actuales. Los autores demuestran que BiomedCLIP es frágil ante las transformaciones espaciales y propenso al "aprendizaje de atajos" (shortcut learning) mediante anotaciones visuales. Al revelar estos comportamientos mediante la agrupación coherente basada en dependencias, ParseFIxLIP destaca la necesidad de extrema precaución al interpretar los resultados de BiomedCLIP en la toma de decisiones clínicas. El enfoque logra cerrar la brecha entre las entradas matemáticas del modelo y los conceptos médicos comprensibles para el ser humano sin requerir modelos auxiliares o conceptos anotados por humanos.