🤖 machine learning

Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses

Este artículo presenta DECAF, un nuevo marco que descompone las explicaciones de modelos basadas en perturbaciones en componentes distintos de evidencia, contradicción y fragilidad, demostrando que este enfoque consciente de la trayectoria supera significativamente a los métodos tradicionales de atribución basados en magnitud en precisión, eficiencia e interpretabilidad a través de diversas tareas de visión y tabulares.

Autores originales: Lei You

Publicado 2026-08-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lei You

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas entender por qué un amigo tomó una decisión específica, como elegir una camisa roja en lugar de una azul. Podrías preguntar: "¿Cuánto reaccionó al color?". Si agarró la camisa roja instantáneamente, dirías: "¡Vaya, qué gran reacción!". Pero aquí está la parte complicada: una gran reacción no siempre significa lo mismo. Tal vez le encantaba la camisa roja (una buena razón). Tal vez odiaba tanto la camisa azul que agarró la roja solo para alejarse de ella (una mala razón). O tal vez agarró la camisa roja porque estaba confundido, solo para darse cuenta a mitad de camino de que en realidad prefería la azul desde el principio (una reacción fugaz y frágil).

Este es el mundo de la "explicabilidad de la IA", un campo donde los científicos intentan asomarse dentro de la "caja negra" de los modelos computacionales para ver qué están pensando. Durante mucho tiempo, la herramienta principal para esto fue medir la "magnitud" de una reacción, básicamente, qué tan grande fue el cambio en la respuesta de la IA cuando se modificaba la entrada. Es como medir qué tan fuerte se cierra una puerta. Pero, como señala este nuevo artículo, saber que la puerta se cerró con fuerza no te dice si se cerró con ira, con alegría o por una ráfaga de viento que ni siquiera se mantuvo. El autor, liderado por Lei You de la Universidad Técnica de Dinamarca, argumenta que hemos estado ignorando el significado detrás del ruido, y ha construido una nueva forma de resolverlo.

El artículo presenta un método llamado DECAF (que significa Descomposición de Evidencia, Contradicción y Fragilidad). Piensa en DECAF como un detective superinteligente que no solo escucha qué tan fuerte se cerró la puerta, sino que observa toda la historia de cómo la persona se acercó a la puerta.

Así es como funciona DECAF, usando una historia simple: Imagina que estás viendo un truco de magia donde un mago cambia una carta de un Rey a una Reina.

Evidencia: A medida que el mago revela la carta, si el cambio se siente como si estuviera construyéndose hacia el resultado final (la Reina), DECAF lo llama Evidencia. Es la parte de la reacción que respalda la decisión final.
Contradicción: A veces, la carta puede parecer un Rey por un segundo, luego una Reina, y luego vuelve a ser un Rey, antes de finalmente asentarse en la Reina. Si la reacción va en contra del resultado final en cualquier momento, DECAF lo llama Contradicción. Es como si la IA dijera: "¡Espera, pensé que era un Rey!", antes de cambiar de opinión.
Fragilidad: Finalmente, imagina que el mago agita una carta que parece una Reina, pero cuando miras de cerca al final, en realidad es solo un trozo de papel en blanco. La carta pareció cambiar, pero el resultado final fue "nada". Si la IA reacciona fuertemente durante el truco pero la respuesta final es básicamente cero, DECAF lo llama Fragilidad. Es una reacción que existe solo debido al camino tomado, no debido a una diferencia real.

El autor probó esta idea de varias maneras. Primero, crearon videojuegos y acertijos controlados donde sabían exactamente lo que la IA debería estar haciendo. Encontraron que DECAF podía detectar cuándo una IA estaba dependiendo de un "atajo" (como adivinar basándose en el color del fondo) en lugar del objeto real. Si la IA estaba usando un atajo, la puntuación de "Evidencia" de DECAF coincidía perfectamente con ese comportamiento. Si la IA estaba confundida o cambiando de opinión, la puntuación de "Contradicción" se disparaba.

Luego, llevaron esto al mundo real con una prueba masiva que involucró 72 modelos de IA diferentes mirando imágenes del conjunto de datos ImageNet-9 (una colección de fotos con diferentes fondos). Compararon casos donde la IA tenía exactamente la misma "fuerza" de reacción pero diferentes comportamientos subyacentes.

El Resultado: Si solo miraras la fuerza (magnitud), solo adivinarías el comportamiento correcto el 35.0% de las veces. Era básicamente el lanzamiento de una moneda.
El Arreglo de DECAF: Cuando usaron DECAF para observar el tipo de reacción (Evidencia vs. Contradicción vs. Fragilidad), obtuvieron la respuesta correcta el 96.4% de las veces.

El artículo también descubrió algo sorprendente sobre cómo revelamos información a la IA. Probaron dos formas de mostrar una imagen: una donde toda la imagen aparece gradualmente (como una mezcla) y otra donde la imagen se revela parche por parche (como un rompecabezas). Encontraron que cambiar cómo se revela la imagen cambió la "fuerza" total de la reacción en casi un 80%. Sin embargo, la "Evidencia" (las razones buenas y sólidas) apenas cambió. En su lugar, la "Fragilidad" (el ruido confuso y dependiente del camino) explotó, creciendo más de 4 veces. Esto demuestra que el tamaño total de una reacción puede ser engañoso; a menudo solo te dice qué tan sensible es la IA al método de mostrar la imagen, no a la imagen misma.

Finalmente, el autor demostró que DECAF es increíblemente eficiente. En un modelo de IA enorme con 1 mil millones de parámetros (un modelo DINOv2), DECAF pudo hacer su trabajo con 4.75 veces menos tiempo y 2.36 veces menos memoria que otros métodos populares, mientras seguía haciendo el trabajo igual de bien.

En resumen, el artículo sugiere que nos hemos centrado demasiado en cuánto reacciona una IA y no lo suficiente en qué significa esa reacción. Al desglosar las reacciones en Evidencia (respaldo), Contradicción (oposición) y Fragilidad (ruido fugaz), DECAF nos da una imagen mucho más clara y honesta de lo que estos cerebros digitales están pensando realmente. Es una herramienta que no solo mide el portazo de la puerta, sino que nos ayuda a entender por qué se cerró en primer lugar.

Resumen Técnico: DECAF – Descomposición de Evidencia, Contradicción y Fragilidad en Respuestas a Perturbaciones

1. Planteamiento del Problema

Los métodos de explicación basados en perturbaciones interpretan las decisiones de un modelo midiendo los cambios en la predicción bajo entradas alteradas. Sin embargo, existe una brecha semántica fundamental: la métrica estándar, la magnitud de la respuesta (la diferencia absoluta en las predicciones), cuantifica cuánto reacciona un modelo pero no explica qué significa esa reacción.

El artículo identifica que magnitudes de respuesta idénticas pueden surgir de tres regímenes de comportamiento distintos:

Alineación (Alignment): La reacción respalda la diferencia factual-contrafactual final.
Oposición (Opposition): La reacción se opone a la diferencia final (por ejemplo, un paso intermedio sugiere un resultado, pero el estado final sugiere otro).
Fragilidad (Fragility): La reacción es fuerte a lo largo de la trayectoria de perturbación pero desaparece en el punto final, lo que indica sensibilidad al proceso de revelación en lugar de un efecto final significativo.

Tratar estos comportamientos distintos como equivalentes oscurece información interpretativa crítica. Los métodos existentes a menudo reducen trayectorias complejas a un único escalar o dependen de señales internas basadas en gradientes, perdiendo el rol semántico de las respuestas intermedias respecto al contraste final.

2. Metodología: DECAF

El autor introduce DECAF (Decomposition of Evidence, Contradiction, And Fragility), un marco agnóstico al modelo que descompone las respuestas a perturbaciones emparejadas en tres componentes semánticos.

Configuración Formal

Dado una función de puntuación del modelo $q$ , una entrada factual $x^+$ y un contrafactual $x^-$ , el contraste final es $d = q(x^+) - q(x^-)$ . Una trayectoria de revelación emparejada $(x^+(t), x^-(t))$ para $t \in [0, 1]$ comienza desde un estado no informativo $x^0$ y progresa hacia los extremos. La respuesta de etapa con signo es $r(t) = q(x^+(t)) - q(x^-(t))$ .

Enrutamiento Semántico

DECAF utiliza el contraste final $d$ como una referencia semántica para enrutar las respuestas intermedias $r(t)$ :

Puerta (Gate, $a$ ): Una puerta binaria determina si el contraste final es significativo ( $|d| \ge \epsilon$ ).
Orientación ( $s$ ): El signo de $d$ ( $s = \text{sign}(d)$ ) define la dirección "correcta".
Descomposición: La respuesta se enruta en tres componentes:
- Evidencia ( $E$ ): Respuestas alineadas con la dirección final cuando el contraste final está activo ( $a=1, s \cdot r(t) > 0$ ).
- Contradicción ( $C$ ): Respuestas que se oponen a la dirección final cuando el contraste final está activo ( $a=1, s \cdot r(t) < 0$ ).
- Fragilidad ( $F$ ): Respuestas que ocurren cuando el contraste final es insignificante ( $a=0$ ), representando una sensibilidad que no persiste hasta el punto final.

La descomposición es sin pérdida (lossless): $|r(t)| = e(t) + c(t) + f(t)$ . Las métricas agregadas son los valores esperados de estos componentes sobre la trayectoria y el conjunto de datos.

Fundamentos Teóricos

El artículo demuestra que bajo tres axiomas operativos —Conservación (no se pierde magnitud), Puerta de Punto Final (la fragilidad se aisla en puntos finales insignificantes) y Soporte Direccional (la evidencia y la contradicción se separan por signo)— este enrutamiento es único. Además, DECAF es un refinamiento estricto de la magnitud ordinaria; mientras que la magnitud puede derivarse de DECAF ($Abs = E + C + F$), lo inverso es imposible, ya que perfiles de comportamiento distintos (por ejemplo, evidencia pura frente a contradicción pura) pueden producir magnitudes idénticas.

3. Contribuciones Clave

Identificación del Problema: Definición explícita de la brecha semántica en las explicaciones por perturbación donde la magnitud no logra distinguir entre alineación, reversión y sensibilidad dependiente de la trayectoria.
Interfaz de Revelación Emparejada: Introducción de un marco para rastrear contrastes factual-contrafactual a lo largo de trayectorias emparejadas a medida que la información se revela progresivamente.
Algoritmo DECAF: Una descomposición sin pérdida y única de las respuestas en Evidencia, Contradicción y Fragilidad basada en la semántica del punto final. No requiere gradientes, activaciones internas ni modelos explicadores aprendidos.
Validación del Comportamiento: Demostración de que estos componentes rastrean comportamientos medidos de forma independiente (dependencia de atajos/shortcuts, reversión de efectos y sensibilidad fuera de la trayectoria) en modelos neuronales, lineales y de árboles.
Utilidad Práctica: Demostración de que DECAF recupera la semántica de la respuesta incluso cuando las magnitudes coinciden y proporciona diagnósticos estables entre protocolos.

4. Resultados Experimentales

Validación Controlada (Formas 3D y Covertype)

Evidencia: En tareas de visión con atajos correlacionados (por ejemplo, color de la pared vs. forma del objeto), el componente de Evidencia ( $E$ ) correlaciona fuertemente (Spearman $\rho = 0.936$ ) con la vulnerabilidad de un modelo a la reversión de atajos.
Fragilidad: En tareas diseñadas para inducir sensibilidad a estados intermedios (por ejemplo, cambios en el color del suelo), el componente de Fragilidad ( $F$ ) rastrea la tasa de cambios en la predicción en pares con punto final nulo ( $\rho = 0.974$ ).
Contradicción: En tareas donde un efecto revierte su dirección bajo un cambio de contexto, la Contradicción ( $C$ ) rastrea la tasa de intercambio de etiquetas ( $\rho = 0.961$ ), mientras que la magnitud ordinaria falla ( $\rho = -0.036$ ).
Transferencia Tabular: En el conjunto de datos Covertype, los componentes de DECAF rastrean con éxito la preservación, inversión y cambios de punto final nulo en 135 clasificadores (lineales, de árboles y neuronales), superando a SHAP y otros baselines en la identificación de mecanismos.

Auditoría del Mundo Real (ImageNet-9)

Recuperación Semántica: En un zoológico de 72 modelos (24 modelos ImageNet-1k preentrenados y 48 modelos ImageNet-9 ajustados), DECAF identifica correctamente el rol de comportamiento dominante (Evidencia, Contradicción o Fragilidad) en el 96.4% de los casos donde los modelos tienen magnitudes de respuesta casi idénticas. En contraste, la magnitud por sí sola logra solo un 35.0% de precisión.
Sensibilidad de la Trayectoria: Cambiar la trayectoria de revelación (por ejemplo, de una mezcla global a una revelación parche por parche) aumentó la magnitud total de la respuesta en casi un 80%, pero este aumento fue impulsado casi totalmente por la Fragilidad y la Contradicción, mientras que la Evidencia se mantuvo estable. Esto demuestra que una mayor magnitud no implica necesariamente una evidencia más fuerte.
Estabilidad de Clasificación (Ranking): Los rankings de modelos basados en la magnitud ordinaria fueron altamente inestables a través de diferentes trayectorias de revelación ( $\rho \approx 0.17$ ), mientras que los rankings basados en Evidencia y Contradicción se mantuvieron estables ( $\rho > 0.77$ ).

Benchmarks de Atribución y Escalamiento

Rendimiento: En FunnyBirds e ImageNet-1k, las trayectorias cortas de DECAF de solo avance directo (3–9 etapas) superaron a los baselines de atribución de propósito general probados (DeepLIFT, Integrated Gradients, SmoothGrad, RISE).
Eficiencia: En un modelo DINOv2 de 1B de parámetros, una trayectoria corta de DECAF igualó la calidad de un fuerte baseline basado en gradientes (Integrated Gradients) con 4.75× menos tiempo de ejecución y 2.36× menos memoria pico, ya que DECAF solo requiere pasadas hacia adelante (forward passes).

5. Significación y Reivindicaciones

El artículo afirma que DECAF aborda una ambigüedad semántica inherente a los métodos de perturbación. Al descomponer la trayectoria de respuesta relativa al contraste final, revela qué tipo de respuesta produjo una magnitud dada.

Interpretabilidad: Distingue entre un modelo que depende consistentemente de una característica (Evidencia), uno que está confundido o revierte su decisión (Contradicción), y uno que es sensible a la trayectoria específica de revelación pero no al estado final (Fragilidad).
Robustez: Los componentes proporcionan diagnósticos más estables entre diferentes protocolos de perturbación que la magnitud bruta.
Eficiencia: Ofrece un método de explicación de alta calidad y agnóstico al modelo que escala eficientemente a modelos grandes sin requerir gradientes ni acceso interno.

El autor enfatiza que estos roles son relativos al par contrafactual, la puntuación y la trayectoria de revelación elegidos; no infieren mecanismos causales latentes, sino que describen el comportamiento observable de la respuesta de un modelo ante una intervención específica. El trabajo sugiere que los futuros esfuerzos de explicación deben ir más allá de las magnitudes escalares para considerar la composición semántica de la trayectoria de respuesta.