Resumen Técnico: Análisis de la Causa Raíz de Anomalías de Medición y Mecánicas

Enunciado del Problema

Los conjuntos de datos del mundo real contienen frecuentemente anomalías: muestras generadas por procesos que se desvían de la norma. Si bien los métodos existentes de Análisis de la Causa Raíz (RCA) buscan identificar qué características son responsables de una anomalía, generalmente fallan en distinguir entre dos procesos generativos fundamentalmente diferentes:

1. Anomalías de Medición: El proceso causal subyacente es normal, pero uno o más valores se registran incorrectamente (por ejemplo, malfuncionamiento de sensores, errores de entrada de datos).
2. Anomalías Mecánicas: El mecanismo causal que genera la muestra ha cambiado genuinamente (por ejemplo, un cambio en el proceso físico o en la dinámica del sistema).

Distinguir entre estos es crítico para aplicaciones prácticas. Un error de medición puede requerir corrección de datos o recalibración de sensores, mientras que un cambio mecánico a menudo exige una intervención en el sistema mismo. Los métodos existentes difuminan esta distinción, tratando a menudo todas las anomalías como desviaciones en los datos observados sin modelar el estado causal latente. Además, muchos enfoques asumen un conjunto de entrenamiento limpio, whereas en la práctica, las anomalías deben identificarse a menudo directamente dentro de un conjunto de datos contaminado (configuración no supervisada dentro de la muestra).

Metodología

Formalización Causal

Los autores proponen un marco causal que modela explícitamente ambos tipos de anomalías como intervenciones sobre un Modelo Causal Estructural (SCM).

• Variables: El modelo distingue entre variables de estado causal latente ($X^*$) y sus lecturas observadas ($X$).
• Proceso Libre de Anomalías: En ausencia de anomalías, $X^*_j = f_j(Pa^*_j, U_j)$ y $X_j = X^*_j$, donde $f_j$ es la asignación estructural y $U_j$ es ruido independiente.
• Anomalías Mecánicas: Modeladas como una intervención dura sobre la variable latente $X^*_j$. La asignación estructural es reemplazada por una variable exógena de anomalía $O^{mech}_j$. Esta perturbación se propaga a las variables aguas abajo.
• Anomalías de Medición: Modeladas como una intervención dura únicamente sobre la variable observada $X_j$. El estado latente $X^*_j$ permanece sin cambios, y la perturbación no se propaga aguas abajo.
• Cambio de Mecanismo Escaso (SMS): El marco adopta la hipótesis SMS, postulando que las explicaciones que requieren menos fallos de mecanismo simultáneos son más probables. Esto sirve como un sesgo inductivo para preferir explicaciones simples (por ejemplo, un solo error de medición) sobre cambios complejos y concertados de mecanismo.

Inferencia e Identificabilidad

El problema se plantea como una tarea de estimación de máxima verosimilitud con variables latentes.

• Densidades Condicionales a la Asignación: Se deriva la verosimilitud de una muestra dada una asignación específica de anomalías (qué variables son intervenidas y cómo). Para las anomalías de medición, esto requiere marginalizar sobre los valores latentes previos a la sustitución no observados.
• Identificabilidad: El artículo establece las condiciones bajo las cuales las probabilidades de intervención reducidas son identificables.
  • Para nodos no sumidero, las probabilidades mecánicas y de medición son identificables por separado.
  • Para nodos sumidero (variables sin descendientes en el grafo latente), solo es identificable la probabilidad de cualquier intervención (mecánica o de medición), ya que ambos tipos producen distribuciones observables idénticas en el sumidero.
  • Se demuestra la identificabilidad genérica para SCMs Gaussianos lineales y SCMs Gaussianos polinómicos de grado fijo.
• Optimización: Dado que la marginalización exacta sobre todas las asignaciones posibles de anomalías es computacionalmente inviable (exponencial en el número de variables), los autores introducen una aproximación de asignación dura. Maximizan la verosimilitud de la única asignación más probable en lugar de sumar sobre todas las asignaciones. Esto se justifica cuando las anomalías son lo suficientemente fuertes como para inducir densidades condicionales a la asignación bien separadas.

El Algoritmo CALI

Los autores desarrollan CALI (Localización e Inspección de Anomalías Causales), un algoritmo práctico que:

1. Estima el Modelo Limpio: Utiliza regresión robusta (regresión cuantílica con modelos aditivos generalizados) y estimación de densidad de kernel recortada para aprender el SCM libre de anomalías y las distribuciones de ruido a partir de datos contaminados.
2. Asignación Codiciosa: Actualiza iterativamente la asignación de anomalías para cada muestra. Prioriza candidatos con baja verosimilitud residual bajo la densidad limpia, aceptando una intervención solo si la ganancia en verosimilitud supera el costo de escasez (penalización por añadir una anomalía).
3. Salida: Devuelve una asignación discreta que identifica las causas raíz y sus tipos (medición vs. mecánica), junto con puntuaciones de confianza basadas en las ganancias de verosimilitud.

Contribuciones Clave

1. Modelo Causal Formal: La primera definición formal de anomalías de medición y mecánicas dentro de un marco causal, tratándolas como intervenciones distintas sobre variables latentes y observadas.
2. Caracterización de la Identificabilidad: Una caracterización teórica de cuándo las probabilidades de intervención reducidas pueden recuperarse de los datos, abordando específicamente la indistinguibilidad de los tipos de anomalía en los nodos sumidero.
3. Algoritmo Práctico (CALI): Un procedimiento de inferencia eficiente que logra un rendimiento de vanguardia tanto en la localización de causas raíz como en la clasificación de tipos de anomalía en un entorno no supervisado, dentro de la muestra.

Resultados Experimentales

Los autores evalúan CALI en datos sintéticos y benchmarks del mundo real (señalización de proteínas Sachs, Causal Chambers y datos de taxis de Nueva York).

• Localización de la Causa Raíz: CALI logra un Recall Top-k de vanguardia en datos sintéticos, coincidiendo estrechamente con el rendimiento de una búsqueda exhaustiva de oráculo (OPT*). En conjuntos de datos del mundo real, supera a los métodos RCA existentes (incluyendo atribución basada en SCM, SMTR, SCOR y AE+SHAP), particularmente bajo fuerzas de anomalía de media a fuerte.
• Clasificación de Tipos de Anomalía: CALI supera significativamente a las líneas base (como MARG, que utiliza la extrañeza marginal) en la distinción entre anomalías de medición y mecánicas. Mantiene una alta precisión incluso con anomalías débiles donde otros métodos luchan.
• Robustez: El método demuestra robustez ante violaciones de supuestos, incluyendo causas raíz correlacionadas, intervenciones suaves, mala especificación de DAG, confusión y ruido heterocedástico.
• Estudio de Caso: En el conjunto de datos de taxis de Nueva York, CALI identificó con éxito errores de medición plausibles (por ejemplo, distancias de viaje imposibles frente a tarifas) y cambios mecánicos (por ejemplo, reglas específicas de tarifas planas), demostrando conocimientos accionables.

Significado y Afirmaciones

El artículo afirma que distinguir entre errores de medición y cambios mecánicos es una brecha crítica, previamente pasada por alto, en el análisis de anomalías. Al modelar estos como intervenciones causales distintas, el método propuesto permite estrategias de remediación más apropiadas (por ejemplo, reparar un sensor frente a reparar un proceso).

Los autores enfatizan que su enfoque es modesto en cuanto a sus limitaciones:

• Requiere un DAG conocido o aprendido; el rendimiento se degrada si la estructura causal está severamente mal especificada.
• Asume que las anomalías son raras y que el proceso "limpio" domina los datos.
• Para cambios extremadamente grandes, los métodos marginales más simples pueden volverse competitivos, ya que el modelo depende de estimaciones de densidad que pueden extrapolar mal.
• El método está actualmente restringido a datos tabulares.

Los autores posicionan a CALI como una herramienta de apoyo a la decisión en lugar de un tomador de decisiones automatizado, señalando que sus conclusiones dependen de la validez del grafo causal asumido y de los supuestos de modelado. Sugieren que el trabajo futuro podría aprovechar la estructura de las anomalías para mejorar el descubrimiento causal en datos contaminados.