Dictionary Based Pattern Entropy for Causal Direction Discovery

Este artículo presenta el marco de Entropía de Patrones Basada en Diccionario (DPE), una metodología novedosa que integra la Teoría de la Información Algorítmica y la de Shannon para inferir la dirección causal en secuencias simbólicas mediante la identificación de patrones deterministas que reducen la incertidumbre, demostrando un rendimiento robusto y superior en diversos sistemas sintéticos y datos biológicos.

Lo esencial

¡Hola! Imagina que eres un detective intentando resolver un misterio: ¿Quién está mandando a quién?

En el mundo de los datos, a menudo tenemos dos listas de eventos que ocurren al mismo tiempo (como el clima y las ventas de helados, o el ADN de un virus y sus mutaciones). El problema es que saber que dos cosas ocurren juntas no nos dice cuál causó a la otra. ¿El calor hace que la gente coma helado, o comer helado hace que haga calor? (Obviamente, es lo primero, pero los datos a veces son confusos).

Este paper presenta una nueva herramienta llamada DPE (Entropía de Patrones Basada en Diccionarios) para resolver este misterio, especialmente cuando los datos son secuencias de símbolos (como 0s y 1s, o letras de ADN).

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El Ruido y la Confusión

Imagina que estás en una fiesta ruidosa. Intentas escuchar una conversación entre dos personas, pero hay mucha música de fondo (ruido). Los métodos antiguos a veces se confundían con el ruido y pensaban que la música estaba controlando la conversación, o viceversa. Además, muchos métodos necesitan millones de datos para funcionar bien, como si necesitaran ver a una persona caminar mil veces para saber si es coja.

2. La Solución: El "Diccionario de Patrones"

La idea de los autores es muy inteligente. En lugar de mirar todo el ruido, dicen: "Busquemos las reglas ocultas".

Imagina que la Causa (la persona que manda) tiene un "libro de instrucciones" o un diccionario de patrones. Cuando aparece un patrón específico en su libro, la Efecto (la persona que obedece) hace un movimiento específico.

• Ejemplo: Si en la lista de la Causa aparece el patrón 1-1-0-1, entonces en la lista de la Efecto siempre cambia de 0 a 1.
• La herramienta DPE construye un diccionario de estos patrones. Recopila todos los "grupos de símbolos" que aparecen justo antes de que ocurra un cambio en la otra lista.

3. La Prueba: ¿Quién es el "Jefe" más predecible?

Una vez que tienen los diccionarios de ambos lados (el diccionario de X para ver si controla a Y, y el diccionario de Y para ver si controla a X), hacen una prueba de "Sorpresa".

• La analogía del Magos: Imagina que X es un mago y Y es su asistente.
  • Si X dice "Abracadabra" (un patrón), ¿el asistente Y hace el truco siempre? Si sí, entonces X tiene un control muy fuerte y predecible sobre Y. Hay poca sorpresa (baja entropía).
  • Si X dice "Abracadabra" y a veces Y hace el truco y a veces no, o hace cosas al azar, entonces el control es débil. Hay mucha sorpresa (alta entropía).

El método DPE calcula matemáticamente cuánta "sorpresa" hay.

• Si la dirección X → Y tiene poca sorpresa (es muy predecible), y la dirección Y → X tiene mucha sorpresa (es caótica), entonces X es la causa de Y.

4. ¿Por qué es especial?

La mayoría de los métodos anteriores intentaban adivinar la relación mirando la "complejidad" general de los datos (como intentar entender una novela entera de golpe). DPE es como leer frases clave.

• En sistemas artificiales: Probaron esto con secuencias de bits (0s y 1s) donde sabían exactamente quién causaba a quién. DPE acertó casi el 100% de las veces, incluso cuando había retrasos (como cuando el mago da la orden y el asistente tarda un segundo en reaccionar) o cuando había mucho ruido.
• En la vida real (Biología):
  • Virus: Lo usaron para ver si las mutaciones de un virus en un país venían de una versión global o de una local. Funcionó bien, aunque en genética a veces otros métodos compiten mejor.
  • Ecología: Lo probaron con datos de depredadores (Didinium) y presas (Paramecium). El método detectó correctamente que el depredador afecta a la presa, y luego la presa afecta al depredador, identificando cuál dirección era más fuerte.

5. El Resultado Final

El paper concluye que DPE es como un detective muy agudo que no se deja engañar por el ruido.

• No necesita suposiciones complicadas sobre cómo funcionan las matemáticas detrás de los datos.
• Funciona bien incluso con pocos datos.
• Te dice no solo quién causa a quién, sino qué patrones específicos (las "palabras clave" del diccionario) están causando el cambio.

En resumen:
Si tienes dos listas de datos y quieres saber quién manda a quién, DPE busca las "reglas de juego" ocultas. Si encuentra que la lista A tiene reglas claras que dictan lo que hace la lista B, pero la lista B no tiene reglas claras para dictar a la A, entonces A es el jefe y B es el empleado. ¡Y todo esto sin necesitar un superordenador ni millones de datos!

Resumen técnico

1. El Problema

El descubrimiento de la dirección causal a partir de datos observacionales temporales es un desafío fundamental en la inteligencia artificial y la ciencia de datos. Este problema se vuelve particularmente difícil cuando se trabaja con secuencias simbólicas (datos discretos o categóricos), donde:

• Los modelos funcionales explícitos (como $Y = f(X) + \epsilon$) a menudo no están disponibles o son desconocidos.
• Las suposiciones sobre la distribución del ruido (ej. ruido gaussiano) pueden no cumplirse.
• Los métodos tradicionales basados en información (como la entropía de Shannon estándar) requieren estimaciones de probabilidad precisas que a menudo fallan en conjuntos de datos pequeños o altamente estructurados.
• Los métodos existentes basados en la Teoría de la Información Algorítmica (AIT) pueden ser computacionalmente costosos o menos interpretables a nivel de patrones específicos.

El objetivo es inferir no solo qué variable causa a la otra ($X \to Y$ o $Y \to X$), sino también identificar los subpatrones específicos dentro de la secuencia causal que impulsan los cambios en la variable efecto.

2. Metodología: DPE (Dictionary Based Pattern Entropy)

Los autores proponen un marco novedoso llamado DPE, que integra la Teoría de la Información Algorítmica (AIT) y la Teoría de la Información de Shannon. La premisa central es que la causalidad se manifiesta como la emergencia de patrones compactos y basados en reglas en la causa que restringen sistemáticamente el efecto.

El algoritmo opera en los siguientes pasos:

A. Construcción de Diccionarios Dirigidos

Dadas dos secuencias simbólicas $X$ e $Y$ de igual longitud:

1. Se identifican los "cambios de estado" (flips de bits o transiciones) en la secuencia efecto ($Y$).
2. Se extraen las subsecuencias correspondientes de la secuencia candidata a causa ($X$) alineadas temporalmente con esos cambios.
3. Esto crea un diccionario $G_{X \to Y}$ que mapea patrones de $X$ a transiciones en $Y$. Se realiza el proceso inverso para $G_{Y \to X}$.

B. Extracción de Patrones Comunes (Similitud Estructural)

Para encontrar las reglas subyacentes:

• Se realiza una comparación deslizante entre los patrones dentro del diccionario utilizando la operación lógica XNOR (equivalencia de bits).
• Se identifican subsecuencias comunes que aparecen consistentemente cuando ocurren transiciones. Estas se almacenan en un diccionario de patrones causales ($P_{X \to Y}$).

C. Determinismo de Respuesta ($R_{flip}$)

Para cada patrón extraído, se calcula una métrica de determinismo:
$$R_{flip} = \frac{N_{flip}}{N_{occ}}$$
Donde $N_{flip}$ es el número de veces que el patrón en $X$ coincide con un cambio en $Y$, y $N_{occ}$ es el número total de ocurrencias del patrón.

• $R_{flip} \approx 1$: El patrón induce un cambio determinista.
• $R_{flip} \approx 0$: El patrón mantiene el estado (no induce cambio).
• Valores intermedios: Indican influencia estocástica o ruido.

D. Cálculo de Entropía Ponderada

Se calcula la incertidumbre asociada a cada patrón utilizando la entropía binaria de Shannon, ponderada por su frecuencia de aparición ($W_p$):
$$H_w(p) = W_p \cdot H_b(R_{flip})$$
Donde $H_b$ es la función de entropía binaria.

• La Entropía Ponderada Promedio ($\bar{H}$) se calcula para toda la dirección ($X \to Y$ y $Y \to X$).

E. Veredicto Causal

El principio de Mínima Incertidumbre dicta que la dirección causal verdadera es aquella que presenta una estructura más determinista (menor entropía).

• Si $\bar{H}_{X \to Y} < \bar{H}_{Y \to X}$, se infiere $X \to Y$.
• Si las entropías son iguales, se considera independencia.

3. Contribuciones Clave

1. Marco Híbrido AIT-Shannon: Combina la extracción de patrones algorítmicos (AIT) con medidas de incertidumbre probabilística (Shannon), permitiendo manejar ruido sin depender de modelos funcionales rígidos.
2. Atribución a Nivel de Patrón: A diferencia de métodos que solo dan una dirección global, DPE identifica qué subpatrones específicos (ej. "1101") son los responsables de los cambios causales, ofreciendo interpretabilidad.
3. Robustez en Datos Simbólicos: Diseñado específicamente para secuencias discretas donde los métodos de series temporales continuas fallan.
4. Métrica de Determinismo ($R_{flip}$): Una nueva métrica que cuantifica la fuerza causal de un patrón individual, diferenciando entre efectos deterministas y estocásticos.

4. Resultados Experimentales

Los autores evaluaron DPE en diversos escenarios sintéticos y del mundo real, comparándolo con métodos basados en AIT como ETCE, ETCP y LZP (Lempel-Ziv Penalty).

• Perturbaciones de Bit con Retardo (Delayed Bit-flip): DPE logró una precisión del 99% en la detección de la dirección causal con retardo, superando a ETCP (57%) y ETCE (fallo total).
• Acoplamiento Unidireccional AR(1): En procesos autoregresivos con ruido, DPE superó consistentemente a ETCE y ETCP, alcanzando casi el 100% de precisión cuando la fuerza de acoplamiento fue alta.
• Procesos Esparsos (Sparse Processes): DPE logró un 100% de precisión en todos los niveles de dispersión probados, mientras que los otros métodos tendieron a clasificar las secuencias como independientes.
• Mapas Caóticos 1D (Skew-Tent): En sistemas no lineales caóticos, DPE mantuvo una precisión del 90% general y del 100% en sincronización fuerte, superando significativamente a los competidores.
• Datos Biológicos/Genómicos (SARS-CoV-2): En el análisis de secuencias virales, DPE fue competitivo, aunque en este caso específico, los métodos ETCP y LZP mostraron ventajas en ciertos contextos genómicos.
• Sistema Depredador-Presa (Didinium-Paramecium): DPE identificó correctamente la dirección causal dominante (Depredador $\to$ Presa) con mayor certeza (menor entropía) que la dirección inversa, validando su utilidad en datos ecológicos reales.

Resumen de Fiabilidad (Tabla 7 del artículo): DPE es el único método que demostró fiabilidad (precisión $\ge$ 80%) en todos los experimentos sintéticos probados.

5. Significado y Conclusión

El trabajo de DPE representa un avance significativo en el descubrimiento causal porque:

• Interpretabilidad: No es una "caja negra"; revela las reglas mecánicas (patrones) que gobiernan la dinámica del sistema.
• Generalidad: Funciona bien tanto en sistemas deterministas como estocásticos, y en datos sintéticos y reales.
• Eficiencia: Evita la necesidad de estimaciones de densidad de probabilidad complejas que requieren grandes volúmenes de datos.

Limitaciones y Futuro:

• El método actual no maneja explícitamente variables de confusión latentes.
• En casos de independencia total ($\eta=0$), el método a veces detecta influencias espurias, lo que sugiere la necesidad de pruebas de significancia estadística más rigurosas en el futuro.
• Se propone extender el marco hacia formulaciones contrafactuales para evaluar intervenciones a nivel de patrón.

En conclusión, DPE ofrece un marco robusto, interpretable y ampliamente aplicable para el descubrimiento causal en sistemas dinámicos donde la causalidad se manifiesta a través de subpatrones algorítmicos identificables.