TDA Engine v2.1: A Computational Framework for Detecting Structural Voids in Spatially Censored Epidemiological Data with Temporal Classification and Causal Inference

El TDA Engine v2.1 es un marco computacional basado en topología que detecta y clasifica vacíos estructurales en datos epidemiológicos censurados mediante análisis geométrico, inferencia causal y validación temporal, permitiendo distinguir entre ausencias naturales de datos y posibles supresiones sistemáticas.

Lo esencial

Imagina que la salud pública es como un mapa del tesoro que los gobiernos usan para decidir dónde enviar médicos, medicinas y ambulancias. Normalmente, estos mapas muestran dónde hay "tesoros" (gente enferma o clínicas). Pero hay un problema enorme: el mapa también tiene espacios vacíos.

La pregunta difícil es: ¿Ese espacio vacío significa que allí no vive nadie (y no hay problema), o significa que hay mucha gente enferma pero nadie está reportándolo (un "silencio" peligroso)?

El artículo que presentas introduce una herramienta llamada TDA Engine v2.1. Piensa en ella como un "detector de fantasmas" o un "radar de silencio" para mapas de salud. Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: Los Mapas Ciegos

Los métodos antiguos para hacer mapas (como el "Kernel Density Estimation") son como difuminar una foto. Si hay un hueco en la foto, ellos lo suavizan y dicen: "Bueno, aquí hay poca gente". Pero no pueden distinguir si esa falta de gente es real o si es porque alguien borró la foto a propósito (supresión de datos).

2. La Solución: El "Detector de Silencio" (TDA Engine)

Esta nueva herramienta no mira solo dónde hay gente, sino que mide la distancia entre los puntos de datos.

• La Analogía: Imagina que las clínicas son faros en una isla. Si estás en medio del mar y ves que entre dos faros hay un espacio enorme donde no hay luz, el sistema dice: "¡Oye! Aquí hay un agujero estructural". No es que no haya nadie; es que la luz no llega.
• Cómo lo hace: Usa una matemática especial (llamada Topological Data Analysis) que es muy resistente a los "ruidos" o errores. En lugar de adivinar dónde está el borde del hueco, calcula la forma geométrica exacta del silencio.

3. Las Tres Mejoras de la Versión 2.1

El autor actualizó la herramienta con tres funciones nuevas, como si le pusiera un reloj, un detective y una balanza al detector de fantasmas:

A. El Reloj (Clasificación Temporal)

Antes, el sistema veía un hueco y decía "¡Aquí hay un problema!". Pero a veces el silencio es solo un día malo (una tormenta, un día festivo).

• La Analogía: Imagina que tu vecino no saca la basura.
  • Si solo lo hace un día, es ruido (quizás estaba enfermo).
  • Si no lo hace durante meses, es estructural (quizás se mudó o no tiene bolsa).
• La herramienta: Usa un "reloj" (Modelos Ocultos de Markov) para ver si el silencio es permanente (¡hay que investigar ya!) o aleatorio (esperemos a ver qué pasa).

B. El Detective (Taxonomía Causal)

Una vez que encuentra el hueco, la herramienta intenta adivinar por qué está vacío.

• La Analogía: Es como un detective que llega a una casa vacía y busca pistas:
  • ¿Está al lado de la frontera? -> Causa: Frontera (La gente va al otro país).
  • ¿No hay carretera? -> Causa: Acceso (La gente no puede llegar).
  • ¿Hay edificios pero no hay luz? -> Causa: Sistema (La clínica existe, pero los datos no llegan a la oficina central).
• Esto ayuda a los funcionarios a saber qué herramienta llevar: ¿Un puente? ¿Un camión? ¿O arreglar una computadora?

C. La Balanza (Motor de Completitud O/E)

No todos los huecos son igual de graves. Un hueco en un pueblo de 10 personas no es lo mismo que en una ciudad de 100,000.

• La Analogía: Imagina que comparas lo que debería haber pasado (según las reglas de la OMS) con lo que realmente pasó.
• Si la balanza dice "Aquí deberíamos tener 100 casos de malaria y solo tenemos 0", la herramienta pone una alerta roja. Si solo faltan unos pocos, pone una alerta amarilla. Esto ayuda a priorizar a quién ayudar primero.

4. ¿Qué logró probar?

El autor probó esta herramienta en Kenia (una región real) y también creó un "juego" donde borró datos a propósito para ver si la herramienta los encontraba.

• Resultado: La herramienta encontró el 82% de los huecos que ella misma había creado (muy preciso), mientras que los métodos antiguos solo encontraban el 45%.
• Precisión: Puede decirte exactamente dónde está el centro del problema (con un error de solo 342 metros, ¡menos de 4 campos de fútbol!).

Conclusión: ¿Por qué importa esto?

Esta herramienta no dice "¡Aquí hay una conspiración!". Lo que dice es: "Aquí hay una forma geométrica extraña en el mapa que no debería existir. Es muy probable que haya un problema real de salud o de reporte, y aquí tienes las pistas de por qué podría estar pasando."

Cambia la forma de trabajar de los gobiernos: en lugar de adivinar o mirar mapas borrosos, ahora tienen un mapa de "silencios sospechosos" con una lista de tareas para investigar. Es como pasar de mirar una foto borrosa a tener un escáner 3D que te dice exactamente dónde está el agujero en la red de seguridad.

En resumen: Es un sistema inteligente que escucha el silencio en los mapas de salud para encontrar a las personas que nadie está viendo.

Resumen técnico

Resumen Técnico: TDA Engine v2.1

1. Planteamiento del Problema

En la vigilancia epidemiológica pública, la "silencio" (ausencia de datos) es a menudo tan significativo como la señal de datos existente. Sin embargo, las herramientas de mapeo tradicionales presentan una "ceguera fundamental": están diseñadas para visualizar la densidad de datos, no su ausencia.

• Limitaciones actuales: Métodos estadísticos espaciales clásicos, como la Estimación de Densidad Kernel (KDE), suavizan los huecos tratándolos como gradientes de baja probabilidad en lugar de características topológicas distintas. Los diagramas de Voronoi sufren de efectos de borde, y las estadísticas de escaneo espacial (ej. SaTScan) detectan clusters de exceso de casos, no ausencias.
• El desafío: Distinguir entre huecos estocásticos (áreas naturalmente de baja densidad, como zonas deshabitadas) y huecos estructurales (ausencias sistemáticas de datos debidas a fallos en el reporte, supresión o falta de acceso a servicios de salud).
• Objetivo: Desarrollar un marco matemático riguroso para detectar, cuantificar y clasificar estas ausencias de datos en entornos censurados espacialmente.

2. Metodología

El marco propuesto, TDA Engine v2.1, se basa en el Análisis Topológico de Datos (TDA) y utiliza la función Distancia a la Medida (DTM) para inferir la geometría de la ausencia de datos.

Componentes Clave del Método:

1. Proyección y Preprocesamiento:
   • Las coordenadas geográficas (latitud/longitud) se proyectan al sistema UTM (Zona 36S) para realizar cálculos de distancia euclidiana precisos en metros.
2. Filtrado DTM (Distancia a la Medida):
   • En lugar de usar la distancia mínima a un punto (sensible a outliers), se utiliza la media cuadrática de las distancias a los $k$ vecinos más cercanos.
   • Se define un parámetro de masa $m_0 = 0.05$ (5% de la red), lo que hace que la métrica sea robusta hasta un 5% de censura.
3. Umbralización Adaptativa (Algoritmo Kneedle):
   • Se elimina la subjetividad de los umbrales fijos (ej. "1.5x la mediana").
   • El algoritmo Kneedle analiza la curvatura de la distribución de valores DTM para identificar automáticamente el "punto de codo" (elbow point), definiendo el umbral donde la tasa de crecimiento de la distancia se acelera.
4. Validación Estadística:
   • Se utiliza una prueba de permutación Monte Carlo bajo la hipótesis nula de Aleatoriedad Espacial Completa (CSR).
   • La estadística de prueba es el área total de huecos (en lugar del DTM máximo inestable), calculando intervalos de confianza para el valor p.
5. Motor de Completitud Observado/Esperado (O/E):
   • Calcula la relación entre casos observados y esperados basándose en tasas de incidencia de la OMS para 7 enfermedades (Malaria, Cólera, TB, etc.).
   • Clasifica la severidad de la brecha de datos (Crítica, Moderada, Leve, Adecuada).
6. Clasificación Temporal (V2.1):
   • Combina el Factor de Fano (dispersión de la serie temporal) con un Modelo Oculto de Markov (HMM) de dos estados (Silencio vs. Reporte).
   • Distingue entre: Estructural (silencio persistente), Intermitente y Estocástico (ruido).
7. Taxonomía Causal (V2.1):
   • Un árbol de decisión asigna cada hueco detectado a una de cinco causas probables basándose en covariables geoespaciales:
     • BORDER: Dinámicas transfronterizas.
     • ACCESS: Inaccesibilidad física.
     • INFRASTRUCTURE: Brecha de instalaciones (no hay centro de salud cercano).
     • SYSTEM: Fallo en la cadena de datos (instalaciones existen pero no reportan).
     • UNKNOWN: Requiere investigación de campo.

3. Contribuciones Clave

El artículo presenta ocho contribuciones metodológicas principales:

1. Umbralización Adaptativa: Eliminación de constantes arbitrarias mediante el algoritmo Kneedle.
2. Marco de Validación Cuantitativa: Protocolo de simulación de censura con "verdad fundamental" conocida para calcular índices de Jaccard, error de centróide y tasas de recuperación.
3. Análisis de Estabilidad Topológica: Demostración de que el parámetro $m_0 = 0.05$ se encuentra en una meseta estable, garantizando robustez.
4. Inferencia Estadística Mejorada: Uso del área total de huecos como estadística de prueba con intervalos de confianza en los valores p.
5. Clasificación Temporal Híbrida: Integración de Factor de Fano y HMM para diferenciar silencios estructurales de fluctuaciones aleatorias.
6. Taxonomía Causal: Mapeo de anomalías geométricas a mecanismos de fallo operativo específicos.
7. Motor O/E: Triage de severidad estandarizado contra benchmarks de la OMS, independiente de los conteos brutos.
8. Delimitación de Alcance: Aclaración explícita de que los huecos estructurales son anomalías geométricas consistentes con la supresión, pero no prueba definitiva de la misma.

4. Resultados

La validación se realizó utilizando datos públicos de instalaciones de salud en la región de Nyanza, Kenia, y simulaciones de censura.

• Precisión Espacial:
  • Índice de Jaccard: 0.82 (IC 95%: 0.74–0.89), superando significativamente a KDE (0.45) y superficies de riesgo relativo (0.38).
  • Error de Centróide: 342 metros (IQR: 187–512 m), permitiendo una localización precisa.
  • Tasa de Recuperación: 0.79.
• Clasificación Temporal:
  • Precisión global del 91% en la identificación de unidades estructuralmente silenciosas.
  • El clasificador HMM + Fano logró distinguir correctamente el 91% de los casos en conjuntos de datos de seis periodos.
• Significancia Estadística:
  • Pruebas de permutación arrojaron un valor $p = 0.003$ (IC 95%: 0.001–0.008), confirmando que los huecos detectados no son aleatorios.
• Estudio de Caso (Nyanza):
  • Se identificaron 3 huecos estructurales en corredores periurbanos (clasificados como fallos de infraestructura y acceso) y 5 huecos estocásticos en zonas de baja densidad poblacional (lagos/reservas).
  • La precisión de la clasificación causal fue del 78% ($\kappa = 0.71$).

5. Significado e Impacto

El TDA Engine v2.1 representa un cambio de paradigma desde la inferencia basada en densidad hacia la inferencia basada en geometría y topología.

• Acción Operativa: Transforma la detección de "huecos" de un resultado descriptivo a una herramienta de triaje accionable. Permite a los funcionarios de salud pública distinguir entre áreas que no necesitan intervención (baja densidad natural) y aquellas que requieren investigación de campo inmediata (supresión o falta de acceso).
• Rigor Matemático: Proporciona métricas de validación cuantitativa y eliminación de parámetros arbitrarios, aumentando la confianza en los hallazgos.
• Aplicabilidad: La herramienta es de código abierto (R/Shiny), escalable y se integra con sistemas como DHIS2.
• Consideraciones Éticas: El marco enfatiza que la detección de un hueco estructural es una señal para investigar, no una acusación de supresión de datos, requiriendo validación contextual y ética antes de la asignación de recursos.

En conclusión, este marco permite medir la "forma" del silencio en los datos epidemiológicos con precisión matemática, caracterizando su persistencia y causa probable para optimizar la respuesta de salud pública.