Geometric Characterisation and Structured Trajectory Surrogates for Clinical Dataset Condensation

1. El Problema: Condensación de Datos en Dominios Clínicos

El aprendizaje automático moderno depende de grandes conjuntos de datos, pero en el ámbito clínico, el almacenamiento, la compartición y el entrenamiento repetido sobre datos reales (como registros de salud electrónicos - EHR) enfrentan barreras significativas:

• Restricciones de Gobernanza: Las normativas estrictas de privacidad limitan el intercambio de datos entre instituciones.
• Coste Computacional: Entrenar modelos en grandes volúmenes de datos es costoso y lento.
• Desafío de la Condensación: La condensación de conjuntos de datos busca crear conjuntos sintéticos pequeños ($\tilde{D}$) que mantengan la utilidad de entrenamiento de los datos reales grandes ($D$).

Limitación de los Métodos Actuales (Trajectory Matching - TM):
El Trajectory Matching (TM) es un enfoque popular que supervisa los datos sintéticos utilizando los cambios en los parámetros del modelo observados durante el entrenamiento real (trayectorias de optimización). Sin embargo, este trabajo identifica un problema fundamental:

• Las trayectorias de optimización estándar (SGD) son estocásticas, ruidosas y tienen una estructura espectral "ancha" (alta complejidad).
• Un conjunto sintético fijo tiene un rango de gradientes alcanzable limitado.
• Existe un cuello de botella de representabilidad condicional: si la señal de supervisión (la trayectoria real) es demasiado compleja o "ancha" en comparación con lo que el conjunto sintético puede representar geométricamente, el error de emparejamiento es inevitable, degradando el rendimiento, especialmente en escenarios de baja prevalencia (clases minoritarias).

---

2. Metodología: Caracterización Geométrica y BTM

Los autores proponen un nuevo enfoque basado en una comprensión geométrica del problema.

A. Caracterización Geométrica del TM

El artículo demuestra teóricamente que:

1. Rango de Gradientes Alcanzable: Para un conjunto sintético fijo, el estudiante solo puede moverse en direcciones generadas por los gradientes accesibles desde ese conjunto.
2. Límite Inferior de Proyección: El error de emparejamiento de la trayectoria está acotado inferiormente por la componente de la desplazamiento del profesor (datos reales) que cae fuera del rango de gradientes alcanzable del estudiante.
3. Cuello de Botella de Rango: Cuando la señal de supervisión tiene una estructura espectral amplia (muchas direcciones débiles y desalineadas), el conjunto sintético no puede reproducirla fielmente. Esto es crítico en datos clínicos donde las actualizaciones de clases minoritarias son escasas y ruidosas.

B. Bézier Trajectory Matching (BTM)

Para mitigar este desajuste, se introduce BTM, que reemplaza las trayectorias SGD crudas por surrogados de curvas de Bézier cuadráticas.

• Construcción: En lugar de almacenar miles de puntos de control de SGD, BTM define una trayectoria suave entre el estado inicial ($\theta_0$) y el estado final ($\theta_T$) del modelo utilizando una curva de Bézier cuadrática controlada por un único punto de control aprendible ($\phi$).
  $$\Phi(t) = (1-t)^2\theta_0 + 2t(1-t)\phi + t^2\theta_T$$
• Optimización del Surrogado: El punto de control $\phi$ se optimiza para minimizar la pérdida promedio a lo largo de la trayectoria, fomentando un perfil de pérdida suave y decreciente.
• Ventajas Estructurales:
  • Bajo Rango: Las trayectorias de Bézier cuadráticas inducen desplazamientos que residen en un subespacio de dimensión 2 (o bajo rango para múltiples trayectorias), alineándose mejor con las restricciones del conjunto sintético.
  • Almacenamiento: Reduce drásticamente los requisitos de memoria (de $O(T \cdot M)$ a $O(3 \cdot M)$, donde $T$ es el número de pasos y $M$ el número de trayectorias).
  • Señal Estructurada: Elimina el ruido estocástico de SGD, manteniendo solo la estructura funcional relevante de la optimización.

---

3. Contribuciones Clave

1. Caracterización Geométrica del TM: Formulan el emparejamiento de trayectorias como un problema de aproximación de subespacios restringido, demostrando que el error residual está acotado por la proyección de los cambios de parámetros reales fuera del rango de gradientes del conjunto sintético.
2. Análisis Empírico de la Supervisión: Muestran que las trayectorias SGD estándar tienen una estructura espectral amplia, lo que explica el rendimiento deficiente en entornos clínicos de baja prevalencia.
3. Propuesta de BTM: Introducen un método que sustituye las trayectorias SGD por surrogados de Bézier cuadráticos optimizados por la tarea, logrando una señal de supervisión más estructurada, de menor rango y con menor almacenamiento.

---

4. Resultados Experimentales

El método se evaluó en 5 conjuntos de datos clínicos reales (cohortes del NHS del Reino Unido y benchmarks públicos eICU/MIMIC-III), abarcando datos tabulares y series temporales.

• Rendimiento General: BTM iguala o supera consistentemente a los métodos de referencia (MTT, FTD, DATM, MCT) en tareas de predicción de mortalidad hospitalaria, diagnóstico de COVID-19 y fenotipado.
• Ganancias en Escenarios Críticos:
  • Baja Prevalencia: Las mejoras son más significativas en conjuntos con clases minoritarias (ej. prevalencia de COVID-19 del 0.8% en Birmingham), donde BTM mejora el AUPRC (Área bajo la curva de precisión-recall) hasta en un 17.9% respecto a los mejores baselines.
  • Presupuesto Sintético Bajo: En configuraciones con pocos ejemplos por clase (ej. 50 ipc), BTM mantiene un rendimiento superior, demostrando que la estructura de la señal es más importante que la cantidad de ruido estocástico.
• Generalización de Arquitectura: Los datos condensados con BTM muestran una mayor robustez al transferirse a arquitecturas no vistas durante la condensación (ej. de MLP a LSTM), indicando que la señal aprendida captura características de la tarea más que dinámicas específicas de la arquitectura.
• Eficiencia de Almacenamiento: BTM reduce los requisitos de almacenamiento de las trayectorias en un factor de 20x a 33x en comparación con las trayectorias SGD completas.

---

5. Significado e Impacto

• Paradigma de Condensación: El trabajo cambia el enfoque de la condensación de datos: no se trata solo de reproducir las trayectorias de optimización estocásticas, sino de estructurar la señal de supervisión para que sea compatible con las limitaciones geométricas de los conjuntos de datos sintéticos.
• Aplicabilidad Clínica: BTM facilita el uso de datos sintéticos en entornos clínicos donde la privacidad y el almacenamiento son limitados. Al ser más eficiente y robusto en clases minoritarias, permite desarrollar modelos más precisos para enfermedades raras o eventos adversos sin necesidad de acceder a grandes volúmenes de datos crudos.
• Seguridad y Futuro: Los autores enfatizan que, aunque BTM mejora la utilidad, no garantiza la privacidad por sí mismo (requiere combinarse con privacidad diferencial). Sin embargo, al reducir la dependencia de grandes conjuntos de datos reales, reduce la superficie de ataque y los costos operativos en la investigación médica.

En resumen, el artículo demuestra que la estructura de la señal de supervisión es tan crítica como su magnitud, y que el uso de surrogados geométricos simples (Bézier) puede superar a las trayectorias de optimización complejas y ruidosas en la condensación de datos clínicos.