Resumen Técnico: FedHF-Impute para Imputación Federada bajo Espacios de Características Heterogéneos

1. Enunciado del Problema

El Aprendizaje Federado (AF) típicamente asume que todos los clientes participantes comparten un espacio de características idéntico (esquemas alineados), lo que permite la agregación directa de parámetros mediante métodos como FedAvg. Sin embargo, en configuraciones tabulares realistas, los clientes a menudo operan bajo espacios de características heterogéneos debido a pipelines de medición diferentes, configuraciones de sensores diversas o restricciones institucionales. En estos escenarios, los clientes observan solo subconjuntos parcialmente superpuestos de características.

El artículo distingue entre dos tipos de ausencia de datos:

1. Ausencia Temporal: Una característica es parte del esquema de un cliente pero tiene entradas faltantes (datos faltantes estándar).
2. Indisponibilidad Estructural: Una característica nunca es medida por un cliente específico porque está ausente de su esquema local.

Los métodos existentes de imputación federada abordan principalmente la ausencia temporal e asumen implícitamente esquemas alineados. Cuando se aplican a configuraciones heterogéneas, los métodos estándar de promediado de parámetros (por ejemplo, FedAvg) fallan porque no pueden transferir información entre grupos de características débilmente superpuestos o disjuntos, lo que lleva a una agregación mal planteada y a un rendimiento degradado del modelo.

2. Metodología: FedHF-Impute

Los autores proponen FedHF-Impute, un marco que desacopla la semántica global de las características de los esquemas locales de los clientes. La innovación central es el uso de un grafo global de características compartido para propagar información a través de características estadísticamente relacionadas, incluso cuando esas características nunca se observan conjuntamente en ningún cliente individual.

Componentes Clave

• Construcción del Grafo Global de Características:
  • El servidor recopila metadatos de características (identificadores) y estadísticas de correlación par a par (por ejemplo, correlaciones de Pearson) de los clientes. No se comparten datos crudos.
  • Se construye un grafo ponderado $G = (V, E, w)$ donde los nodos representan características globales y las aristas representan dependencias estadísticas.
  • Los pesos de las aristas se derivan de los $k$ vecinos más correlacionados. Este grafo se comparte con todos los clientes una vez antes de comenzar el entrenamiento y permanece fijo.
• Arquitectura del Imputador Basada en GNN:
  • El modelo opera sobre la dimensión de características en lugar de la dimensión de muestras.
  • Para cada muestra, la entrada incluye el vector de características (con valores faltantes ceroados), una máscara de observación y una máscara de disponibilidad (que indica presencia/ausencia estructural).
  • La arquitectura utiliza una Red Neuronal de Grafos (GNN) con capas de paso de mensajes. Cada nodo de característica agrega señales de sus vecinos en el grafo global, permitiendo que el modelo infiera valores para características no disponibles basándose en correlaciones con las disponibles.
  • Las representaciones iniciales de los nodos se forman concatenando incrustaciones de características con observaciones escalares, máscaras e indicadores de disponibilidad, procesados a través de una MLP.
• Objetivo de Entrenamiento Auto-supervisado:
  • Dado que los valores reales para los datos faltantes son desconocidos, el modelo utiliza una estrategia de enmascaramiento por bloques.
  • Durante el entrenamiento local, un subconjunto de características observadas y disponibles se enmascara aleatoriamente (corrompe).
  • El modelo se entrena para reconstruir estos valores enmascarados utilizando una pérdida de Error Cuadrático Medio (MSE), aprendiendo efectivamente las dependencias de características requeridas para la imputación.
• Protocolo Federado:
  • El marco se adhiere a protocolos estándar de AF (FedAvg). Los clientes realizan descenso de gradiente estocástico local y suben parámetros de modelo actualizados.
  • El servidor agrega parámetros basándose en los tamaños de los conjuntos de datos locales.
  • Crucialmente, el método soporta transferencia indirecta de conocimiento entre clientes: un cliente puede aprender a imputar una característica que nunca observa aprovechando la propagación del grafo global de la fuerza estadística de otros clientes que sí observan esa característica.

3. Contribuciones Clave

• Desacoplamiento de la Indisponibilidad Estructural de la Ausencia: El marco modela explícitamente la diferencia entre que una característica esté faltante (problema de datos) y que esté estructuralmente no disponible (problema de esquema), una distinción a menudo ignorada en trabajos previos de AF.
• Grafo Global de Características para Esquemas Heterogéneos: Introduce un mecanismo para compartir dependencias estadísticas mediante un grafo global, habilitando el flujo de información entre características que nunca se observan conjuntamente a nivel local.
• Compatibilidad: El enfoque mantiene protocolos estándar de comunicación federada (intercambio de parámetros únicamente) sin requerir intercambio de datos crudos ni transformaciones complejas de alineación durante el entrenamiento.
• Evaluación Exhaustiva: El método se evalúa frente a líneas base tanto centralizadas como federadas en tres conjuntos de datos distintos con dimensionalidad y patrones de ausencia variables.

4. Resultados Experimentales

Los autores evaluaron FedHF-Impute en tres conjuntos de datos: AirQuality (13 características), PhysioNET (42 características) y SECOM (590 características). En los experimentos, se simuló una superposición parcial de esquemas donde cada uno de los 4 clientes poseía un subconjunto aleatorio del 60% de las características.

• Mejoras de Rendimiento:
  • SECOM (Alta Dimensionalidad): FedHF-Impute logró un RMSE de 0.8205, superando significativamente a todas las líneas base federadas (que oscilan entre 1.17 y 4.05) y a competidores centralizados (mejor MICE centralizado: 1.1231). Esto representa una mejora del 26.9% sobre la mejor línea base federada y una mejora del 27% sobre el mejor método centralizado.
  • AirQuality: Logró un RMSE de 0.7074, superando a todas las líneas base federadas y acercándose al mejor método centralizado (MICE: 0.6756).
  • PhysioNET: Logró un RMSE de 0.9363, comparable a la mejor línea base federada (Fed-FeatGen: 0.9339) y al mejor método centralizado (DAE: 0.9500).
• Estabilidad: El método demostró una convergencia estable a través de rondas de comunicación, mientras que las líneas base federadas exhibieron alta varianza e inestabilidad, particularmente en configuraciones de alta dimensionalidad.
• Escalabilidad: Se observó que la ventaja del enfoque basado en grafos crece con la dimensionalidad de las características y la heterogeneidad del esquema, sugiriendo que el modelado a nivel de características se vuelve cada vez más crítico a medida que la estimación local por característica se vuelve mal condicionada.

5. Significado y Afirmaciones

El artículo afirma que FedHF-Impute aborda una brecha crítica en el aprendizaje federado: la incapacidad de imputar datos efectivamente cuando los clientes poseen conjuntos de características estructuralmente diferentes.

• Superación de la Incompatibilidad de Esquemas: Los autores afirman que el promediado simple de parámetros (FedAvg) es insuficiente para espacios de características heterogéneos. Al modelar explícitamente las dependencias de características mediante un grafo, el método habilita la "transferencia indirecta de conocimiento entre clientes", permitiendo que los clientes infieran valores para características que nunca observan.
• Preservación de la Privacidad: El marco preserva la localización de los datos, ya que solo se intercambian parámetros de modelo y métricas de validación escalares. La construcción del grafo depende únicamente de metadatos y estadísticas de correlación, no de registros crudos.
• Superioridad en Configuraciones Complejas: Los resultados sugieren que, para datos tabulares de alta dimensionalidad y heterogéneos, el modelado estructurado a nivel de características (mediante propagación de grafos) es superior tanto al promediado federado ingenuo como a los métodos de imputación centralizados que no pueden aprovechar las correlaciones distribuidas.

Los autores concluyen que modelar explícitamente la estructura a nivel de características es esencial para una imputación efectiva en sistemas federados de próxima generación que enfrentan heterogeneidad de esquemas. Señalan que, aunque el trabajo actual trata la construcción del grafo como un paso de pre-entrenamiento bajo supuestos de confianza estándar, trabajos futuros podrían incorporar privacidad diferencial para la fase de construcción del grafo.